很长一段时间,CPU 主导了整个数据中心,虚拟化算力成为云计算的重点。
直到人工智能应用的爆发性增长,GPU 的芯片架构被发现更适合支持大规模的AI模型训练和推理,GPU 成为数据中心第二大算力芯片。
当 CPU 再无力解决数据中心基础设施遇到的瓶颈时,新一代 DPU 芯片出现了。DPU 可以重新分配算力和优化算力资源,带来新的数据中心创新范式,因而被认为是未来几年行业内最重要的创新。
据智能计算芯世界数据显示,DPU 全球市场需求巨大,“从 2020 年的 30 亿美元增加到 2025 年内的 136 亿美元,CAGR 约 36%,到 2027 年全球数据中心加速器市场价值可达 530 亿美元,复合年增长率 CAGR 近 44%。”
看到这种“CPU、GPU、DPU 成为数据中心三大算力芯片”的趋势之后,国外几大传统芯片巨头正马不停蹄地规划自己的 DPU 产品线,国内也集中出现了一批拿到融资的 DPU 创企。仿佛一夜之间,DPU 公司成为芯片投资的香饽饽。有些没有任何芯片投资经验的风投都希望可以在本次半导体热潮中坐上顺风车,令一些从没做过高端芯片的团队、甚至创始人没有任何芯片背景的初创企业都可以借此 DPU 风口拿到融资。
但打造一家成功的 DPU 企业远不像外界所设想的那么简单:一款商业上成功的DPU,必然是一款世界级芯片,也是一款极度复杂的高端芯片。
去年国内的半导体行业融资火热,但从今年初开始,科技股股价大幅调整,国内科技行业也进入融资寒冬。国内对科技企业的风险投资额在今年第一季度相比去年减少了 76.7%,很多风投甚至在今年第一季度停止投资新的项目。
但越是在困难的经济环境下,越能看出谁是行业里的赢家。基于公开信息与跟行业内一些资深专业人士的交流,DeepTech 对国内 DPU 行业进行了深入分析。
DPU:新一代数据中心算力和服务的核心
首先,DPU 是在目前算力困境、摩尔定律放缓的大背景下产生的。它从处理网络负载和卸载 CPU 任务的智能网卡,演变成新一代数据中心算力和服务的核心,让云服务商“将基础设施和客户应用分而治之”,这个思想也指导着数据基础设施领域近年来的诸多创新。
随着单一服务器的网络端口的速度达到 200G 或以上,原来的网络、存储、虚拟化、安全等基础设施多方面任务,已经无法有效率地由 CPU 承载,而将这一类基础设施任务转移到新的计算单元 DPU 上,这也就意味着,DPU 的设计逻辑需要遵从软件定义思路,它一定是灵活且兼具可编程性的,可以支持不同客户的不同业务和私有协议。
有几个重要的研究报告强有力地证明了,这些基础设施任务的运行可以消耗大量的 CPU 性能。
(来源:Google 官网)
一项由哈佛大学和谷歌的团队在 2015 年发表的研究报告 Profiling a warehouse-scale computer 称,该研究对谷歌数据中心业务和数以万计的服务器进行了经过三年的深度分析,结果显示,跨越不同服务器的应用所产生的属于基础设施类的任务构成了“数据中心税”,消耗了服务器中约 30% 的算力资源。该报告也指出,因为谷歌数据中心服务器数量庞大,若每台服务器资源利用率能提升一点,都会带来巨大的成本效益。
另一项研究是 Facebook(现称 Meta)数据中心团队 2020 年的分析 Accelerometer: Understanding Acceleration Opportunities for Data Center Overheads at Hyperscale。该团队对运行在 Facebook 计算优化数据中心平台上的微服务进行全面描述,发现执行核心应用程序逻辑只占用 CPU 18% 的时间;剩余时间完全用于非应用程序逻辑核心的一般操作。也就是说,在 Facebook 执行核心应用时,其数据中心里的 CPU 82% 的时间都消耗在基础设施类任务,这个数字是相当惊人的。也正因如此,Facebook 团队态度更加鲜明地表示,“加速此类基础设施的通用模块,可以极大地提高数据中心的性能”。
(来源:Meta 官网)
DPU 大幅提高算力性价比和利润,引来云服务商和芯片厂纷纷布局
全球云计算老大亚马逊云 AWS 最早看到数据中心算力的瓶颈和提升空间,因此 AWS 也是最早尝试自研 DPU 芯片的云服务商。
AWS 的数据中心体量最为庞大,因此对于算力痛点的体会是最深刻的。其 CTO Werner Vogels 就公开表示过,传统架构的数据中心已经优化到了极限。
以 AWS 的客户场景举例,在传统架构下,大量的资源浪费在算力、网络、存储的运营和调度管理上,这些资源没有为客户提供直接价值。
(图|AWS Nitro;来源:AWS)
对此,AWS 的提出的解决方案,就是把大部分虚拟机管理程序迁移到其自研的 DPU —— Nitro 中。2017 年起,AWS 开始用 Nitro 系统取代上一代架构。
效果是立竿见影的,Nitro 的应用成功证实了 DPU 的市场价值:管理云服务的程序从原来的 CPU 转移到 DPU 上之后,CPU 的资源几乎可以完全用来运行客户业务负载,其 DPU 使用上不但灵活还兼具高性能。尤其在成本上,DPU 令宝贵的 CPU 资源被充分利用,因此 AWS 大幅提高了能售卖给云客户的算力资源。对于云客户来说,他们同样买到了更高性价比的算力。
通过 DPU 去达到其数据中心的算力资源利用率最大化,AWS 迎来了前所未有的最高云服务利润:2022 年第一季度,AWS 业务实现收入 184 亿美元,同比去年增长 36.6%;利润 65.1 亿美金,同比去年增长 57%,利润率 35.3% 达到了历史新高。这些数字的背后,离不开其自研的 DPU 芯片 Nitro。
AWS 模式因此成为其他云服务商学习的榜样。我们也看到,在国内,诸如阿里云这样的云大厂,也已高调宣布了基于 FPGA 的自研 DPU 解决方案。
可以说,最近几年,云服务商的数据中心最大的变化就是 DPU 的诞生。它对云计算最大的变革既是性能、功耗和安全的优化,算力资源的弹性调度,更是经济价值上的提升。
因为 DPU 解决的技术痛点在云服务里面起了关键的作用,芯片巨头英伟达 Nvidia、英特尔 Intel 等也迅速反应过来,一边开始紧锣密鼓地收购相关技术团队,一边竞相推出 DPU 或者类 DPU 的早期产品,卖给数据中心客户,不甘落于人后, 因此 DPU 成为数据中心芯片巨头兵家必争之地。
如今,世界最大的几家云计算服务商,几乎都靠 DPU 在各自数据中心去进行所有的算力资源弹性调度、动态按需分配等,以期大力提升云服务的质量和效率。换句话来说,每一家云服务商都要靠 DPU 去优化自身数据中心的利用率和性价比,才能和别的云服务商竞争。
而对于闯进这个赛道的国内 DPU 创企来说,他们距离“成功造出一款商业可用的 DPU”这个目标,目前还有着怎样的距离?分析彼此之间的差异,我们将不难看出谁是最有实力的 DPU 企业。
根据 DeepTech 的研究,要打造一个成功的 DPU 芯片企业,至少需要兼具以下六大条件:
一、具备高端芯片开发经验:异构、多核处理器、软件定义芯片
众所周知,芯片有很多种类型,但也可以简单分为高端和低端。
设计高端芯片和低端芯片有很大的区别,首先体现在工艺上,高端芯片使用的工艺需要非常先进;其次,设计高端芯片需要研发团队对芯片的架构、设计、验证、后端等环节非常熟悉,要有足够的经验。其中一个环节出错,都将影响整个芯片的功能和质量,需要花更多时间和成本再去修改和流片。对于 DPU 这样的高端芯片来说,每次修改和流片估计需要一亿人民币以上的成本(还不包括时间和机会成本)。
(来源:NVIDIA)
但光是开发过高端芯片依然不够,从市面上已有的 DPU 产品来看,异构芯片的开发经验也是必备。例如,英伟达的 Bluefield DPU,英特尔的 Mount Evans DPU,都属于异构芯片的架构,涉及到多核处理器 CPU 部分、加速引擎、支持虚拟化的高速端口、高带宽内存等模块,和对各个模块互联的高速总线。
把这么多的复杂模块集成到一颗 DPU 芯片,如果没有做过这些模块和集成这些复杂模块到一颗芯片的经验,是没有办法做出这样的一块高端芯片的。非异构和异构之间的技术鸿沟,就像建造一座平房和建造一幢 200 层大厦的差距。
此外,上文也提到 DPU 作为一种软件定义芯片,需要灵活性和可编程性,重点是在芯片设计上对性能和可编程性之间的平衡和取舍。
因此,开发高端 DPU 所需要的人才,和低端芯片是不一样的,即便是有高端芯片开发经验,DPU 还提出了更高的要求:每个模块对性能和功耗的要求非常高,组合到一起要求就更高了,必须要做过同类型芯片、非常高精尖的人才共同协作才可能做出来。
目前在国内没有企业做过如此复杂的芯片。能够做出来一块如此颠覆性的芯片,在中国半导体行业也将是一个创举。
二、大量商业落地的经验
在芯片行业,许多创业者都是技术出身,但却经常忽略了如何进行商业落地。
所谓成功的商业落地经验,包含对客户痛点的认识、对产品在市场的定位、对生产流程的质量和风险管理、产品的易用性、研发和产品成本的把控与市场的回报等,都需要深刻理解,这些经验决定了产品是否能成功商业落地。
以美国硅谷为例,有很多技术很牛的团队去创业,但缺乏商业落地经验,最终失败而归;近期比较成功的芯片创业团队,几乎都是被芯片大厂收购。
相比美国,目前中国的资本市场还不够成熟去支持大型芯片行业的商业并购。所以,对国内初创芯片企业,大量商业落地的经验就更为重要了。
一个成功的芯片企业,技术本身只是一个起点、一种途径,最终还是要看产品在市场的接受度,看芯片是否能成功大量商用。
三、有成功创业经验的团队
创业和在大公司工作的分别,在于在大公司没有创业公司的紧迫性,也没有生死存亡的压力。
在初创芯片企业里,最初的 3-5 年和第一个产品就决定了公司的生死存亡,而大公司容许有试错机会,资金方面也更加充裕。
创业公司什么都讲速度和效率,也没有太多试错的机会,所以,创业公司的心态跟大公司不一样;很多技术人员在大公司觉得所有流程都已经规范化了,因此容易形成路径依赖,跟随流程做事。
但是创业公司是需要从 0 开始制定最优的流程,自主性和责任心完全不一样,具备更强的主人翁意识。
所以,习惯在大公司工作的人不一定适应创业,但是创过业的人心态会完全不一样,会知道所有初创公司必须经历的过程和挑战,以及需要解决问题的办法。
四、对云计算客户业务非常熟悉
一款成功的产品,最重要的是客户能用上,能增加客户的价值,这样才是真正的商业成功。
具体到 DPU 上,正如上文提到的,它要支持的云业务非常复杂,多则可能达到上千种业务,而且不单要支持目前的业务,还要支持未来产品周期内新的业务,面对未来业务的变化,需要体现一定的业务前瞻性。
如果对云计算客户业务不熟悉,不可能做出可以支持客户业务的产品。因为产品的迭代必须以业务验证为基础。
这也是为什么到目前为止,传统芯片大厂(如英伟达和博通等)都没有做出特别有竞争力的 DPU 产品,无论是在 DPU 的设计上还是与大的云服务商合作商用上来看,这些产品都没有到 “秒杀友商”的程度。
DPU 门槛之高,导致它目前还是一片蓝海。这也为国内 DPU 的初创公司提供了巨大机会。
DPU 创业团队一定要在云服务商有过相关的工作经验,甚至有开发过类似 DPU 产品的经验,才能做出一个有竞争力的 DPU 产品。
五、与云计算大厂客户紧密合作,有丰富的场景实战经验
条件四和条件五都涉及和云客户打交道的经验,但两者有所不同的是,第四点强调对云业务的前瞻性,第五点则强调的是芯片有销售保障。因为芯片出来后一定要量产,有销售和订单上的保障,才能继续有足够的资金去持续开发和迭代,这是投资者非常看重的优势。
(来源:Microwave Journal)
因为 DPU 芯片的复杂度如此巨大,所以只有前期跟客户的紧密合作才能保证芯片出来后客户能用上,从而保证商业落地的成功。
有大客户使用,才有其他中小客户的跟随。美国大厂的 DPU 芯片未能和国内大的云服务商紧密合作,因此在这点上相对国内的 DPU 初创公司就没有特别的优势。
六、超高开发成本,必须要巨额融资
基于 DPU 芯片如此复杂,也需要如此先进的工艺,根据海外做 DPU 的初创公司如 Fungible 和 Pensando 等需要的资深开发人员规模、研发时间、需要购买的 IP 和测试工具以及这些公司融到的资金去估算,开发这样复杂的高端通用的 DPU 芯片大概需要 3 亿美元以上的成本,才能实现客户量产。
这样的成本注定了 DPU 不是一个“亲民”的创业游戏,需要大量的融资。
众所周知,国内本身高端芯片人才就非常少,待遇也正水涨船高;所购买的 IP 和先进工艺的流片费用非常昂贵;从开发 DPU 这样高端复杂的芯片到量产大概需要 300 多的技术人员,包括芯片设计和验证、配套芯片的软件、DPU 解决方案和板卡的开发、产品质量验证、客户技术支持等。
这笔账算下来,国内要成立一个 DPU 公司,预计跟海外一样,从 0 开始也需要融到 3 亿美元以上,产品才能大量量产。
如果不是具备很强实力的团队,在当前这个“融资寒冬”中将很难融到这个额度。事实上,目前绝大多数投资者已经变得非常谨慎,除了头部企业外基本不会去考虑投其他企业,这也几乎成为了行业共识。有些已经在去年投资热潮中融到一部分资金的初创芯片公司目前打着 DPU 芯片旗号,却拿着这些资金去做其他产品,比如做基于 FPGA 的 DPU 解决方案,或者是传统的加速网卡,而并非做的有竞争力的 DPU 芯片,要知道这两者体现在产品功耗、性能、成本等的差异非常巨大 ;技术难度跟投入的资源和成本也完全不在一个量级。
综合考虑整个芯片行业的普遍经验以及 DPU 这种高端芯片的特殊性,条件一决定芯片是否可以做出来以及产品是否具有竞争力;条件二、四、五决定芯片是否可以大量商用;条件三决定公司是否有成功创业的基因,而条件六是初创公司生存必须的氧气。
在当前大环境下,国内 DPU 的初创公司缺少上述任何一项条件,都将面临巨大风险。
云豹智能:国内第一家DPU独角兽
DeepTech 根据公开信息进一步梳理了国内几家 DPU 初创企业目前的情况,发现云豹智能是目前唯一一家能够同时符合以上六大必备条件的国内 DPU 初创企业,而符合以上条件的公司,即便在海外也实属罕有。
(来源:云豹智能官网)
云豹智能成立于 2020 年底,公司一直非常低调,融资额度等信息未对外透露,但据业界可靠消息得知,云豹智能是国内 DPU 行业融资最多的一家创企,目前估值已是独角兽级别。从工商信息看到,国内三大云服务商之一的腾讯,是云豹智能的投资者。
从公开信息来看,云豹智能团队行业背景资深,创始人兼 CEO 萧启阳博士有顶尖的学术背景,24 岁就博士毕业于美国斯坦福大学,后在美国麻省理工学院担任讲座副教授,后续在硅谷创办 RMI 公司,该公司先被 NetLogic 公司收购,后来他又促成博通公司 Broadcom 以 37 亿美金并购 NetLogic。他从 0 开始做过的几代大芯片,是当时世界通讯领域里最高性能的多核处理器,也是业界早期最成功的软件定义芯片。因其芯片的灵活性和通用架构,被国内和国外最大的几家通讯网络设备商大规模应用在路由器、无线基站、控制器、核心网、安全设备和智能网卡上。
正因为其开发的软件定义芯片早期在智能网卡上的应用,让萧博士和他的团队多年前就对智能网卡与 DPU 技术和客户痛点有深刻理解。在他离开博通之后,国内最大的云服务商之一将其一部分核心团队挖走,然后该团队在这家云服务商从 0 到 1 打造了目前为止国内最大量商用的 DPU 智能网卡。
目前云豹的成员不单有萧博士之前在博通的团队,还包括很多来自国内外芯片大厂和头部云服务商的具有 20 多年丰富经验的技术人员。
有了这种技术基底,云豹智能自研架构的 DPU 产品,最大的壁垒将是其通用性,这也是跟其他 DPU 公司最不同的一点。
这种通用性体现在其 DPU 产品具有丰富的功能和可编程性,可以支持不同的云计算的场景和资源统一管理、动态按需分配,从而优化资源的利用率、大力降低功耗,进而能大幅提升云服务商的利润。
与 DPU 硬件开发相配套,云豹智能在软件生态建设上的投入将不亚于硬件上的投入,这也是由 DPU 产品本身是软件定义芯片所决定的。按照设想,云豹智能未来将是一家提供 DPU 全栈式解决方案的公司。
国内 DPU 行业“大阅兵”
而相对于云豹智能,国内一部分创业经验或类似大芯片经验稍显欠缺的一些公司在去年投资环境火热的情况下,都随着 DPU 风口渐起,成功融到资。
现有公开信息显示,较为被关注的国内 DPU 初创企业有以下几家:
中科驭数:2018 年成立,创始人鄢贵海是中科院背景,中科院背景的公司通常技术实力雄厚。其第一款产品是针对金融行业客户的数据库应用做的加速卡。而从数据库加速卡到真正的 DPU 芯片还需要跳过较高的技术门槛。
芯启源:2015 年成立,公开资料显示,创始人卢笙有销售 USB 和 TCAM 芯片的背景,在 DPU 风口期收购了美国 Netronome 公司的 IP(Netronome 是一家有近 20 年历史的网络处理器 NP 供应商,最近几年把其 NP 产品视为智能网卡或 DPU,但一直没有大量商用)。从公开信息显示,芯启源的亮点是和浙江移动有合作,但目前暂未查到和国内几家头部云服务商有紧密合作。
云脉芯联:2021 年 5 月成立,创始人刘永锋是技术出身,曾在阿里和华为工作过,在公开信息没有查到其创始人有开发高端芯片和创业的经验。其公司亮点是有字节跳动的财务投资。
星云智联:两位创始人是夏庐生和于勇。夏庐生曾担任安信证券研究中心通信行业首席分析师,公开信息查不到于勇在芯片行业的背景。在创办星云之前,他们在 2020 年 10 月还创办了另外一家公司叫星思半导体。从投资界得知,该公司融资初期计划做 5G 基带芯片。在 DPU 风口期,2021 年 3 月,这两位创始人再成立了星云智联,最初也是计划做高端 DPU 芯片产品。星云的亮点是拿到了美团和百度的投资。值得一提的是美团早前已放弃公有云的业务;而百度云应该会提供一些业务和场景可以帮助推动其 DPU 产品开发。
益思芯:创始人黄益仁是存储技术加速芯片的专家,2013 年在美国创办了 Cnex Labs 公司。黄益仁离开 Cnex Labs 后回国,于 2020 年创办了益思芯。存储只是 DPU 芯片其中一个功能模块,从存储加速芯片到真正的 DPU 大芯片还有很长的路。
大禹智芯:成立于 2020 年 6 月,创始人李爽是前美团公有云的负责人,对云业务有一定的认识。在美团放弃公有云业务后出来创办了大禹智芯,从投资界得知其一开始做的是基于 FPGA 的解决方案。
因此,综合对比来看,或缺乏高端芯片开发经验,或缺乏头部云服务商合作的经验等,是国内大部分 DPU 创企的普遍问题。因为 DPU 芯片的投入非常庞大,在没有融到足够多的资金或没有和大的云服务商合作之前,一些初创公司选择先去做 FPGA 或技术相对简单的加速卡芯片,而非复杂而多功能的 DPU 芯片,也未尝不是一种折中策略。
从以上六大必备条件分析下来,不难看出云豹智能的综合实力最为强劲。
未来的 DPU 市场,成了云厂商兵家必争之地。
如果不解决数据中心资源利用率低下造成的算力供需矛盾,未来还会有更多的算力需求无法匹配上供给。罗兰·贝格 Roland Berger 公司就预测,从 2018 年到 2030 年,无人驾驶算力需求增加 390 倍,数字货币算力需求增加约 2000 倍,VR 游戏算力需求增加约 300 倍。
有能力解决这个问题的 DPU 创企,一旦抓住时代机遇便可快速发展。
特别是国内数据中心产业正处于高速发展期,本身就为 DPU 的应用提供了很好的土壤。再加上国内从政府到社会层面意识到芯片产业具有经济性和战略性双重属性,对国产芯片提供前所未有的扶持,以及像东数西算这样的大工程提供了国产 DPU 充分的商用场景,必定可以培育出有世界竞争力的 DPU 芯片公司,做出一款世界级芯片。
越是高端的芯片产品,准入门槛就越高,“赢家独赢”的特点也越明显,即资本、人才、客户等行业资源会不断地集中到头部企业。一家头部芯片企业的市占率,可能比几家非头部企业的市占率总和还要高很多倍。非头部芯片企业的生存空间会非常小,其投资者的风险也特别大。虽然 DPU 市场目前仍是一片蓝海,但最终也会不可避免地走向赢家独赢的局面。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
关键词: