3D AI合成主播背后：CG效果现在只需一段文本就能生成

两会召开之际，搜狗联合新华社推出的全球首个3D AI合成主播“新小微”正式亮相上岗，为观众播报最新两会新闻资讯。自2018年搜狗自身的“分身技术”推出全球首个AI合成主播后，这也是搜狗首次将2D虚拟人升级为3D形象。

一个很直观的感受是，较之前的2D AI合成主播，3D“新小微”更加立体，在呈现方式上可以支持多机位多景深以及360°任意角度，更接近我们平日在电视看新闻的演播室调度。

3D AI合成主播可以支持多机位拍摄

2D AI合成主播

搜狗3D AI合成主播背后展现了哪些技术提升?对于商用落地和搜狗自身的战略规划分别带来哪些价值?对此，搜狗AI合成主播研发团队首次向搜狐科技在内的媒体揭秘了其背后故事。

搜狗AI交互技术部总理陈伟介绍，3D AI合成主播“新小微”以新华社记者赵琬微为原型，首先通过扫描还原、面部肌肉驱动、表情肢体捕捉等技术，生产出高度还原真人发肤的逼真数字人模型;同时结合多模态建模技术，使用语音、图像、文本、3D肌肉运动数据等多模态信息完成联合建模训练生成现在我们看到的3D AI合成主播。

事实上，超写实拟人化的“3D数字人”并非搜狗首创，其中CG动画技术已有成熟应用于影视特效制作的案例，完全可以达到以假乱真的地步。在电影《速度与激情7》中，已逝主演保罗·沃克通过这种“虚拟重生”的方式，依然承担了片中较重的戏份，但与之对应的是超长的制作周期与高昂的花费，因此带来的后期渲染费用高达5000万美金。

“在游戏3D行业里面，制作一分钟写实度很高的CG视频，一个专业的美术师差不多要花一个月的时间;我们之前还了解到一个公司，做了一部电影，其中剪出来超写实的(CG)片段一分半，但是他们几百个人做了一年半，这已经算是做得非常快的了”，陈伟表示。

《速度与激情7》中虚拟合成的经典镜头

不过“新小微”的播报新闻并不需要如此高成本且繁复的操作步骤。因为此前制作2D AI合成主播的经验积累，以及AI带来的自动化和低成本优势，搜狗从立项到完工大约花费了半年时间，制作费用大约耗费了百万元人民币。

虽然逼真度来看仍与一流的影视特效存在差距，但3D AI合成主播一个非常重要的特点是文本驱动，即输入一段新闻文本就能输出一个视频或者视频流的能力，而且这种视频输出的能力是实时的。我们平常接触的无论是电影特效人物还是游戏里的NPC，往往都需要大量的人力和时间来打磨。可以搜狗3D AI合成主播是一项“高性价比” 的创新，体现了AI“降本增效”的价值所在。

文本驱动的背后原因，是相比较CG技术，搜狗实现了AI驱动。事实上，即便是看起来难度低于超写实“数字人”的卡通虚拟歌手“洛天依”，它所能最终呈现的效果，都是通过真人采集-后期制作-重复播放来实现。而“新小微”的制作仅花费了1个小时来采集原型人物新华社记者赵琬微的声音模型。在此之前，搜狗已经通过数十人、上千小时、涵盖新闻、小说、客服、散文等领域的数据训练出了一套基础模型，然后再通过原型赵琬微的少量数据进行迭代优化即可。

这样的方式也意味着可以迁移学习，从而诞生不止一个“新小微”。除了迁移能力，从交付来看，3D AI合成主播的的门槛也并不高，只需要给客户提供一个在线生成的服务网站。

目前，虚拟“数字人”的研发制作已经成为全球各大科技公司AI实力储备的一部分，国外如三星，国内如百度、科大讯飞、商汤等，除AI主播外，金融、司法、教育领域均有落地。

平安普惠和搜狗合力打造的 AI视频面审机器人

而当虚拟“数字人”从2D升级到3D后，随之增强的灵活性也会意味着其适用的场景越来越多，“现在我们可能看到(AI主播)开始走进来，站着给你播报，可能不久的将来，他们就可能去做外景了，去采访人了”，搜狗AI交互技术部总理陈伟表示。

在今年年初的CES上，三星的“人造人”项目Neon曾引发轩然大波，在宣传视频的展示中，三星对这些以假乱真的“数字人”未来应用场景预设更为广泛——他们或是你的老师，健康咨询师，也可能成为电影明星。

搜狗也同样拥有更为宏大的愿景——“以语言为核心的AI技术战略布局，从语言能扩展出自然交互和知识计算，最后希望达到的是虚拟个人助理”，陈伟表示。

不过从“Siri之父”最终弃Siri而去，再到“小爱同学”在雷军在展示时多次“短路”，“AI个人助理”存在了很多年，也尴尬了很多年——其智能程度完全无法承担我们对“个人助理”这四个字背后预期的高度。

陈伟也坦诚，在超写实虚拟“数字人”这条赛道上，相比逼真度的提升，真正的难点是卡在了“语言理解”上。在感知层面，强于表达的虚拟“数字人”可以替代一部分主播的工作，却很难实现与人更进一步的互动——“通用的语言理解目前机器做得还是不够，我们看到的语音助手类无非就是问问天气怎么样，点个歌，插科打诨一下。所以我们也逐步看到，针对垂直场景定制它的对话能力，是目前比较可行的落地方案”。

不同的垂直场景定制也意味着更高的难度系数。“跳到教育领域，如果是一个线上的老师，他跟学生沟通的时候不可能像主播坐得那样笔直，学生表现很棒的时候，他可能需要时不时举个大拇指”，陈伟称。而在金融场景下，AI虚拟客服则需要通过一对一聊天，不断的观察、反问来拿到客户全部信息。

沿着场景驱动的思路，百度、科大讯飞、商汤等人工智能领头企业都在不同垂直领域进行探索。对于行业竞争，陈伟表示，“无论从识别到生成的，以及融合在一起的多模态能力，以及对话的能力、问答的能力，这里涉及的技术特别多，技术串联也特别多。我觉得一个公司想做好数字人相关的技术，需要一套完整体系和体系之间的协同，这是我认为比较大的壁垒。”

关键词： 3D AI合成主播