机器之心原创

2024/07/04 18:01

央视点赞国产AI复活召唤术，兵马俑竟与宝石老舅对唱Rap？

沉睡了两千多年的兵马俑，苏醒了？

一句秦腔开场，将我们带到了黄土高原。如果不是亲眼所见，很多观众可能难以想象，有生之年还能看到兵马俑和宝石 Gem 同台对唱《从军行》。

「青海长云暗雪山，孤城遥望玉门关。」古调虽存音乐变，声音依旧动人情：

这场表演背后的「AI 复活召唤术」，叫做 EMO，来自阿里巴巴通义实验室。仅仅一张照片、一个音频，EMO 就能让静止形象变为惟妙惟肖的唱演视频，且精准卡点音频中的跌宕起伏、抑扬顿挫。

在央视《2024 中国・AI 盛典》中，同样基于 EMO 技术，北宋文学家苏轼被「复活」，与李玉刚同台合唱了一曲《水调歌头》。「AI 苏轼」动作古朴自然，仿佛穿越时空而来：

在 EMO 等 AI 领域前沿技术的激发下，首个以人工智能为核心的国家级科技盛宴《2024 中国・AI 盛典》盛大开幕，以「媒体 + 科技 + 艺术」的融合形式将最前沿的国产 AI 技术力量传递给节目前的每一位观众：

这不是 EMO 第一次「出圈」。曾在社交媒体爆火的「高启强化身罗翔普法」，也是出自 EMO 之手：

登陆通义 APP 之后，借助玩家各种脑洞大开的试玩，EMO 火热程度至今不减。还没有尝试的小伙伴可以前去下载这款应用，进入「频道」选择「全民舞台」，就可以丝滑体验了。

实际上，早在今年 2 月，通义实验室就公开了 EMO（Emote Portrait Alive）相关论文。这篇论文上线之初就好评如潮，更是有人称赞：「EMO 是一项革命性的研究。」

论文地址：https://arxiv.org/pdf/2402.17485
项目主页：https://humanaigc.github.io/emote-portrait-alive/

为什么它能获得如此高度的评价？这还要从当前视频生成技术的发展现状和 EMO 的底层技术创新说起。

如此出圈，EMO 凭什么？

过去几年，AI 在图像生成方面的成功是有目共睹的。当前，AI 领域的研究热点是攻克一个更困难的任务：视频生成。

EMO 面对的恰好是其中非常难的一项任务：基于音频驱动的人物视频生成。

不同于常见的文生视频和图生视频玩法，基于音频驱动的人物视频生成是一个从音频直接跨越到视频模态的过程。这类视频的生成往往涉及头部运动、凝视、眨眼、唇部运动等多个要素，且要保持视频内容的一致性和流畅度。

在此前的方法中，模型大多先针对人脸、人头或者身体部分做 3D 建模或人脸关键点标记，以此作为中间表达再生成最终的视频。但借助中间表达的方法可能会导致音频中的信息被过度压缩，影响最终生成视频中的情绪表达效果。

通义实验室应用视觉团队负责人薄列峰表示，EMO 的关键创新点「弱控制设计」很好地解决了上述问题，不仅降低视频生成成本，还大幅提升了视频生成质量。

「弱控制」体现在两个方面：首先，EMO 无需建模，直接从音频中提取信息来生成表情动态和嘴唇同步的视频，从而在不需要复杂预处理的情况下，端到端地创造出自然流畅且表情丰富的人像视频。其次，EMO 对生成表情和身体动作不做过多「控制」，最终生成结果的自然和流畅，都是源于模型本身对高质量数据的学习而训练出的泛化能力。

拿兵马俑和宝石 Gem 同框对唱《从军行》来说，歌声中所要传达的情绪（如激扬）在其面部得到了很好的展现，不会给人违和感：

基于弱控制的理念，研究团队为 EMO 模型构建了一个庞大而多样的音视频数据集，总计超过 250 小时的录影和超过 1.5 亿张图像，涵盖各种内容，包括演讲、电影和电视片段以及歌唱表演，包括中文和英文在内的多种语言，视频的丰富多样性确保了训练材料捕捉了广泛的人类表达和声音风格。

学界有一种观点是，对于一个数据集最好的无损压缩，就是对于数据集之外的数据最佳泛化。能够实现高效压缩的算法往往能够揭示数据的深层规律，这也是智能的一个重要表现。

因此，团队在训练过程中设计了高保真数据编码算法，保证了在压缩或处理数据的过程中，尽可能保持原始信息的丰富细节和动态范围。具体到 EMO 的训练上，只有音频信息完整，人物情绪才能很好的展现。

视频生成赛道风起云涌

通义实验室如何跻身全球第一梯队？

今年 2 月初，Sora 的发布点燃了视频生成赛道，背后的多项技术随之受到关注，其中就包括 DiT（Diffusion Transformer ）。

我们知道，扩散模型中的 U-Net 能模拟信号从噪声中逐渐恢复的过程，理论上能够逼近任意复杂的数据分布，在图像质量方面优于生成对抗网络（GAN）和变分自编码器（VAE），生成具有更自然纹理和更准确细节的现实世界图像。但 DiT 论文表明，U-Net 归纳偏置对扩散模型的性能并非不可或缺，可以很容易地用标准设计（如 Transformer）取代，这就是该论文提出的基于 Transformer 架构的新型扩散模型 DiT。

最重要的是，以 DiT 为核心的 Sora 验证了视频生成模型中仍存在 Scaling Law ，研究者们可以通过增加更多的参数和数据来扩大模型规模实现更好的结果。

DiT 模型在生成真实视频方面的成功，让 AI 社区看到了这一方法的潜力，促使视频生成领域从经典 U-Net 架构转变到基于 Transformer 的扩散主干架构的范式。基于 Transformer 注意力机制的时序预测、大规模的高质量视频数据都是推动这一转变的关键力量。

但纵观当前的视频生成领域，尚未出现一个「大一统」架构。

EMO 并不是建立在类似 DiT 架构的基础上，也就是没有用 Transformer 去替代传统 U-Net，同样能够很好地模拟真实物理世界，这给整个研究领域带来了启发。

未来，视频生成领域会出现哪些技术路线？不管是理论研究者还是从业者，都可以保持「相对开放的期待」。

薄列峰表示，本质上，当前的语言模型、图像 / 视频生成模型都没有超越统计机器学习的框架。即使是 Scaling Law ，也有自身的限制。尽管各个模型对强关系和中等关系的生成把握比较精准，但对弱关系的学习仍然不足。如果研究者们不能持续提供足够多的高质量数据，模型的能力就难以有质的提升。

换个角度来看，即使视频生成领域会出现一种「占据半壁江山」的大一统架构，也并不意味其具备绝对的优越性。就像是自然语言领域，一直稳居 C 位的 Transformer 也会面临被 Mamba 超越的情况。

具体到视频生成领域，每种技术路线都有适合自身的应用场景。比如关键点驱动、视频驱动更适合表情迁移的场景，音频驱动更适合人物讲话、唱演的场景。从条件控制的程度来说，弱控制的方法很适合创意类任务，同时很多专业、具体的任务更能受益于强控制的方法。

通义实验室是国内最早布局视频生成技术的机构之一，目前已有文生视频、图生视频等多个方向的研发积累，特别是在人物视频生成方面，已经形成了包括人物动作视频生成框架 Animate Anyone、人物换装视频生成框架 Outfit Anyone、人物视频角色替换框架 Motionshop、人物唱演视频生成框架 Emote Portrait Alive 在内的完整研究矩阵。

^{更多项目请关注：https://github.com/HumanAIGC}

比如在 EMO 之前，Animate Anyone 一度霸屏社交媒体和朋友圈。该模型解决了人物运动视频生成中保持人物外观短时连续性和长时一致性的问题，随后上线通义 App「全民舞王」功能，掀起了一波全民热舞小高潮。

从技术到现实世界

过去两年，语言模型展现了强大的对话、理解、总结、推理等文本方面的能力，图像生成模型展现了强大的自然生成、娱乐和艺术能力，两大赛道都诞生了很多爆款产品。这些模型的成功至少告诉我们一点：想在这个时代取得影响力的技术团队，需要学会「基础模型」和「超级应用」两条腿走路。

目前，视频内容呈现爆发式增长的趋势，人们都在期待能够出现一个人人「可用」且「实用」的 AI 视频生成平台。EMO 可能是打破这一局面的重要技术突破，通义 App 则提供了一个技术落地的广阔平台。

视频生成技术的下一个挑战，是如何攻克专业级的内容。

科技公司们希望将 AI 技术转化为真正的生产力工具，去服务短视频博主、影视制作人、广告和游戏创意人。这也是为什么视频生成应用不能只停留在「通用内容」的水准。

环顾目前大部分的视频生成应用，大多是基于 3 到 5 秒的视频生成模型，在应用和体验上的限制比较明显。但 EMO 技术对于音频时长的包容度很高，而且生成内容质量可以达到演播标准。比如登陆央视的这段「兵马俑唱演」，全程四分钟的兵马俑部分表演视频无一秒需要人工后期针对性「微调」。

如今看来，以 EMO 为代表的人物视频生成技术是最接近「专业级生成水准」的落地方向之一。相比于文生视频技术中用户 Prompt 存在的诸多不确定性，EMO 技术高度符合人物视频创作对内容连贯性和一致性的核心需求，展示了极具潜力的应用空间。

EMO 之所以「出圈」，人们看到的不光是研发团队的技术实力，更重要的是看到了视频生成技术落地的加速度。

「人均专业创作者」的时代，或许不远了。

产业EMO通义实验室

相关数据

变分自编码器技术

变分自编码器可用于对先验数据分布进行建模。从名字上就可以看出，它包括两部分：编码器和解码器。编码器将数据分布的高级特征映射到数据的低级表征，低级表征叫作本征向量（latent vector）。解码器吸收数据的低级表征，然后输出同样数据的高级表征。变分编码器是自动编码器的升级版本，其结构跟自动编码器是类似的，也由编码器和解码器构成。在自动编码器中，需要输入一张图片，然后将一张图片编码之后得到一个隐含向量，这比原始方法的随机取一个随机噪声更好，因为这包含着原图片的信息，然后隐含向量解码得到与原图片对应的照片。但是这样其实并不能任意生成图片，因为没有办法自己去构造隐藏向量，所以它需要通过一张图片输入编码才知道得到的隐含向量是什么，这时就可以通过变分自动编码器来解决这个问题。解决办法就是在编码过程给它增加一些限制，迫使其生成的隐含向量能够粗略的遵循一个标准正态分布，这就是其与一般的自动编码器最大的不同。这样生成一张新图片就比较容易，只需要给它一个标准正态分布的随机隐含向量，这样通过解码器就能够生成想要的图片，而不需要给它一张原始图片先编码。

来源：机器之心 Tutorial on Variational Autoencoders

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

模拟信号技术

模拟信号（英语：analog signal），是指在时域上数学形式为连续函数的信号。与模拟信号对应的是数字信号，后者采取分立的逻辑值，而前者可以获取连续值。模拟信号的概念常常在涉及电的领域中被使用，不过经典力学、气动力学（pneumatic）、水力学等学科有时也会使用模拟信号的概念。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

图像生成技术

图像生成（合成）是从现有数据集生成新图像的任务。

来源：paperswithcode

生成对抗网络技术

生成对抗网络是一种无监督学习方法，是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成：用来拟合数据分布的生成网络G，和用来判断输入是否“真实”的判别网络D。在训练过程中，生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D，而D则尽可能的分辨真实数据和生成网络的输出，从而形成两个网络的博弈过程。理想的情况下，博弈的结果会得到一个可以“以假乱真”的生成模型。

来源：Generative Adversarial Networks

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

阿里巴巴机构

阿里巴巴网络技术有限公司（简称：阿里巴巴集团）是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/

生成对抗技术

生成对抗是训练生成对抗网络时，两个神经网络相互博弈的过程。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

来源：wiki

时序预测技术

时序预测（时间序列预测）是预测时间序列未来值（以及不确定性的边界）的任务。

视频生成技术

视频生成是指利用深度学习等技术生成视频的任务。