让你的头像照片动起来，并有感情地“讲话”

nal autoencode，VAE）。VAE 能够将输入的音频分解成不同的表现形式，包括编码内容、表情以及其它变化的因素，在输入音频的基础上，从分布中采样一些内容表示序列，该序列连同输入的人脸图像一同被馈送到视频生成器进行面部动画处理。

为了训练和测试 VAE，研究人员选取了三个数据集，分别如下：

• GRID：这是一个视听语料库，每个语料库包含了 34 为说话者的 1000 份录音；

• CREMA-D：包含了 7442 个影视片段，来自 91 位不同种族演员；

• LRS3：包含了超过 10 万个 TED 视频中的口语句子的数据库。

研究人员将 GRID 和 CREMA-D 的数据输入到模型中，让其识别语音和情感表征，然后使用一对定量指标——峰值信噪比（PSNR）和结构相似度指数（SSIM）——来评估视频生成的质量。

该研究团队表示，就表现而言，他们的方法和其它清晰的、中性的口语表达方法在所有指标上都是一样的。并且他们注意到，这种方法不仅能够在整个情绪光谱上持续表现，还能够兼容所有目前最先进的传声头像方法。

值得一提的是，其变种特异性的可学先验方法还能够扩展到其它语音因素，例如身份和性别，这些因素能够作为未来工作的一部分探索。通过对噪音和情绪音频样本进行测试，研究人员验证了其模型，表明了在音频变化的情况下，该方法是优于目前已有的技术水平的。

（编辑：南通站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!