动作生成

UniMuMo是一个多模态模型，能够将任意文本、音乐和动作数据作为输入条件，生成跨所有三种模态的输出。该模型通过将音乐、动作和文本转换为基于令牌的表示，通过统一的编码器-解码器转换器架构桥接这些模态。它通过微调现有的单模态预训练模型，显著降低了计算需求。UniMuMo在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。

HY-Motion 1.0 是腾讯研发的大语言模型，专注于生成高质量的 3D 角色动作，具有优秀的动作生成能力和对文本指令的理解能力。该模型结合了流匹配机制与三阶段训练体系，通过引入人类反馈强化学习，显著提高了动作的物理合理性。其开源计划旨在推动文生动作技术的发展，降低高质量动画制作的门槛。

TANGO是一个基于层次化音频-运动嵌入和扩散插值的共语手势视频重现技术。它利用先进的人工智能算法，将语音信号转换成相应的手势动作，实现视频中人物手势的自然重现。这项技术在视频制作、虚拟现实、增强现实等领域具有广泛的应用前景，能够提升视频内容的互动性和真实感。TANGO由东京大学和CyberAgent AI Lab联合开发，代表了当前人工智能在手势识别和动作生成领域的前沿水平。