音乐生成

共 9 篇网址
MelodyFlow

MelodyFlow

MelodyFlow是一个基于文本控制的高保真音乐生成和编辑模型,它使用连续潜在表示序列,避免了离散表示的信息丢失问题。该模型基于扩散变换器架构,经过流匹配目标训练,能够生成和编辑多样化的高质量立体声样本,且具有文本描述的简单性。MelodyFlow还探索了一种新的正则化潜在反转方法,用于零样本测试时的文本引导编辑,并展示了其在多种音乐编辑提示中的优越性能。该模型在客观和主观指标上进行了评估,证明了其在标准文本到音乐基准测试中的质量与效率上与评估基线相当,并且在音乐编辑方面超
000
UniMuMo

UniMuMo

UniMuMo是一个多模态模型,能够将任意文本、音乐和动作数据作为输入条件,生成跨所有三种模态的输出。该模型通过将音乐、动作和文本转换为基于令牌的表示,通过统一的编码器-解码器转换器架构桥接这些模态。它通过微调现有的单模态预训练模型,显著降低了计算需求。UniMuMo在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。
000
JASCO

JASCO

JASCO是一个结合了符号和基于音频的条件的文本到音乐生成模型,它能够根据全局文本描述和细粒度的局部控制生成高质量的音乐样本。JASCO基于流匹配建模范式和一种新颖的条件方法,允许音乐生成同时受到局部(例如和弦)和全局(文本描述)的控制。通过信息瓶颈层和时间模糊来提取与特定控制相关的信息,允许在同一个文本到音乐模型中结合符号和基于音频的条件。
000