深入了解Fugatto

NVIDIA开发全新生成式AI模型“Fugatto”，以文本和音频输入来创造声音、对话及音乐。

Fugatto（全名为Foundational Generative Audio Transformer Opus 1）运用文本和音频文件，将提示描述转换成声音、对话及音乐的任意组合。可根据文本提示产生一段音乐，从现有歌曲独立出人声部分，改变说话的口音或语气，甚至合成前所未有的声音。

NVIDIA枚举Fugatto的应用场景，例如音乐制作人可用Fugatto加速歌曲制作，尝试不同风格、声音及乐器，还能添加音效、提升现有歌曲整体音频品质。

面对不同地区和市场的宣传需求，广告公司可用Fugatto产生不同口音或语气的广告配音。语言学习工具能够个性化，使用用户选择的声音来发音。还有电玩游戏开发者也能用Fugatto修改预先录制的声音数据，对应玩家游戏时不断变化的动作，或者根据文本提示和可选音频产生新的声音资产。

“我们希望创建一个能够像人类一样理解和生成声音的模型”，NVIDIA应用音频研究经理Rafael Valle表示，他是开发Fugatto十多人团队的成员之一，同时也是一位管弦乐作曲家与指挥家。“Fugatto是我们迈向未来的第一步，音频合成和转换中的无监督多任务学习将根据数据和模型规模而产生”，他说。

新模型Fugatto介绍和示范。

Fugatto创建在开发团队先前在语音建模、音频声码及音频理解等领域的工作基础上，宣称以开源数据进行训练。完整版本使用25亿参数，并在一组包含32个NVIDIA H100 Tensor Core GPU的DGX系统训练而成。

这项开发工作最困难的部分是产生一个混合数据集，包含数百万个用于训练的音频样本。开发团队采用多面向策略来产生数据和指令，扩展该模型可执行的任务范围，做到更准确的性能，同时无需额外数据就能完成新任务。

在推理过程中，Fugatto使用名为ComposableART的技术，以组合只在训练期间单独看到的指令，这方面具体应用如要求Fugatto用法国口音说出带有悲伤情绪的文本。

值得一提的是，Fugatto由来自世界各地的成员合力研究，包括印度、巴西、中国、约旦及韩国，大家通力合作使Fugatto多语言和多口音能力变得更强。

虽然Fugatto尚未开放测试，NVIDIA深度学习应用研究副总裁Bryan Catanzaro则认为，生成式AI将为音乐、电玩游戏及想要创造新事物的一般人带来新能力。

（首图来源：pixabay）