只看手势动作就能完美复现音乐,MIT联合沃森实验室团队推出最新AI

  会玩乐器的人在生活中简直自带光环!

  不过,学会一门乐器也真的很难,多少人陷入过从入门到放弃的死循环。

  但是,不会玩乐器,就真的不能演奏出好听的音乐了吗?

  最近,麻省理工(MIT)联合沃森人工智能实验室(MIT-IBM Watson AI Lab)共同开发出了一款 AI 模型 Foley Music,它可以根据演奏手势完美还原乐曲原声!

只看手势动作,就能完美复现音乐,MIT 联合沃森实验室团队推出最新 AI,多种高难度乐器信手拈来!

  而且还是不分乐器的那种,小提琴、钢琴、尤克里里、吉他,统统都可以。

只看手势动作,就能完美复现音乐,MIT 联合沃森实验室团队推出最新 AI,多种高难度乐器信手拈来!

  只要拿起乐器,就是一场专业演奏会!如果喜欢不同音调,还可以对音乐风格进行编辑,A调、F调、G调均可。

只看手势动作,就能完美复现音乐,MIT 联合沃森实验室团队推出最新 AI,多种高难度乐器信手拈来!

  这项名为《Foley Music:Learning to Generate Music from Videos》的技术论文已被 ECCV 2020 收录。

  接下来,我们看看 AI 模型是如何还原音乐的?

  会玩多种乐器的 Foley Music

  如同为一段舞蹈配乐需要了解肢体动作、舞蹈风格一样,为乐器演奏者配乐,同样需要知道其手势、动作以及所用乐器。

  如果给定一段演奏视频,AI 会自动锁定目标对象的身体关键点(Body Keypoints),以及演奏的乐器和声音。

只看手势动作,就能完美复现音乐,MIT 联合沃森实验室团队推出最新 AI,多种高难度乐器信手拈来!

  身体关键点:由 AI 系统中的视觉感知模块(Visual Perception Model)来完成。它会通过身体姿势和手势的两项指标来反馈。一般身体会提取 25 个关 2D 点,手指提起 21 个 2D 点。

  乐器声音提取:采用音频表征模块(Audio Representation Model),该模块研究人员提出了一种乐器数字化接口(Musical Instrument Digital Interface,简称 MIDI)的音频表征形式。它是 Foley Music 区别于其他模型的关键。

  研究人员介绍,对于一个 6 秒中的演奏视频,通常会生成大约 500 个 MIDI 事件,这些 MIDI 事件可以轻松导入到标准音乐合成器以生成音乐波形。

  在完成信息提取和处理后,接下来,视-听模块(Visual-Audio Model)将整合所有信息并转化,生成最终相匹配的音乐。

  我们先来看一下它完整架构图:主要由视觉编码,MIDI 解码和 MIDI 波形图输出三个部分构成。

只看手势动作,就能完美复现音乐,MIT 联合沃森实验室团队推出最新 AI,多种高难度乐器信手拈来!

  视觉编码:将视觉信息进行编码化处理,并传递给转换器 MIDI 解码器。从视频帧中提取关键坐标点,使用 GCN(Graph-CNN)捕获人体动态随时间变化产生的潜在表示。

  MIDI 解码器:通过 Graph-Transfomers 完成人体姿态特征和 MIDI 事件之间的相关性进行建模。Transfomers 是基于编解码器的自回归生成模型,主要用于机器翻译。在这里,它可以根据人体特征准确的预测 MIDI 事件的序列。

  MIDI 输出:使用标准音频合成器将 MIDI 事件转换为最终的波形。

  实验结果

  研究人员证实 Foley Music 远优于现有其他模型。在对比试验中,他们采用了三种数据集对 Foley Music 进行了训练,并选择了 9 中乐器,与其它 GAN-based、SampleRNN 和 WaveNet 三种模型进行了对比评估。

  其中,数据集分别为 AtinPiano、MUSIC 及 URMP,涵盖了超过 11 个类别的大约 1000 个高质量的音乐演奏视频。乐器则为风琴,贝斯,巴松管,大提琴,吉他,钢琴,大号,夏威夷四弦琴和小提琴,其视频长度均为 6 秒。以下为定量评估结果:

  可见,Foley Music 模型在贝斯(Bass)乐器演奏的预测性能最高达到了 72%,而其他模型最高仅为8%。

只看手势动作,就能完美复现音乐,MIT 联合沃森实验室团队推出最新 AI,多种高难度乐器信手拈来!

  另外,从以下四个指标来看,结果更为突出:

正确性:生成的歌曲与视频内容之间的相关性。

噪音:音乐噪音最小。

同步性:歌曲在时间上与视频内容最一致。

只看手势动作,就能完美复现音乐,MIT 联合沃森实验室团队推出最新 AI,多种高难度乐器信手拈来!

  黄色为 Foley Music 模型,它在各项指标上的性能表现远远超过了其他模型,在正确性、噪音和同步性三项指标上最高均超过了 0.6,其他最高不足 0.4,且 9 种乐器均是如此。

  另外,研究人员还发现,与其他基准系统相比,MIDI 事件有助于改善声音质量,语义对齐和时间同步。

  说明

  • GAN 模型:它以人体特征为输入,通过鉴别其判定其姿态特征所产生的频谱图是真或是假,经过反复训练后,通过傅立叶逆变换将频谱图转换为音频波形。

  • SampleRNN:是无条件的端到端的神经音频生成模型,它相较于 WaveNet 结构更简单,在样本级层面生成语音要更快。

  • WaveNet:是谷歌 Deepmind 推出一款语音生成模型,在 text-to-speech 和语音生成方面表现很好。

  另外,该模型的优势还在于它的可扩展性。MIDI 表示是完全可解释和透明的,因此可以对预测的 MIDI 序列进行编辑,以生成A\G\F调不同风格音乐。 如果使用波形或者频谱图作为音频表示形式的模型,这个功能是不可实现的。

只看手势动作,就能完美复现音乐,MIT 联合沃森实验室团队推出最新 AI,多种高难度乐器信手拈来!

  最后研究人员在论文中表明,此项研究通过人体关键点和 MIDI 表示很好地建立视觉和音乐信号之间的相关性,实现了音乐风格的可拓展性。为当前研究视频和音乐联系拓展出了一种更好的研究路径。

  以下为 Youtobe 视频,一起来感受下 AI 音乐!

  https://www.youtube.com/watch?v=bo5UzyDB80E

  引用链接:

  • http://foley-music.csail.mit.edu/

  • https://arxiv.org/pdf/2007.10984.pdf

  • https://venturebeat.com/2020/07/23/researchers-ai-system-infers-music-from-silent-videos-of-musicians/

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注