不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

出品:放牛班的秘密花园

来源:vice

编译:Sweetpie

责任编辑:Anyi

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

记得电影《海上钢琴师》中的天才钢琴家“1900”么?一个由算法生成的虚拟演奏家完美复刻了人类天才钢琴家的演奏技巧,几乎能即兴演奏任何音乐作品。它能应用于创建交互式虚拟课程,举行虚拟钢琴音乐会,以及电影或游戏创作。


学习演奏乐器就是要获得肌肉记忆,教会自己以前没有掌握的演奏指法。我上过几年钢琴课,最终却选择了放弃。但我想,如果投入足够的时间,我的手没准儿也能像这段视频中的手一样弹奏自如:


视频加载中...


但视频中这双手并不是真实的,而是以编程的方式3D渲染出来的,它们能根据任何歌曲旋律(除了极少数人类无法弹奏的曲子)精确地在钢琴琴键间滑动。


这名AI钢琴师是由加拿大的Massive Technologies公司创造的,经过算法训练,听到任何音乐作品,它都能用虚拟的双手将它们完美重现,效果相当不错。

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

Massive Technologies联合创始人Fayez Salka称,他们最初的目标是研发一个“基于人工智能的虚拟钢琴老师”,帮助学生学习弹钢琴。


与真实的手相比,它的指关节有点过于光滑,移动时流畅性也稍差,但与真实的手已经很接近了,弹奏效果简直令人陶醉。


在一段演示视频中,这位AI钢琴师弹的曲子来自动画片《猫和老鼠》“猫鼠协奏曲”这一集(“匈牙利狂想曲第二号”)中的音频输入,以及皮克斯动画片《灵魂》(Soul)中的音乐。

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

《灵魂》 中的场景

它还尝试弹奏一支“black midi”风的曲子,这类作品有数十亿甚至数万亿音符,据说没人能用双手弹得下来。但尽管它努力跟上节奏,最终弹奏中还是出现了一连串噪音和小差错。

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

尝试弹奏“black midi”曲子

Salka表示,为了生成AI钢琴师的弹奏动作,Massive Technologies为该算法提供了音频文件作为输入,然后输出一个“包含正确演奏技巧和精确的手部和身体动作”的动画文件。然后工程师们就能将该文件应用到虚拟环境中的虚拟化身上,这些虚拟环境包括YouTube频道上的视频,增强现实(AR,让虚拟钢琴师出现在真实的钢琴前),或虚拟现实(VR)。


Salka说,在对该AI进行算法训练时,他的团队把受过专业训练的钢琴师带到他们位于赫尔辛基的实验室,要求他们弹几个小时钢琴。他说,AI“通过特殊的硬件和传感器”观察他们的演奏,整个过程中专业钢琴师和机器学习工程师都会检查该AI的工作并给予反馈或纠正。

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

他说:“然后我们会接受这些反馈,把它们作为下一次与专业钢琴师会面时的人工智能课程。我们反复重复这一过程,直到AI的弹奏与人类的弹奏技巧和风格非常接近。”


2017年,Massive Technologies推出了一款“增强现实钢琴师”app,你可以为自己安排一位虚拟钢琴演奏师了,但那款app只提供预先设定好的一组曲子。


该公司即将发布一款融合AI钢琴师的听觉技能的新app,目前仍处于测试阶段。Salka表示,很快,用户只需将手机麦克风对准任何音频来源,app上的虚拟钢琴师就能立刻演奏该首曲子。


他称其潜力还包括:钢琴教师为远程教学创建交互式虚拟课程,或用于举行虚拟钢琴音乐会,以及电影或游戏创作者在场景中加入具有超现实感的虚拟钢琴师。


不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

声明:著作权所有,转载需授权

Come on,给你的灵魂充充电

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

不管什么曲子都能完美弹奏的AI虚拟钢琴师,来见识一下

展开阅读全文

页面更新:2024-04-14

标签:皮克斯   赫尔辛基   曲子   钢琴师   钢琴家   人工智能   能用   算法   见识   钢琴   灵魂   人类   真实   课程   完美   技巧   视频

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top