chris-lee-intel-ai-music-video

人工智能已经成为技术发展的大热门,而新的应用就是用来打造MV,这在以往是难以想象的。唱作歌手李宇春推出她的首支人工智能MV——《今天雨,可是我们在一起》。这部MV背后的技术力量,来自于英特尔。

在该MV中,为了将李宇春歌曲的寓意创新表达,导演选用了不同的情绪场景去展现李宇春的内心世界。通过英特尔3D人脸面部表情捕捉技术和后期渲染,这些情绪场景以特效的形式完美的贴合在李宇春的面部。这些图案特效不仅仅是艺术家的设计,更是李宇春内心的表达。

这首MV作品历时6个月,最终得以让栩栩如生的特效呈现在MV中。制作过程,采用了英特尔3D人脸面部表情捕捉技术。该技术实现了视频中李宇春人脸的自动检测与识别,精准重建3D人脸,并实时跟踪面部表情变化,将预先设计好的特效素材附着在3D人脸上,重新渲染到MV视频中,从而达到令人惊讶的脸部特效。

QB20171029-5

此外,通过英特尔3D人脸面部表情捕捉技术实时重建的3D人脸模型,任何3D特效公司都可以对其制作特效,任何新颖的、逼真的效果都可以完美的贴合在人脸上。相比传统形式,更节省时间和成本。借助英特尔3D人脸面部表情捕捉技术,音乐的表达方式再一次突破了想象的疆界。这首MV成为了科技赋能音乐和娱乐的又一项创新范例,创造了一种全新的科技X音乐形式,更好地去呈现音乐内容和创作者的思想。

英特尔3D人脸面部表情捕捉技术用到了人工智能最重要的分支:机器学习和深度学习。英特尔的技术工程师从数十万的人脸图片数据中,训练出的人脸识别模型,用于对视频图像进行智能分析:自动捕捉人脸区域,定位人脸关键特征点(如眼睛,鼻尖,嘴唇,眉毛,脸颊轮廓点等),生成人脸部件的边缘轮廓线(嘴唇线,眼睛线,眉毛线,面颊轮廓等);再从数百个三维人脸扫描数据中训练出一个参数化的三维人脸形变模型,用于模拟任何人的相貌脸型以及表情变化;最后通过数万张人脸照片,学习从2D图像到3D人脸的映射关系,确保从2D照片到3D人脸的精准转换,从而达到实时3D人脸建模的效果。未来,英特尔甚至可以将该技术应用在全身3D建模上,从而实现实时虚拟换衣等功能。