上期《科技奥德赛》,我们了解了Bhout如何把一场梦做成一门生意。本次,我们把目光转向了另一家更低调、也更硬核的公司——Sound Particles。

当你在影院里听见《沙丘》里沙虫掠过时的轰鸣,或在《奥本海默》的核爆场景中感受到声音从四面压来时,很少会想到,这些复杂空间感背后的技术,一些会是来自莱里亚一家只有17人的公司——Sound Particles。

这家2016年成立的葡萄牙公司,把电脑图形学里的粒子系统带进了声音世界,也把自己做进了全球顶级电影、游戏和音乐制作的专业流程里。在《科技奥德赛》的这期探访中,我们走进了这间办公室,试图读懂这套重新定义3D音频的技术,到底是怎么诞生的。

把声音变成粒子

在Sound Particles出现之前,沉浸式音频的创作长期困在低效的手工模式里。

想要打造一个千人战场的全景声场,混音师需要录制上千条不同的枪声素材,再用鼠标、旋钮逐一调整每一条声音的方位、距离与传播特性,才能避免重复感带来的虚假;想要还原成群飞虫绕着头顶盘旋的效果,也要手动给每一条声音设定运动轨迹,稍有不慎就会失去真实感。

Sound Particles的创始人Nuno Fonseca,一个同时深耕电影音频、计算机科学与人工智能的跨界者,提出了一个全新的思路:如果3D动画里,每一个画面元素都能成为带坐标、带运动轨迹的粒子,那声音为什么不可以?

基于这个想法,他搭建了一套核心的3D音频引擎:每一个声音都是一个独立的“音频粒子”。创作者可以在虚拟3D空间里,给每个声音粒子设定精准的位置、运动方向与传播轨迹,再像动画师架设摄影机一样,在空间里放置虚拟麦克风——麦克风的位置,就是最终观众听到声音的视角。

这个底层逻辑的改变,直接降低了复杂声场的创作门槛。就像团队演示的那样,原本需要耗费近一年录制的上千种差异化枪声,只用10个基础样本,通过系统对参数的精细化微调,就能呈现出丰富差异化的听感,尽量避免机械重复带来的失真感。也正是这套技术,让Sound Particles进入了好莱坞不少制片厂和声音团队的创作流程。

声音可以更真实

在公司的开发室里,我们最先注意到的,不是满屏的代码和专业调音设备,而是一排排整齐摆放的3D打印模型——从耳朵、完整的头部到躯干,全是公司员工的1:1复刻。

“我们先打印了所有员工的耳朵用来做声学测试,替换了人工头模型上的耳朵,后来发现这还不够,又开始打印完整的头部和躯干,下一步还会还原衣服、头发、眼镜对声音传播的影响。”公司COO Rui Rijo的介绍,也点出了音频行业里一个长期容易被忽略的事实:每个人的耳朵结构都是独一无二的,甚至左耳和右耳都存在差异,声音在不同人的耳廓、耳道里,传播路径完全不同。

传统的沉浸式音频体验,极度依赖影院里十几、几十个扬声器组成的全景声系统。比如团队现场演示的9.1.6声道环境,就包含了人耳高度的9个扬声器、顶部6个扬声器和1个低音炮,才能搭建出完整的3D声场。但对绝大多数普通人来说,家里不可能搭建这样的专业设备,日常听音频、看视频,最常用的只是一副普通耳机。

Sound Particles正在做的,就是打破这个硬件壁垒。通过3D扫描还原用户的耳朵与头部结构,系统就能模拟声音在用户特定耳朵里的传播方式,生成专属的双耳音频。他们的目标,是让普通人只用一副普通耳机,就能逼近影院多扬声器系统的沉浸式3D音频体验。

为了降低创作端的操作门槛,团队还开发了手机控声工具:混音师不用再守着电脑反复调整鼠标和旋钮,只用手机指向空间里的任意位置,声音就会精准落到对应的方位,让3D声场的创作变得简单直观。

好声音,值得让每个人听到

这家进入好莱坞专业制作流程的公司,核心团队只有17人,其中包括4位博士,其核心技术已在美国获得专利。从2016年创立至今,他们并没有把自己停留在影视音频工具这一单一定位上,而是围绕核心的3D音频技术,不断拓展产品边界。

我们探访时了解到,团队已经推出了适配数字音频工作站的全系列插件,覆盖沉浸式音频创作全流程,也被广泛应用在VR、AR游戏的声场制作中;2023年,他们发布了首款商用沉浸式合成器,计划推出的粒子合成器,也让音乐家让-米歇尔·雅尔在体验后直言,“我等这个产品等了大约20年”;针对行业3D音效素材的缺口,他们还搭建了Explorer音效库,收录了超过200组专属3D音频素材。

而团队当时最核心的新方向,是面向大众的消费级3D音频市场。“整个行业都在向3D音频发展,但最大的问题是,大多数人家里没有10个以上的扬声器,大部分时间都是通过耳机消遣娱乐。”在Rui Rijo看来,这是一个规模达100亿美元的市场。市面上现有的解决方案,要么效果达标但无法规模化普及,要么能规模化但体验不佳,而Sound Particles试图找到兼顾效果与扩展性的解决方案。

彼时,团队已经为这项技术投入了五年研发,并正准备将其进一步推向市场。除此之外,他们还把3D音频技术延伸到了人工智能领域:利用粒子系统,生成带精准空间标注、丰富环境噪声的海量音频数据集,为语音识别、智能汽车环境声预警等场景的神经网络训练提供支撑。

当然,此行来到最后,相信屏幕前的你,也会有和我们一样的感觉:Sound Particles最打动人的,会在于他们愿意花数年时间,把一个足够难的细分问题一点点做透。

从电影片场、游戏制作,到耳机和人工智能,Sound Particles并没有突然跨进这些场景。它更像是沿着同一个问题不断往前走:声音能不能被放进空间,能不能被更真实地还原,能不能被做成一种更底层的能力。也正是在这个过程中,这家莱里亚的小公司一步步长成了今天的样子。

下期预告:当葡萄牙科技走进智慧城市,欢迎来到Omniflow。