叠境科技:光场摄影才是 VR 内容制作的王道 | 创业

plex-vr1

随着 VR 创业逐步趋于理性,大家很容易发现,国内外那么多 VR 头盔企业之间的差距其实并没有想象中那么大,之前被人抱怨的“纱窗效应”也因为屏幕分辨率的提升被进一步改善,而现在的问题则更加集中在内容的匮乏上。

目前,VR 内容制作主要有两种主流方法:一是利用全景相机拍摄 360 度视频,二是利用更加高端的软件建模技术,利用计算机工具打造更具沉浸感的 VR 游戏或视频。 不过在 叠境科技 看来,这些都不是 VR 内容制作最理想的方法。

叠境科技认为,全景相机方案是一项非常古老的技术,早在 1995 年,苹果就发布了一款主要拍摄 360 度图片的 QuickTime VR 相机。据了解,作为叠境科技创始人之一、上海科技大学教授的虞晶怡也于 1999 年创业试图将 QuickTime VR 相机的技术运用到旅游上,并拍摄了拉斯维加斯赌场等地的全景照片,但最后却发现做出来的全景照片并不怎么吸引人,虞晶怡认为这个问题到今天依然存在。

同样的,对于利用计算机建模生成相应的物体模型,并以此为基础制作相关的视频或游戏,叠境科技也认为其并非完美。比如现在很多 VR 看房都是采用三维建模实现的——需要先建模、贴“皮肤”以及大量的人工,而且不可能做到非常精细,导致最后的效果相当粗糙。又比如像唐三彩这样的物品,其表面有一层特殊的釉质,使得其表面光泽很难用传统计算机图像渲染技术渲染而来。

为此,叠境科技选择了第三种方案——光场虚拟现实技术。 叠境科技解释这是一种忽略建模、忽略材质,直接采集三维世界的光线,显示上只需要将这些光线进行重组和重现,即可让人看见“真实”三维世界的技术,用户不仅可以上下左右从各个角度观察事物,更能走近或远离这个物体。 叠境科技认为这是还原物体真实性唯一的方法。

说到光场技术,最被业内所熟知的便是这一领域的开山级论文作者 Ren Ng 创办的 Lytro,其在单个传感器前方布置微透镜阵列用以实现多个视角画面的采集,但这种方案会导致分辨率的下降,仅仅只有传感器理想画质的 N 分之一(N 即透镜数目),同时其最终所呈现的效果更多只是“先拍摄后对焦”的动态重对焦罢了,该功能目前已经在华为等手机上利用双摄像头方案实现了。

而叠境科技所采用的技术同样也是摄像头方案,只不过不是两个摄像头,而是由至少上百个摄像头组成的相机矩阵。叠境科技认为这是实现光场记录最简单的方案。

plex-vr3

据了解,叠境科技旗下一个典型的中型场景光场拍摄方案是由 140 个相机(包括 80 个静态相机和 60 个动态相机)组成的对内环拍摄影系统,可以从任意角度对物体进行拍摄。从硬件配置上来看,这跟《阿凡达》等电影的拍摄方案颇为类似。

对此,叠境科技总经理洪煦在接受动点科技采访时表示,《阿凡达》等电影在拍摄过程中虽然也用到了对内环拍摄影系统,但其更多只是拍摄了演员的肢体动作,主要是用于动捕,仍然需要后期的电脑特效合成,而一旦涉及电脑后期合成,就不得不面对前面所说的特效难以做到足够精细和真实的难题,比如说被人吐槽的《爵迹》便是在这里掉进了坑里,而且还需要在演员身上贴上很多标识点,很麻烦。“而我们则完全不需要任何标识点,也不需要后期合成,画面上甚至可以精细地记录到每一根睫毛的抖动。”洪煦如此表示。

当然,光场技术虽好,但也有很大的技术门槛。一方面,洪煦认为底层硬件大家都可以是一样的,但算法上的差异才是真正决定最终呈现效果的关键。洪煦特别强调实时渲染算法是其最核心的技术之一,叠境科技利用特殊的光场渲染算法,重现不同视角观看物体的真实效果,真正实现“眼见为实”。

而另一方面,叠境科技的数据采集方式也带来了海量的数据,如何才能以最快的速度处理完这些海量数据便成了相机矩阵光场技术最大的技术门槛。据了解,叠境科技的光场重建系统就包含了数台高性能工作站。但更重要的还是其研发了高性能并行分布式重建算法,号称比市面上最好的商业软件提速约 10 倍左右。

plex-vr2

应用方面,叠境科技的光场技术首先可以用于三维建模,但相比传统的建模方案,由于叠境科技已经收集了真实物体的真实光线信息,其所建立的三维模型将更加真实。目前,该技术已经在上海博物馆、淘宝“buy+”计划等案例中得以应用。同时,它还对王健林、王石等大佬进行过光场重建。

融资方面,叠境科技在 2016 年获得了上海联合投资的 4500 万元天使投资。目前该公司正在展开下一轮融资。