beanvr

从2015年年底开始,国际上已经出现了多个VR社交应用平台的雏形,比如Altspace、vTime、Rec Room等。Facebook也在今年F8开发大会上演示的demo中,让远在地球两端的两个人在全景照片中“共游”世界名胜,用户可进行“面对面”交谈,甚至可以自拍以及合影,并即时将照片分享到Facebook网站上。

facebook-vr
Facebook的VR社交

而在国内,同样也有很多团队正在进行VR社交的尝试,比如极乐王国、DreamVR以及我们今天将要介绍的BeanVR

在BeanVR的设想中,未来的社交是这样的:天各一方的人随时随地将自己喜爱的东西“面对面”分享给好友,当我们在海外旅游的时候,通过全景相机拍摄视频或照片,邀请远在另一个国家的好友进入你的场景进行分享,利用深度摄像头等设备将人甚至人的表情实时真实地投射到该虚拟世界中,并采用力反馈设备等,使用户可以面对面甚至手拉手描述所遇到的人和事情。这其中,有三个关键点:多人参与、真实互动和自定义场景。

如此高沉浸感的VR社交所涉及的相关硬件自然极其多样,很多VR社交产品也都是在成熟的VR系统基础上进行社交应用的开发,比如极乐王国——基于暴风魔镜等手机壳子以及成熟的手柄技术研发的一款VR社交平台。用户可以通过手柄控制一个虚拟替身在事先建立好的VR场景中前后左右运动,并进行交流。不过,BeanVR选择的路却与此大相径庭。

由于目前VR技术仍然处于非常早期的阶段,VR硬件尤其是昂贵的主机端头显本身并不怎么普及。Steam 发布的一项调查报告显示,仅有 0.3%的 Steam 用户拥有高端头显,核算约为 45 万人。另外,理想中的VR社交需要将人的形象包括动作、表情等所有信息都投射到VR世界中,而这就意味着需要一整套完善的动作捕捉以及表情捕捉设备,价格同样非常昂贵。因此,BeanVR首先决定寻找一个更加可行的点入手,而这个点便是VR直播。

image001

直播软件因为满足了人们对性、娱乐、好奇、窥视欲、参与感以及社交的需求,成为了2016年互联网行业不得不提的现象级产品。早在6月底,花椒直播便采用分屏的方式直播了柳岩为程序员按摩,虽然该直播并不是真正的VR直播,但至少说明了花椒正在进行VR的升级。另一家直播平台映客也即将开展VR二次元直播,将真实人物的表情投射到VR演播室的虚拟人物脸上,以该虚拟替身的形式进行直播。

据了解,基于直播的BeanVR推出了MR互动直播系统和多维浏览器两个基础交互功能。虽然BeanVR本身并不生产制造硬件,但这却并不意味着没有技术难度。

MR互动直播技术 :基于普通摄像头,通过计算机视觉、深度学习技术同时配合低成本的体感识别设备,将真人从真实且常规的背景(并非传统的绿幕)中提取出来,并且可以投射到虚拟的场景中,与其他虚拟用户、场景等做深度互动。而且,BeanVR也可以将用户的形象变成二次元,以保护用户的隐私。

具体而言,BeanVR的MR互动直播系统分主播端和观众端,主播端通过图像识别方案将实拍主播与虚拟场景如演唱会、演播厅等进行合成,让真人主播在虚拟演播厅舞台上舞蹈等。

而观众端用户戴上VR头盔后便可以身处虚拟的演唱会中,可以欣赏舞台中央的真人主播并与之进行丰富互动。比如MR互动主播可以通过第一视角观看从观众席飞过来的各种立体化礼物和表情,跨屏幕触碰和抓取屏幕中的虚拟物品,向虚拟场景中的观众做出回应,甚至邀请观众上台来到自己的身边一起进行表演。

多维浏览器 :BeanVR可以实现对网页视频、弹幕、评论、收藏等互动信息的自动识别,并进行立体化多维解构,将视频与场景融合,使得用户置入故事之中与视频内容或主角进行深度互动。比如,目前很多所谓的VR浏览器只是将传统网页浏览器复制到了VR里面,而BeanVR则是识别并解构网页信息,看视频时,你或许就在一个电影院内,前方是一个电影屏幕,上面播放着视频,而评论、弹幕等其他内容则可能隐藏在椅子把手附近,通过手势识别,用户可以调出这些信息并查看等。

image003

BeanVR 创始人秦凯认为,VR直播的门槛相对低了很多,仅需要主播端拥有硬件设备就可以让整个系统得以运行。而且主播端的购买能力也更为强大。据了解,BeanVR未来整套方案并不便宜,不过对方并没有透露具体价格。

BeanVR目前规模20人左右,研发员工占比70%,其中有来自于前华为及OPPO的浏览器高级开发工程师。创始人秦凯曾在AC尼尔森旗下的品牌战略咨询公司担任品牌战略总监,也曾主导过陌陌早期的营销推广及后期洗白运营推广、小米SNS营销、荔枝FM、豆瓣等互联网社交产品的产品需求分析及SNS运营,2014年他又加入国内一线头显厂商负责品牌战略规划、生态链搭建及产品规划;联合创始人兼研发总监熊飞有十年三维仿真系统研发经验,是国内早期从事VR领域研究的框架工程师,曾负责国内现有VR闭环生态圈的软件系统底层框架、图形手势算法以及SDK的研发,在计算机图形学、手势算法等虚拟现实技术有多年的研发经验。

2016年4月,BeanVR完成了由和君资本领投、泰有资金跟投的百万美元天使轮融资。