用VR与哈姆雷特同在

2016年10月21日

生存还是毁灭,这是一个问题。现在对哈姆雷特来说,这个问题又有了新的维度,因为他被转移到了一个3D的虚拟世界。

“与哈姆雷特同在”(To Be With Hamlet)是纽约大学全球系统的艺术家、工程师和程序员合作研发出的、使用虚拟实景技术(VR)的现场戏剧表演。

“与哈姆雷特同在”以前所未有的方式结合了现场戏剧表演、动作捕捉以及虚拟实景。当哈姆雷特在艾森诺城堡撞见父亲的魂灵时多达15名观众可以和哈姆雷特分享实景经历,并能自如走动。

为了打造虚拟舞台的体验,来自上海纽约大学、纽约大学阿布扎比、以及纽约大学的研究人员通力合作,指导并捕捉演员的表演,将他们转移到虚拟场景中。

纽约大学坦登工程学院的团队负责此项目的VR技术,利用Optitrack面部与动作捕捉技术,打造出兼具现场感和真实感的哈姆雷特。上海纽约大学和纽约大学阿布扎比分校开发的M3diate技术,让观众在探索艾森诺城堡时既能够看到彼此,又能分享相同的虚拟场景体验。

10月14日,上海纽约大学特聘助理艺术教授Christian Grewell参加了在深圳举办的“国际众创周末”,为2千名科技创业者和研发人员,演示了这个项目。

Christian Grewell是M3diate制作团队的创意负责人。我们与Christian Grewell聊了哈姆雷特VR项目的更多细节,以及在剧场之外的更多应用可能:

 

问:“与哈姆雷特同在”被称为是使用VR技术的现场戏剧表演,能让人和哈姆雷特“亲密接触”。能不能详细表述一下观众会有什么样的体验?

“与哈姆雷特同在”,可以让身处任何地方的观众,在虚拟环境里看到和感受到现场戏剧表演。戴上VR头套后,观众立即发现自己置身于戏剧中的场景,能实时看到、听到演员的现场表演。

纽约大学坦登工程学院的团队利用Optitrack面部与动作捕捉技术,将扮演哈姆雷特的演员进行了逼真的动画创作。演员的表演,由专门设计的m3diate技术,变得富有生气。m3diate技术可以创造有空间感和真实感的环境音。观众与演员的距离,与虚拟实景之间的距离,都会影响观众对环境音和舞台对白的感受。

 

问:你负责项目里的哪个部分?

上海纽约大学和纽约大学阿布扎比的M3diate研究项目,尝试让VR技术的日常使用不受身处地理位置的限制,例如全球各地一起上课。我们决定专注于研究声音体验。M3diate开发了一种技术,它可以通过现有网络带宽发送音频和动作的捕捉数据,确保接收到高品质和低延时的数据。

纽约大学坦登工程学院在此项目中着重于动作捕捉和表演,所以,和M3diate合作就是再合适不过了。因为,M3diate可以提供给项目所需的技术,让全世界的观众都能享用。

 

问:在制作过程中遇到了哪些挑战?

一个前所未有的挑战,就是将社交VR的概念用于一个传统的社交活动——戏剧。这是一个史无前例的尝试,即便像AltVR或ConVRge这样的公司打造出了社交VR场景,但也不是这样的尝试。

项目所遇困难非常多。一个挑战就是如何在虚拟场景里体现人类的形体和动作。对于每一帧(每一秒画面里包括了很多帧),我们都需要解决“虚拟骨架”的运动学方程,才能决定末端执行器(包括演员小指的)理想位置的所有联合参数。

还有一个挑战,就是将所有这些数据通过互联网传给联网的观众。这些数据量相当惊人。所以我们建立了自己的执行和压缩系统,处理这些海量数据。这项工作尤其难。

最后,就是如何设置、编排,涉及相当多的设置安装,以及让其实现的技术手段。例如,为了让动作逼真并且避免“恐怖谷理论”(注:指当机器人与人类相像超过一定程度时,人类对他们的反应会突然变得极为反感),我们需要使用一套动作捕捉服,这需要时间来设置。我们还要建立很多专门的VR房间,确保它们和上海、阿布扎比和纽约的不同服务器架构连接在一起。这不是简单的“随插即用”。

 

 

问:除了虚拟剧场,你觉得VR技术未来还能应用于哪些领域?

VR技术的应用真的是有成百上千!没有任何极限。就当前来说来说,我们搭建了可以在虚拟世界里进行浸入式体验及交流的平台。我们最大的问题就是如何能有全新的应用。这个项目的灵感,来自我的中文老师。她说,也许有一天可以用VR上中文课。我大受启发。所以我们选择3D空间化的声音,呈现逼真效果。还有很多设计原型,包括利用VR协同家居和建筑设计,协同产品设计等,当然,还有语言学习。

 

问:上海纽约大学在该领域研究的设备情况如何?

可以说,上海纽约大学位于东半球VR硅谷的核心。纽约大学很快就会成为西半球的VR重镇。上海纽约大学可以充分利用这些VR爱好者和专业人士的智力资源。此外,大公司也都选择在上海建立VR业务的分公司。

“国际众创周末”的会议组织者,借给上海纽约大学会议购置的Optitrack面部和动作捕捉技术设备。目前,我们正在学校里安装设备,学生可以使用这台设备做更多的设计项目。我们甚至还能做一个本土版的VR项目,比如京剧!

 

问:我们何时能够能看到这个项目?

哈姆雷特的VR团队已经获得世界各地许多会议的邀请。我们会在那里向观众现场展示哈姆雷特里的一幕。11月8日,我门会去参加在阿姆斯特丹举行的“VR Days”大会。另外,上海纽约大学正在为春季学期搭建VR工作室。项目也会在纽约大学坦登工程学院进行小规模展示。