生存还是毁灭，这是一个问题。现在对哈姆雷特来说，这个问题又有了新的维度，因为他被转移到了一个3D的虚拟世界。
“与哈姆雷特同在”（To Be With Hamlet）是纽约大学全球系统的艺术家、工程师和程序员合作研发出的、使用虚拟实景技术（VR）的现场戏剧表演。
“与哈姆雷特同在”以前所未有的方式结合了现场戏剧表演、动作捕捉以及虚拟实景。当哈姆雷特在艾森诺城堡撞见父亲的魂灵时，多达15名观众可以和哈姆雷特分享实景经历，并能自如走动。
为了打造虚拟舞台的体验，来自上海纽约大学、纽约大学阿布扎比、以及纽约大学的研究人员通力合作，指导并捕捉演员的表演，将他们转移到虚拟场景中。
纽约大学坦登工程学院的团队负责此项目的VR技术，利用Optitrack面部与动作捕捉技术，打造出兼具现场感和真实感的哈姆雷特。上海纽约大学和纽约大学阿布扎比分校开发的M3diate技术，让观众在探索艾森诺城堡时既能够看到彼此，又能分享相同的虚拟场景体验。
10月14日，上海纽约大学特聘助理艺术教授Christian Grewell参加了在深圳举办的“国际众创周末”，为2千名科技创业者和研发人员，演示了这个项目。
Christian Grewell是M3diate制作团队的创意负责人。我们与Christian Grewell聊了哈姆雷特VR项目的更多细节，以及在剧场之外的更多应用可能：
问：“与哈姆雷特同在”被称为是使用VR技术的现场戏剧表演，能让人和哈姆雷特“亲密接触”。能不能详细表述一下观众会有什么样的体验？
“与哈姆雷特同在”，可以让身处任何地方的观众，在虚拟环境里看到和感受到现场戏剧表演。戴上VR头套后，观众立即发现自己置身于戏剧中的场景，能实时看到、听到演员的现场表演。
纽约大学坦登工程学院的团队利用Optitrack面部与动作捕捉技术，将扮演哈姆雷特的演员进行了逼真的动画创作。演员的表演，由专门设计的m3diate技术，变得富有生气。m3diate技术可以创造有空间感和真实感的环境音。观众与演员的距离，与虚拟实景之间的距离，都会影响观众对环境音和舞台对白的感受。
问：你负责项目里的哪个部分？
上海纽约大学和纽约大学阿布扎比的M3diate研究项目，尝试让VR技术的日常使用不受身处地理位置的限制，例如全球各地一起上课。我们决定专注于研究声音体验。M3diate开发了一种技术，它可以通过现有网络带宽发送音频和动作的捕捉数据，确保接收到高品质和低延时的数据。
纽约大学坦登工程学院在此项目中着重于动作捕捉和表演，所以，和M3diate合作就是再合适不过了。因为，M3diate可以提供给项目所需的技术，让全世界的观众都能享用。
问：在制作过程中遇到了哪些挑战？
一个前所未有的挑战，就是将社交VR的概念用于一个传统的社交活动——戏剧。这是一个史无前例的尝试，即便像AltVR或ConVRge这样的公司打造出了社交VR场景，但也不是这样的尝试。
项目所遇困难非常多。一个挑战就是如何在虚拟场景里体现人类的形体和动作。对于每一帧（每一秒画面里包括了很多帧），我们都需要解决“虚拟骨架”的运动学方程，才能决定末端执行器（包括演员小指的）理想位置的所有联合参数。
还有一个挑战，就是将所有这些数据通过互联网传给联网的观众。这些数据量相当惊人。所以我们建立了自己的执行和压缩系统，处理这些海量数据。这项工作尤其难。
最后，就是如何设置、编排，涉及相当多的设置安装，以及让其实现的技术手段。例如，为了让动作逼真并且避免“恐怖谷理论”（注：指当机器人与人类相像超过一定程度时，人类对他们的反应会突然变得极为反感），我们需要使用一套动作捕捉服，这需要时间来设置。我们还要建立很多专门的VR房间，确保它们和上海、阿布扎比和纽约的不同服务器架构连接在一起。这不是简单的“随插即用”。
问：除了虚拟剧场，你觉得VR技术未来还能应用于哪些领域？
VR技术的应用真的是有成百上千！没有任何极限。就当前来说来说，我们搭建了可以在虚拟世界里进行浸入式体验及交流的平台。我们最大的问题就是如何能有全新的应用。这个项目的灵感，来自我的中文老师。她说，也许有一天可以用VR上中文课。我大受启发。所以我们选择3D空间化的声音，呈现逼真效果。还有很多设计原型，包括利用VR协同家居和建筑设计，协同产品设计等，当然，还有语言学习。
问：上海纽约大学在该领域研究的设备情况如何？
可以说，上海纽约大学位于东半球VR硅谷的核心。纽约大学很快就会成为西半球的VR重镇。上海纽约大学可以充分利用这些VR爱好者和专业人士的智力资源。此外，大公司也都选择在上海建立VR业务的分公司。
“国际众创周末”的会议组织者，借给上海纽约大学会议购置的Optitrack面部和动作捕捉技术设备。目前，我们正在学校里安装设备，学生可以使用这台设备做更多的设计项目。我们甚至还能做一个本土版的VR项目，比如京剧！
问：我们何时能够能看到这个项目？
哈姆雷特的VR团队已经获得世界各地许多会议的邀请。我们会在那里向观众现场展示哈姆雷特里的一幕。11月8日，我门会去参加在阿姆斯特丹举行的“VR Days”大会。另外，上海纽约大学正在为春季学期搭建VR工作室。项目也会在纽约大学坦登工程学院进行小规模展示。
