VR/AR在戏剧中的应用

【摘 要】 介绍虚拟现实技术和增强现实技术，阐述在戏剧中应用方式和产生的不同艺术样式，结合实例分析VR戏剧和 AR戏剧的呈现形式。

【关键词】 虚拟现实；增强现实；混合现实；戏剧

文章编号： 10.3969/j.issn.1674-8239.2016.11.010

【Abstract】Based on the different application and artistic pattern of VR and AR， this paper discusses different presentation forms of VR dramas and AR dramas using example.

【Key Words】virtual reality； augmented reality； mixed reality； drama

1 引言

虚拟现实（Virtual Reality， 简称VR）最早可以追溯到1962年，一款名为“Sensorama”的虚拟现实设备，当观众坐在椅子上把头探进去，可以通过三面显示屏显示3D动画影像来形成虚拟的空间，伴随味觉、立体声、座位的振动和头顶上的风等让观众获得一定的虚拟现实体验[1]，如图1所示。

直到20世纪80年代末，有“虚拟现实之父”之称的VPL公司CEO：Jaron Lanier提出了VR的概念。但由于当时虚拟现实设备笨重、功能单一和价格昂贵，虚拟现实内容开发成本高，因此VR未得到广泛关注和应用推广，可以说是处在概念性的阶段。

而当今进入互联网、智能设备和智能平台的普及的年代，一些追求创新的科技企业，为了满足人们的需求，重拾虚拟现实的概念，一些Oculus Rift、HTC Vive、三星Gear VR、索尼Playstation VR和微软Hololens等设备便应运而生。更为关键的是，一个从基础硬件（Infrastructure）到VR开发工具和内容分发平台再到VR 应用和内容开发者/机构的VR生态系统建立并正在逐步完善，如图2所示，由此VR才在近几年得到广泛关注和快速发展。

2 虚拟现实、增强现实与混合现实

有关虚拟现实术语定义，在不同阶段不同的研究者有不同的观点，主要聚焦两个方面：技术硬件要素和人类体验。

近20年来，从人类体验的角度来定义虚拟现实这个概念要远多于从设备定义的角度。其中，一种有代表性的观点是，从理解用户的物理和心理体验出发，虚拟现实的“沉浸感”、“在场性”和“交互性”的三个要素非常重要[2]。为了研究三者间的关系和虚拟现实定义，先要理解其内涵。

“沉浸感”：感受到被身处的空间包围，还可以与很多存在的物体实时交互。

“在场性”：对于环境的感受。

“交互性”：可以参与实时改变媒介化环境的形式和内容。

基于以上描述，虚拟现实定义为：通过一个使用交互性的软件和硬件的计算机系统产生一个三维图形空间，构建一个模拟现实的环境；提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。使用者进行位置移动时，计算机可以立即进行复杂的运算，将精确的3D世界影像传回产生在场感。

增强现实（Augmented Reality，简称 AR）是VR的衍生形式，将虚拟的信息叠加到真实世界上，使真实世界信息和虚拟世界信息“无缝”集成，从而达到超越现实的感官体验。图3（视频效果见http：//v.qq.com/x/page/q03126544s3.html）、图4（视频效果见http：//v.qq.com/x/page/j0312odstx5.html）所示就是AR技术应用的形态。

这两个作品都是反映随着现在城市不断更新与变迁，生活中随处可见的管道、建筑或家具等，都留有人类发展的伟绩、失去的文明痕迹和美丽的自然生态。作品通过两部分配合呈现，一部分是在墙上绘制的水泥或工业管道等绘画或用建筑废弃材料设计高楼一样的装置；另一部分就是在智能移动终端上开发APP，其利用AR技术，借助智能终端上的摄像头观看墙上的绘画或装置，观众可以看到绘画或装置这些现实场景上叠加了很多透明的虚拟动画内容，这时在APP上呈现的不仅仅是静止的绘画或装置，还有灵动的生灵在其中。

混合现实（Mixed Reality，简称MR），是被人类感知的现实世界和由计算机产生的一个虚拟环境的组合体[2]。

VR、AR和MR三者间的相互关系如图5所示。

3 VR实验戏剧和AR实验戏剧

当下，VR已经在很多艺术领域得到应用，如谷歌的Tilt Brush VR绘画软件，通过VR头盔和手柄让使用者在360°立体空间中任意绘画，体验挥毫泼墨的自由绘画艺术享受；2016草莓音乐节现场VR直播，让人们通过VR设备就可以获得临场体验；通过VR技术，打破了美术馆或博物馆的传统时空界限，构建全新的虚拟展览空间；通过AR技术，在实物展品上叠加虚拟内容，以全新的方式修复或还原珍贵文物或藏品原貌；360°全景拍摄的VR电影给创作者们提出了新叙事语言和创作方式的挑战。VR的应用导致各种艺术形式之间的交互融合，也将衍生出更多样态的艺术新式和艺术语汇，VR在艺术领域的应用是对艺术创作的一种重新的认知方式。

戏剧领域也不例外，新媒体技术涌入，互联网的普及，使舞台美术连同整个戏剧发生着深刻的变化，戏剧的呈现显示出新的趋势、新的形式和特点。舞台出现了去物质化的趋势[3]，甚至可以使戏剧渗透在任何地点。

VR技术的应用为戏剧艺术的创作带来了很多前所未有的可能性。随着VR技术的不断发展，VR技术在戏剧创作中的应用方法和产生的戏剧艺术形式也在不断发展和变化。笔者根据VR技术应用方式和产生的艺术样式不同给出不同的分类，并举例阐述，据此说明何谓“VR戏剧”。

3.1 混合VR实验戏剧

混合VR实验戏剧，在这类作品中虚拟现实技术的应用，更多的都是在戏剧舞台上添加一些由计算机图像组成的虚拟元素。比如利用计算机生成的虚拟空间作为舞台背景或者虚拟演员等；并在计算机建模的3D图像中变化视角或透视，营造一种演员穿梭其中的幻觉，如图6所示，实现了舞台现实空间与计算机构建的虚拟空间共存，虚拟空间可以理解为现实空间的延伸。

早在20世纪末，美国的Kansas大学的戏剧系就成立了一个研究虚拟现实戏剧艺术机构（The Institue for the Exploration of Virtual Realities，简称i.e.VR），该机构致力于展示如何将虚拟现实技术和其他相关技术应用到戏剧作品和演出中，并推出了The Adding Machine混合VR技术的试验戏剧[4]。

上海戏剧学院于2004年开始从事新媒体技术在舞台艺术创作中的应用研究与创作实验，同年12月，正式成立了上海市多媒体虚拟空间合成重点实验室。目前该实验室已经批准为文化部数字演艺集成创新重点实验室。12年来也创作了多部新媒体舞台艺术作品。其中就有大型多媒体音乐剧《观音菩萨》（见图7）和新媒体舞蹈诗《极境》（见图8）。两部舞台艺术作品的共同点是，利用投影技术将数字化的虚拟影像内容投射到舞台空间中，替代传统的舞台布景，营造一个虚拟三维空间，演员在舞台上表演，而从观众视觉犹如演员完全在一个虚拟的场景中进行表演，拓展了舞台表演空间，增加和丰富了舞台艺术表现力。在马来西亚国家大剧院演出的《观音菩萨》，不但在剧场舞台上通过投影营造了一个三维的虚拟空间，同时还在剧院的大面积的穹顶上进行投影，让整个剧院的观众沉浸在一个佛教氛围的虚拟空间中，与舞台虚拟空间遥相呼应，让观众感受到与演员同在一个佛法的虚拟空间之中，让观众有很强的“在场”感。

3.2 头盔VR实验戏剧

头盔VR实验戏剧，在这类作品中虚拟现实技术的应用，要求观众佩戴头盔观看，才能得到创作者所要表达的艺术效果，观众可以获得强烈的沉浸感和在场感，有的VR戏剧中还有交互体验。个人觉得这类VR实验戏剧的典型代表有VR歌剧《Senza Peso》和《仙媛》（La Peri） 。

《Senza Peso》是Road to VR机构出品的，历经5年打造的令人震惊的虚拟现实迷你歌剧。它包括画面壮观的短电影和通过Oculus Rift获得令人称赞的带叙事性的虚拟现实体验两个部分。剧中的人物表演镜头画面是采用电影叙事的方式拍摄成一个个短电影镜头，戏剧的场景是幻影（UE4）虚拟引擎制作的虚拟现实场景，将两者合成一个具有叙事体验的VR戏剧作品[5]，如图9所示。

《仙媛》（La Peri）是由Innerspace VR创作，具有参与感和交互性强的一种叙事性体验戏剧般的VR作品。观众参与到神话般的故事中，变身王子，有时去天寒地冻的深渊偷窃永生花，有时站在舞台中央与仙女共舞，观众可以用手柄去“夺取”灼目的花朵，甚至可以选择交还永生花或保留永生花，整个体验既围绕着“真实”的舞台，又有虚幻的仙境[6]，如图10所示。

3.3 AR实验戏剧

AR实验戏剧，在这类作品中增强现实技术的应用，可以是在现实空的舞台上叠加虚拟的演员表演内容，虚拟的表演内容是通过叙事性镜头表达方式进行事先录像与制作，然后透明叠加到现实舞台空间中；也可以是在现实的舞台表演中实时叠加部分透明的虚拟元素，虚拟同时/同台表演。

前面提到的i.e.VR也推出曾多次搬上舞台的试验戏剧《Wings》，演绎的是一位身患中风、语言紊乱的女飞行员Emily的独白。Wings采用的是具有AR眼镜雏形的改良i-glasses（头戴式显示器），该显示器上方有个半镀银镜，观众水平视角处各有两块小LCD屏幕，既可以通过镜子看到舞台上的演员，又可以看到镜子上反射的LCD图像，从而达到一种叠加的效果；其耳机的声音也混合了音效和舞台上演员的真实声音。导演希望采用这种特殊的观演手段，让观众走入Emily混乱的内心世界，融入Emily的角色之中，感受她的焦虑和困惑[4]。

笔者参与创作的AR交互舞台装置《爱情书简》作品，当观众打开移动终端的“AR爱情书简”APP后，将移动终端的前置摄像头对着《爱情书简》的舞台装置模型，观众可以点击界面上的按钮选择不同的剧目场景，随后虚拟演员出现在舞台上表演，观众还可以选择不同的灯光、虚拟背景和舞台特效等，如图11所示（视频效果见http：//v.qq.com/x/page/s0312wux4yw.html）。

3.4 对“VR戏剧”的认知

VR戏剧还处在探索、实验阶段，就现状看，VR戏剧是采用“VR的叙事”特性进行创作和演出的一种新的戏剧艺术形式，具有沉浸性和交互性特点。它具有叙事性的故事结局，只是呈现方式和观众的观看形式有所改变，与传统的戏剧、电影和戏剧文学剧本相比较，有其显著特征，见表1。

4 结语

VR生态系统正在形成，有着良好的发展前景。笔者认为，大力发展VR智能终端的应用技术研究，是VR发展的未来。但目前VR智能终端的显示分辨率不够高、时延眩晕问题以及渲染能力不强等难题有待解决，否则将会制约VR的快速发展。

伴随VR技术的发展，VR戏剧兴起，不同的发展阶段，VR戏剧也呈现着不同的艺术样式。VR技术在戏剧领域中的应用，产生了新的戏剧样式和戏剧语汇，给戏剧创作带来了很多可能性。但目前VR戏剧仍处在初级的发展阶段，VR技术仍不成熟，VR戏剧的叙事理论也有待在不断的VR戏剧艺术实验创作与探索中总结并完善，从而促进VR戏剧的进一步发展。

注释：

① 图片来自于http：//www.mortonheilig.com/。

② 图片来自于http：//venturebeat.com/。

参考文献：

[1]http：//www.mortonheilig.com/InventorVR.html，2016.7.

[2]http：//dictionary.reference.com/browse/virtual reality，2016.7.

[3]刘杏林. 舞台美术新思维三题[J]. 戏剧艺术， 2015（3）：4-12.

[4]http：//www2.ku.edu/～ievr/ ，2016.7.

[5]http：//www.roadtovr.com/，2016.7.

[6]http：//innerspacevr.com/，2016.7.

[7]Chatman s. Story and discourse：narrative structure in fiction and film[M]. Crnell university，1978.

[8]Aylett，R. Narrative in virtual environments -towards emenrgent narrative.1999.

作者简介：

张敬平，上海戏剧学院副教授，数字演艺集成创新文化部重点实验室技术总监。

（编辑 杜 青）