面向电影化虚拟现实的用户注意力机制研究

韩菲琳 周旻希 钟 颖

(北京电影学院影视技术系,北京 100088)

随着计算机图形硬件和头戴式显示设备(Head-Mounted Display,HMD)不断成熟,标准化、规范化、工业化的VR内容制作流程成为业界和学界面对的重要问题。作为一种虚拟现实技术与电影艺术融合产生的内容形式,全景电影的全新叙事方式及观看体验逐渐得到关注。面向全景电影制作,电影化虚拟现实(Cinematic Virtual Reality,CVR)应运而生。本文研究CVR视听场景中用户注意力的视觉集合、视空间感知和视觉追随三种视知觉模式,通过分析用户在身体舒适度、内容理解力和叙事参与度三方面的表现,从而提出一种用户注意力机制研究范式,为全景电影创作者提供建议与参考。

1 电影化虚拟现实

电影化虚拟现实是一种沉浸式视听技术。不同于传统电影固定视域的观影方式,用户观看CVR内容时,借助头戴式显示设备环顾虚拟空间,同时,空间化音频与交互式手柄能够加强用户的临场感和参与感,使其拥有沉浸式观影体验。亦不同于传统虚拟现实互动娱乐方式,CVR将实拍内容与虚拟空间相结合,使之融合了真实与虚拟,其视听语言及叙事形式更贴近于电影。内容创作者在执导全景电影时,如何将传统电影导演的创作规律和视听表达方式运用于虚拟空间摄制过程,是CVR领域的研究重点之一,使导演在呈现创作意图的同时,尽可能保证用户的观看体验。

与传统虚拟现实不同,电影化虚拟现实一定程度地限制了用户在虚拟环境中的自由。全景电影观众通常处于坐姿,这与传统电影的观看方式类似,相较于VR的沉浸式全局漫游,CVR仅支持观众视点的漫游。沉浸式全景观影场景下,观众通过HMD实现对视域的6DOF(Degree of Freedom,自由度)主观控制,全景电影镜头的控制权从导演指定转为用户选择。当导演无法决定观众在何时看向何处,就需要在虚拟空间中做出合适的引导,以确保观看者不错过重要的叙事要素。因此,当我们评估CVR镜头引导的有效性时,不仅要考量能否维持观看者的沉浸感和临场感,还应当关注其注意力的变化过程,能否正确形成空间意识、感兴趣点(Points of Interest,POI)和记忆,以保证观影过程中的身体舒适度、内容理解力和叙事参与度。

图1 全景电影:从左至右分别是《家在兰若寺》《Spheres》和《Help》

从2012年圣丹斯电影节开始,越来越多主流电影节开始设置VR作品展映,2017年,威尼斯国际电影节首次开设VR竞赛单元,优秀VR影片开始在世界范围内不断涌现。CVR相关研究中提出,全景叙事核心要素在于沉浸空间、视点设计和注意力引导,叙事模式的特点为“弱交互+窥视与观察+放松”模式,这为全景视频的分析与评估提供了思路。得益于8K全景影像制作技术的发展,以《家在兰若寺》为代表的实拍型全景电影,呈现出沉浸式现实环境,更能引发观看者的情感共鸣。全景电影中的交互设计以视线参与和视点交互为主,如2017年威尼斯国际电影节VR竞赛单元获奖作品《Spheres》,通过视觉可视化与头显位置数据相互配合,实现用户与星体互动并参与叙事的效果。另外,全景叙事依赖于导演设计的注意力引导方式,如导演林诣彬在执导的短片《Help》中,精心设计了主线剧情之外的立体声效和场景编排,用于实现虚拟空间中声源定位和视线朝向暗示,以便于观看者快速确定视觉中心。通过创作理念与制作技术的相互配合,形成“以用户为中心”的观影特性,从而为观看者带来沉浸感和具身化体验。事实上,全景电影仍然存在镜头语言简单,部分镜头眩晕感明显,镜头引导有效性低以至于错过关键要素无法正确理解剧情的情况。因此,基于观看者的视知觉模式研究分析其注意力机制,有利于创作者更好地设计叙事要素及镜头引导。

日常生活中,我们以视觉、听觉、触觉等方式接收信息,人脑通过筛选重要信息并剔除冗余信息来保证高效的信息处理,这种能力就是注意力。在认知科学中,上述机制通常被称为注意力机制。CVR以用户视点为中心,本文重点关注其注意力机制中的视知觉模式,以视觉集合、视空间感知和视觉追随模式作为主要研究对象。视觉集合是指双眼调节融像并对准目标物体的过程,集合功能不足容易引起模糊、头晕及视觉疲劳等。视空间感知使我们拥有构建物体空间关系并在方位转换后重建该关系的能力,是形成自身空间定位和目标认知理解的基础。视觉追随是一种控制有效视野,关注、跟随和捕捉视觉目标的注意力模式,追随过程也是形成视觉记忆的过程。在CVR语境下,研究视知觉模式,有助于分析用户产生眩晕的原因、感兴趣点的形成规律以及记忆连贯性的必要条件。针对上述注意力机制中的三种视知觉模式,结合传统电影镜头语言的相关要素,我们制作了CVR演示样片并分别设计了针对视觉集合、视空间感知和视觉追随模式的用户实验。参与本实验的被试共有23人,年龄分布在18岁到30岁,其中女性13人、男性10人。通过分析实验结果,本文提出基于时间—空间—视点的用户注意力机制研究范式,探究不同引导方式对用户体验的影响。

2 CVR用户视觉集合

传统电影中,导演通过向观众展示特定的视觉画面来表达创作意图。其固定视域的观影方式下,观众的视点与电影画面的相对位置关系不变。全景电影中,360度各个方位都存在叙事相关内容,观众的视点由主观意识自由控制。当视点与导演引导镜头的相对位置关系发生快速变化时,视觉集合难度增加,可能会引起用户生理体验上的不适,尤其是视点的快速旋转和升降会产生眩晕感和失重感。为保证观影过程中的身体舒适度,针对基于HMD的全景电影观影方式,本章探讨摄影机运动对用户视觉集合能力的影响,根据不同镜头引导方式进行测试,分析适合全景电影的镜头引导运动方式。

在视觉集合实验中,选取传统电影摄影机运动中具有代表性的三种类型:轨道车镜头、横向滑轨镜头和垂直滑轨镜头,设计了不同运动方式下不同速度的镜头引导运动实验。每次观看结束后,被试需对自己的晕眩程度进行打分,以此探究不同运动方式和同种运动方式下不同运动速度对用户观影舒适度的影响。大多数被试认为垂直滑轨镜头会产生失重感,令他们更容易感到不适,而对横向滑轨镜头几乎不会感到不适。当垂直滑轨镜头引导观众时,被试对运动速度的变化更敏感,并且更容易感到晕眩。当轨道车镜头引导观众时,被试普遍感知不到运动速度的变化,但部分被试会产生眩晕感。因此,本文建议在沉浸式影像制作中,应尽量避免垂直滑轨镜头,若需使用建议以平稳低速进行引导;横向滑轨镜头的用户体验较好,以平稳匀速的引导方式进行为宜;轨道车镜头引导观众时,其速度和方向对观影体验的影响不大,但相较于其他方式更容易产生晕眩感,使用时要注意时长和镜头的稳定性。

图2 用户视觉集合实验中所设计的三种摄影机运动方式

3 CVR用户视空间感知

在观察视觉场景时,人眼的注意力会集中在目标物体上,这也就是用户的POI。在虚拟现实中,用户视点可以漫游360度全景虚拟空间,其视点所决定的有效视域,由以视点所在直线为视轴,以120度为视野范围(Field of View,FOV)的视锥体来定义,如图3所示。随着用户感兴趣的目标变化,有效视域也会发生变化。因此,导演需要设计视觉线索,吸引用户注意力并引导其有效视域与剧情叙事区域重合,这不仅依赖于视觉引导,还需要观众建立较好的视空间感知能力。由于CVR通常以坐姿观影,这与传统电影观看模式相似,因此用户无法通过走近目标物体来判断空间中的位置和距离关系,而是需要借助引导镜头的景别变化来获取空间信息。

图3 视域、视轴、视锥体和视野范围图示

在视空间感知实验中,通过比较不同景别下用户对目标对象的位置判断是否正确,来分析景别的差异对于观众视空间感知的影响。传统电影镜头的类别以被摄主体占画面的比例划分,对应地,在沉浸式全景空间中按照摄影机与主体间的距离划分,分别设置为远景、全景、中景、特写、大特写。每次演示样片观看结束后,与被试确认其主观视域内他/她理解的被摄主体所在位置及空间分布关系,以此作为分析视空间感知能力的依据。实验数据表明,40.9%的被试认为较远景别(全景和远景)有助于判断主体空间信息,31.8%的被试则认为应该设计较近的景别(特写和大特写),另外有少部分被试倾向于中景。通过与被试沟通后发现,受传统镜头语言的先验知识影响,在感知空间信息时会考虑画面构图等因素,能够体现全局关系的景别更有助于其理解主体与场景的关系。然而,景别越远的引导镜头中干扰用户定位POI的因素增加,近距离的主体更有利于吸引用户的注意力,因此,镜头引导的景别选择与叙事空间的主体设计之间的相互制衡,则需要导演依据拍摄经验和实践尝试进行调整。

4 CVR用户视觉追随

有人曾说“蒙太奇是思维,长镜头是眼睛”。蒙太奇是重要电影理论,也是常用视听语言。传统电影中的蒙太奇突破了时空的限制,对不同时间和空间发生的镜头进行剪辑,以实现导演的创作表达。而CVR仅存在一个虚拟空间,任何镜头的变化在时间域和空间域上都是连续的,视域的切换依赖于用户视点的移动。为确保用户的视域变化与剧情的叙事走向一致且连贯,需引导用户的视点追随叙事主体。在剧情叙事中,与剧情强相关的重要事件,需要被关注到并且被记住,良好的视觉追随有助于观众加强记忆。除镜头引导外,CVR中还能够利用剧情因素吸引用户的注意力,以实现视点的引导。剧情因素一般为影片剧情中的叙事主体的运动、光影变化和声源定位等。非剧情因素(如箭头、光点、符号等)也可以用于注意力引导,虽然这类标识引导效果较好,但容易破坏观众的叙事参与感和视觉效果。

在视觉追随实验中,我们将叙事空间分为A、B、C、D四个区域,如图4所示。A区域是用户不进行头部转动VR设备的视角最大范围,B区域为用户头部稍微转动可获得信息的区域,C区域为用户头部扭转极限时方可获得信息的区域,D区域为用户转动身体才能获得信息的区域。实验中叙事主体以不同幅度的运动跨越不同区域,记录被试HMD的陀螺仪偏航角(Yaw)轴转动数据与标准数据进行比对,用于分析评估用户的视觉追随效果,探究剧情因素的运动强度和空间区域跨度对用户叙事参与度的影响。

图4 叙事空间划分依据

如图5头显数据折线图所示,当叙事主体从A区移动到B区时,叙事主体以跳跃方式移动的用户头显数据相较于标准视点移动轨迹的偏移较少;当叙事主体从A区移动到D区时,叙事主体以走路方式移动的头显数据偏移更小。分析实验结果可知,当叙事主体移动的区域跨度较小时,节奏快、幅度大的运动方式容易吸引观众的注意,随着区域跨度增大,节奏较慢,幅度较小的运动方式更能维持观众的注意力。同时,在实验过程中发现,当叙事主体的移动跨区超过270度时,部分用户会预估目标区域的位置,并选择从反方向确定POI。

图5 在视觉追随实验中被试的H MD旋转数据

5 总结与展望

由全景电影的特性可知,因长时间佩戴头显和视域变化过快而产生的眩晕感是影响用户观影体验的重要因素。无论是镜头引导还是叙事主体移动,都会伴随着视点位置的改变从而产生视域在时间维度上的连续变化,而景别的改变则会使视域在空间维度上以视点为中心实现放大或缩小。为保证视域变化过程平稳且舒适,其在时间维度和空间维度上的改变,都应当是相互独立,互不干扰的。因此,本文认为以时间—空间—视点作为注意力机制的研究范式,能够帮助研究者们更好地分析电影化虚拟现实技术。在单一叙事模式下,当视域在时间和空间维度上的变化相互独立,有助于用户及时预判并切换相应的视知觉模式,以保证用户在全景电影观影中的身体舒适度、内容理解力和叙事参与度。

本文针对基于HMD的全景电影观看方式,设计了三组CVR实验,以视觉集合、视空间感知和视觉追随模式作为主要研究对象,分析了镜头引导的运动方式、景别设计和叙事主体的移动方式对用户观影体验的影响。实验中我们发现,当镜头引导中的摄影机运动和景别同时发生变化时,观众会产生较强的眩晕感,应在制作中尽量避免这类镜头语言。另外,HMD的佩戴舒适度及观影时长很大程度上也会影响CVR用户体验,硬件设备仍有较大发展空间。未来,随着软硬件技术的提升,用户会对CVR内容制作质量提出更高的要求,因此也需要根据CVR特性建立全景电影的综合评价体系。本文正是以此为出发点,从用户注意力机制的角度对观影体验进行分析评估,探讨电影化虚拟现实的视听语言及叙事技巧,为CVR内容制作者提供意见与参考。❖