一种新的面向电影场景搭建的自然手势交互方法

黄东晋 陈燕敏 李金遥 雷 雪

(上海大学上海电影学院 上海 200072)(上海电影特效工程技术研究中心 上海 200072)

0 引 言

电影工作流程中的虚拟预演技术对于节省电影制作时间、降低创作成本有着重要作用[1]。图1(a)为徐克导演的电影镜头手稿，图1(b)为电影《皇室婚礼》的虚拟预演和实拍镜头对比图，三维虚拟预演对比手稿往往具有更加拟真的场景。而虚拟预演中的三维场景要求初步实现导演场景构思，需要在拍摄前期紧凑的时间内完成场景搭建。目前主流的三维场景搭建还主要依赖于基于二维屏幕显示、鼠标键盘操作的传统计算机辅助设计工具。这类以计算机为中心的计算机辅助设计工具虽然具有一定的精确度和普遍性，但缺少灵活性和高效性，需要用户花费大量时间学习如何使用工具，限制了电影制作过程中导演或其他非专业三维场景设计人士的场景搭建构思。

(b) 左手向下翻转-收起菜单

(a) 左手向上翻转-打开菜单

(a) 左手向上翻转(b) 左手向下翻转(c) 左手指向

(a) 徐克导演镜头手稿

(b) 电影《皇室婚礼》的虚拟预演和实拍镜头图1 电影镜头手稿与虚拟预演对比

近几年随着虚拟现实技术的高速发展，二维用户界面和三维设计空间之间固有的维数转换被打破。虚拟现实技术创造出更自然的虚拟世界感知，让用户融入到三维场景之中[2]。同时，诸如Leap Motion控制器这类三维输入设备的出现，代替鼠标键盘等二维接口使用户能够与虚拟场景进行更直接、更自然的交互。

基于上述问题，本文提出一种在虚拟现实三维空间内，徒手创建、操纵三维物体进行场景搭建的自然手势交互方法。与基于二维图形用户界面的传统计算机辅助设计工具相比，这种结合虚拟现实技术的自然手势交互可提供额外的自由度，支持用户专注于场景搭建交互而不是复杂的用户界面，能够更直观有效地进行虚拟预演中的三维场景搭建。

1 相关工作

1.1 手势交互三维设计工具

虚拟现实技术近年来广泛应用于人机交互领域。随着虚拟现实头盔显示器(HMD)的成本不断下降，虚拟现实内容的研究应用也越来越丰富多样。结合虚拟现实技术的虚拟场景搭建或虚拟绘画建模应用也层出不穷，其中最著名的包括谷歌推出的虚拟现实绘画应用Tile Brush、为工业设计师打造的Gravity Sketch、Facebook推出的3D动画工具Quill等。但这些虚拟现实三维建模工具的交互都基于手柄控制器，与鼠标键盘等传统输入方式一样，需要用户花费大量的时间学习如何使用，具有不自然、交互自由度低、对于精确度的要求高等缺陷[3]。因此，在这一领域自然徒手手势交互方法具有很大的研究价值及研究空间。

手势作为一种灵活性强的输入方式已应用在众多领域，例如VR购物[4]、树木交互[5]、展览展示[6]、计算机游戏[7]、医学可视化[8]等，在三维空间虚拟创作领域已得到了广泛应用。Gao等[9]设计并实现了DigiClay虚拟制作陶器应用，为用户提供一个简单优雅的艺术创作界面。Cui等[10]设计了一个基于Web的自然手势交互形状建模系统，该系统含有直观的隐喻帮助用户自己发现交互技术。任镤等[11]提出一种结合自然手势和概率图模型的古建筑构件推荐方法来实现古建筑场景的快速搭建。

1.2 手势交互理论

人手运动可分为手势和无意识动作。手势是人类行为的基本组成部分，在认知和交流中都发挥着重要作用。Quek等[12]将手势分为通信型手势和操控型手势。操控型手势通过手势运动与被操控的物体之间的关系来控制某些物体，例如看到按钮用户会凭经验认知进行按压交互。通信型手势来自人与人之间的交流，例如OK手势在部分文化背景下表示确认。这两种手势之间的一个重要区别是，通信型手势是作为一个整体被执行和识别的，而操控型手势需要来自动作的连续反馈。

手势交互理论研究近年来已取得一定进展。Ren等[13]针对徒手三维选择技术进行了实验研究，他们发现不宜要求用户做精度过高的动作或长时间将手举在空中，应将用户手的运动保持在舒适区域或方向内；即使在三维环境中，也应考虑将手势交互映射到二维用户界面，以实现简单的、较少元素的用户交互。Cui等[10]通过用户的心理模型探索形状建模和虚拟装配系统的自然用户界面的标准和建议。他们发现对于不同的手势任务——三维物体操纵、三维物体变形和基于工具的操纵任务，用户有不同偏好的手势交互方式，系统有必要设计相应的交互技术以匹配这些功能；双手交互被大多数用户偏爱；虚拟手有助于用户估计三维物体的大小，帮助用户规划和可视化任务的复杂过程。

2 交互设计

2.1 电影虚拟预演特性

目前，虽然徒手自然手势交互研究已在国内外各领域开展，但面向电影预演三维场景搭建的研究还比较少。相较于其他三维空间虚拟创作，电影虚拟预演的三维场景搭建有以下特性在自然手势交互设计上需要额外考虑：

(1) 虚拟预演将导演初步的创意设计以数字形式进行视觉输出，交互界面须容易学习，需用户记忆的手势类型应控制数量。

(2) 虚拟预演场景搭建中对三维物体的操纵包括近距离物体操纵和远距离物体操纵，针对这两种不同的功能应设计不同的手势控制来匹配。

(3) 虚拟预演包含镜头运动预演[14]，因此须设计手势支持用户视角在虚拟场景中大范围移动。

2.2 面向电影场景搭建的手势用户界面

根据第1节中讨论的手势交互理论研究和上述虚拟预演特性，本文设计一组面向虚拟预演场景搭建的手势集，如图2所示。

(d) 右手点击(e) 右手握拳(f) 右手挥动(g) 双手捏合图2 面向虚拟现实场景搭建的手势集

2.2.1系统控制手势

系统控制手势包含菜单控制和用户视角控制。由于三维物体的凭空创建并不是一种在真实世界中能找到映射的自然操作，因此本文使用平面菜单浏览生成对象以实现简单的用户界面，控制手势数量以减少用户记忆负荷。系统控制手势由左手负责，左手向上翻转打开依附在左手右边的三维物体生成菜单，向下翻转收起菜单。菜单打开状态右手任意手势触碰，对应三维物体在用户视角前方生成。虚拟预演包含镜头运动预演，场景搭建时支持用户视角在场景内的远距离移动实现动态观察，因此设计左手指向手势控制用户视角导航，用户视角跟随左手指向方向移动。

2.2.2三维物体操纵手势

提炼基本手势交互需求后，本文针对虚拟预演场景搭建所设计的三维物体操纵手势除了物体生成，还包括物体的选中、取消选中、移动、旋转、缩放和删除。物体操纵手势分为右手单手控制和双手控制，根据距离分为远距离操纵手势和近距离操纵手势，根据操纵幅度分为粗略操纵手势和精细操纵手势。对于物体的远距离粗略操纵，采用双手捏合手势控制移动旋转缩放(RTS)。近距离精细操纵时，手直接触碰近处物体来选中物体，此时物体四周触发器被激活，在触发器内做捏合手势精确控制近距离物体的移动旋转缩放。最新生成物体默认为当前被选物体，选择状态下根据左手平行于手掌平面的射线结合右手点击手势来选中远距离物体。右手单手握拳进行精细定位。张开的右手做挥舞动作删除选中物体。

双手捏合手势时，物体根据双手掌心的中心点进行变换。两手掌心位置在当前帧为A和B，掌心距离为d1，在前一帧掌心位置为A′和B′，掌心距离为d2，缩放矩阵的缩放因子s=d2/d1，物体位移变换：

T=(A+B-A′-B′)/2

(1)

旋转变换：

R=R(n,θ)

(2)

式中：n为旋转轴；θ为旋转角。

(3)

3 实验与分析

本实验采用的硬件条件：配置Intel(R) Core(TM) i7-8750H CPU @ 2.20 GHz处理器的计算机，Leap Motion传感器，HTC Vive虚拟现实头戴显示器。

3.1 实验一

为验证本文提出的手势集的可行性，实验一采用Leap Motion传感器和Unity3D引擎开发基于自然手势的虚拟预演场景搭建系统进行用户研究。共计10名测试者参与实验，其中：男性7人，女性3人，年龄范围为20到33岁，测试者均有计算机专业背景，均有过虚拟现实体验，一人有过手势交互体验。每个测试者重复测试5次手势集中的每一个手势动作，记录其正确识别次数，得出每个手势的识别精确率。图3为实验一实验过程，显示每个手势及其对应的操纵前后效果。

(d) 右手点击-选择

(g) 双手捏合-移动旋转

(h) 双手捏合-放大缩小图3 实验一中的手势集及对应操纵前后效果

实验一结果如表1所示，手势编号对应图3编号，可以看出手势集中的每个手势识别率较高，足以支持场景搭建徒手手势用户界面的可行性。实验过程部分测试者反馈选择动作可以补充视觉反馈，全部测试者认可手势识别的灵敏度和准确性。

表1 手势集识别率

3.2 实验二

为验证本文提出的手势方法的自然性、实用性和交互效率，实验二将基于自然手势的虚拟预演场景搭建系统与基于二维鼠标键盘交互的传统三维设计软件Maya进行对比实验。共计15名测试者参与实验，其中：男性4人，女性11人，年龄范围为22到28岁，测试者均有计算机专业背景，13人有过虚拟现实体验，2人有过手势交互体验，所有人都有传统三维设计软件使用经验但熟悉程度不同。测试者随机分为两组，一组7人采用本文自然手势交互用户界面进行交互，另一组8人采用传统鼠标键盘进行交互。两组测试者的实验任务为使用对应用户界面完成图4中简单、中等、复杂三种场景的搭建。

(a) 简单(b) 中等(c) 复杂图4 实验任务中三种场景

以图5(a)的简单场景为例，如图5(b)所示，首先生成三维物体(在Maya中为导入物体)，测试者将场景中的三维物体经过移动、缩放和旋转操作匹配场景中的对应位置(灰色模型)，完成目标场景搭建，具体步骤如图5(c)-图5(e)所示。实验过程中，记录两种用户界面的训练时间和任务的完成时间。图5(f)记录测试者正在进行实验。最后，测试者填写调查问卷，问卷设计参考系统可用性量表[15]。针对手势用户界面的主观使用感受，让测试者根据实验过程以李克特五分量表从1至5进行打分，1至5分分别对应非常不同意、比较不同意、中立、比较同意和非常同意。

(c) 左手指向-视角导航

(e) 右手握拳-精确调整

(f) 右手挥动-删除

(a) 目标场景 (b) 菜单-生成物体

(c) 步骤1(d) 步骤2

(e) 步骤3(f) 测试者进行实验图5 实验二中简单场景的任务设计

图6所示为两种用户界面的平均训练时间和平均任务时间对比，可以看出手势交互组所花费时间明显少于Maya软件组，相较传统计算机辅助设计工具，使用自然手势用户界面完成目标场景搭建的平均时间更短。其中对于用户界面的平均训练时间，Maya软件为157.5 s，本文提出的徒手手势用户界面为94.3 s，手势用户界面的可学习性得到良好反馈。

图6 平均任务时间对比

实验过程中得到如下积极的用户评价：三位测试者表示虚拟现实身临其境的视角对于场景搭建中的直观定位有帮助，一位用户表示手势集短时间内即可记住。此外还得到一些建议：两位测试者提及目前的自然手势用户界面功能不够丰富，一位测试者提出旋转操作相对不够舒适。用户调查问卷中的问题列表如表2所示，问题一到问题五引导测试者分别对系统的易用性、舒适度、易学性、实用性和自然性进行评分。测试者的打分情况如图7所示，最低分为问题二平均得分3.5，最高分为问题四平均得分4.2，用户普遍认为本文自然手势用户界面易用舒适、交互自然，无需太多学习时间和手势记忆负荷。

表2 用户调查问卷列表

图7 问卷平均评分

实验结果表明本文方法满足电影预演三维场景搭建的需求，用户体验良好，对比传统鼠标键盘二维用户界面更加易用高效、自然直观。

4 结 语

本文提出一种直观的面向虚拟预演电影三维场景搭建的自然手势交互方法，该方法考虑虚拟预演场景搭建需求特性，通过三维输入与虚拟世界建立了一个直观的用户界面，允许用户直观便捷、高效地进行三维场景搭建。下一步的研究工作有：(1) 进一步改善手势交互用户体验，结合数据手套避免Leap Motion手势识别中存在的遮挡、过热等缺陷；(2) 扩展手势识别类型，在合理的手势记忆负荷下进一步加强场景搭建功能。