基于认知负荷理论的移动增强现实系统设计与应用

吴元培 黄 晨

1(上海星河湾双语学校 上海 201108) 2(上海大学计算机工程与科学学院 上海 200444)

基于认知负荷理论的移动增强现实系统设计与应用

吴元培1黄 晨2

1(上海星河湾双语学校 上海 201108)2(上海大学计算机工程与科学学院 上海 200444)

针对在移动增强现实系统中如何有效显示增强信息的问题，以提高用户书籍选购效率为应用背景，设计并实现一套移动增强现实系统。基于认知负荷理论对增强现实场景中叠加显示的多媒体信息的数量与类型进行了筛选，并根据书籍具体内容选择高相关性的多媒体信息。使用Unity 3D与Vuforia实现了移动增强现实系统的开发。实验结果与用户满意度调查验证了系统的有效性。

移动增强现实 Unity3D Vuforia 认知负荷

0 引 言

伴随虚拟现实技术与增强现实技术在民用领域的快速发展，人们对这种全新信息显示技术的熟悉与接受程度越来越高。得益于近年来智能手机产业的飞速发展，使得智能手机在计算能力、屏幕成像质量、相机像素等方面都取得了长足进步。同时由于还搭载了加速度计、光线传感器等多种传感器，智能手机成为实现增强现实技术的理想平台[1]。在移动增强现实领域已有多项成功应用案例，例如Pokemon等，而且淘宝、京东等也对移动增强现实技术在电商领域的应用进行了探索。

在知识获取方面，移动增强现实的应用大多集中于图书馆管理[2-3]、博物馆的展品介绍[4]，以及面向幼儿教育的增强现实绘本[5-6]等方面。作为传统的知识传播途径，纸质书籍在人们的生活、学习过程中依然具有重要地位。利用移动增强现实技术帮助人们快速挑选适合自己的书籍有助于提高学习效率，并降低知识获取成本。

虽然移动增强现实技术具有强大的多媒体信息展示能力，但冗余或不恰当的辅助信息反而会干扰用户的判断。因此本文以图书选购为应用背景，在移动增强现实系统中结合认知负荷理论，根据书籍的类别有选择性地显示多媒体辅助信息，从而提高用户的图书选购效率。

1 基础理论与系统架构

1.1 认知负荷理论

长久以来，人类对自身认知机理的研究与探索从未停止。无论是抽象的基于逻辑推演的形式化方法，还是具体的基于现代神经科学的研究，人们始终在探求与理解自身与所处世界的认知联系。相关认知理论的研究与发展，在心理疏导、产品设计、教育等领域得到了广泛应用[7-8]。

认知负荷理论最早是由澳大利亚心理学家斯维勒提出，通常与美国教育心理学家梅耶提出的多媒体学习的认知理论一起使用[9]。认知负荷理论认为人类在知识学习与信息处理过程中可以分为短时记忆与长时记忆两种机制。其中，短时记忆的信息来源可以是视觉或者听觉，并且在进行信息处理时，短时记忆能同时处理的信息数量只有2～3条；长时记忆所能存储信息的种类、规模和数量几乎可以认为是无限的，因而长时记忆是知识学习的中心。在本文应用场景中，依据短时记忆的特点，向用户快速传递有效信息是本文系统的主要功能。

1.2 系统架构

本文设计并实现了一个移动增强现实系统，用于帮助用户快速获取书籍信息，提高选购书籍的效率，系统结构如图1所示。用户使用智能手机的摄像头捕获目标书籍的封面信息，在系统后台对书籍的封面图像进行特征识别，进而识别书籍类型，并依据书籍类型的不同选择合适的多媒体信息叠加到真实场景中，通过手机屏幕呈现给用户。根据认知负荷理论为特定类型的书籍匹配合适种类的多媒体信息，是本文的研究重点。

图1 系统结构图

2 关键技术与系统实现

2.1 多媒体信息管理

增强现实技术为人们提供了全新的信息显示方式与人机交互界面，所能承载的媒体类型十分丰富，包括文字、图形图像、三维模型、视频、音频等。但如果在同一个场景中同时叠加过多的信息，会分散用户对主要目标的注意力，因此需要对所要叠加媒体的类型和数量进行挑选。本文系统对辅助信息的类型、数量、布局进行了研究。

根据认知负荷理论，人们获取信息的主要来源是视觉与听觉，据此对媒体类型进行分类。结合本文应用场景，与书籍介绍相关的多媒体信息分类如表1所示。本文认为书籍的封面是能表征书籍内容的典型二维图像信息，为避免信息冗余，本文系统不采用额外的二维图像信息。在真实场景中叠加三维模型是增强现实技术的一项优势，在很多场景下，三维模型能更直观地传递内容，因此本文系统优先考虑叠加三维媒体信息。此外，虽然人们能同时接受视觉与听觉信息，但同时处理多种视觉信息的能力要明显高于同时处理多种听觉信息，因此本文系统在同一场景中音频信息与视频信息仅采用其中一项。

表1 多媒体信息分类

由于人们能同时处理的媒体信息数量有限，在本文系统中定义辅助媒体信息的数量为3种。同时，有别与在传统二维平面中采用平铺方式对内容进行布局，在增强现实系统中可以采取更为灵活的三维立体布局方式，如图2所示。

图2 辅助信息位置布局

2.2 多媒体信息与书籍关联

多媒体信息类型与书籍种类都具有多样性，两者之间是多对多的映射关系。根据认知负荷理论，与特定种类书籍关联的多媒体信息类型应当在数量上进行限制，因此需要针对特定种类的书籍挑选出最具有代表性或者最能使得用户快速理解该书籍内容的多媒体类型。

按照中国图书馆图书分类法，可以将书籍分为22个基本大类。为了简单起见，本文仅挑选其中部分类型，并将书籍分为艺术、文化教育、工业技术三种基本类型。然后设计调查问卷，让用户根据书籍种类的不同，从所有本文系统所支持的多媒体信息类型中挑选出三项最能有效帮助用户了解书籍内容的多媒体信息。25位志愿者的调查问卷统计结果，如表2所示。

表2 多媒体信息选择统计

从表2中可以看出，用户对文字型多媒体信息中的“主要内容”与“书评”都呈现出较高的关注度，而音频、视频与三维模型类的多媒体信息在不同种类书籍中的关注度各不相同。分析其中原因，本文认为该类多媒体信息与具体书籍内容呈现较高的关联度，例如，与音乐相关的艺术类书籍，用户倾向于选择“音乐”；介绍建筑艺术的艺术类书籍，更多用户选择“三维模型”。因此，本文系统将多媒体信息分为所有类型书籍都适用的“共性”信息，包括“主要内容”与“书评”，以及需要根据书籍的具体内容进行单独关联的“个性”信息，包括各类音频、视频与三维模型。

2.3 系统实现

本文系统基于Android平台，使用Unity3D与Vuforia SDK进行开发。其中，Unity3D是一款用于创建各类2D与3D游戏、虚拟现实与增强现实交互式系统的开发平台[10]，具有所开发的应用兼容性好、跨平台等优点，是业内主流的开发平台之一, 目前已有数百万注册用户。Vuforia是由高通公司推出的一套开发增强现实系统的SDK[11]，它实现了稳定的图像识别与跟踪技术，并且可以使用本地识别与云端识别的灵活部署方案，是快速进行增强现实系统开发的解决方案之一，其基本工作流程，如图3所示。

图3 Vuforia SDK工作流程

Vuforia与Unity3D之间具有良好的兼容性，Vuforia以独立package的形式无缝接入Unity3D开发环境，可以让开发者在Unity3D环境中十分便捷地进行增强现实应用的开发。本文系统的开发环境界面如图4所示。

图4 系统开发环境界面

主要开发流程描述如下：

首先，进行Vuforia相关设置，包括注册Vuforia开发者账号，申请与本文系统关联的许可证，编辑设置标识物特征数据集等。这里的标识物就是每本书籍的封面。

然后，在Unity3D中进行开发，包括导入获取的许可证，加载特征数据库，调整场景布局，并使用C#编程语言编写脚本实现系统的交互逻辑处理。在对场景布局进行设置时，由于书籍封面尺寸存在差异，这里使用相对位置布局，以保证整体风格的一致性。

最后，利用Unity3D将本文系统导出到Android平台上，在运行Android系统的智能手机上进行系统功能的调试。这里需要说明的是，利用Unity3D的跨平台特性，本文系统可以很方便地移植到运行iOS系统的智能设备之上。

3 实验结果与分析

3.1 系统运行效果

通过事先录入相关书籍的多媒体信息，系统在运行时通过识别书籍封面来确定书籍种类并选择合适的多媒体信息叠加在增强现实场景中。部分系统运行示例如图5、图6所示。在每本书籍的增强现实显示场景中，除了“共性”的内容简介与书评信息，还叠加了由书籍内容决定的“个性”多媒体信息。

图5 系统运行示例1

图6 系统运行示例2

图5为《乔布斯传》的显示效果，该书为人物传记属于文化教育类别，系统在“个性”多媒体信息中选择乔布斯的传记短片视频与之相关联。图6为《莫扎特钢琴奏鸣曲集》的显示效果，该书属于艺术类书籍中的音乐类别，系统在“个性”多媒体信息中提供了与该书相关的经典钢琴曲目音频播放列表供用户选择播放。用户可以通过手机屏幕与“个性”多媒体信息进行交互，控制视频与音频的播放与停止。

3.2 系统有效性

为验证本文系统的有效性，我们邀请了18名志愿者试用本文系统，从内容简介、书评、视频或音频、系统是否能帮助用户快速了解书籍内容，这4个方面对系统进行满意度打分，分数(0到10)越高表示满意度越高，打分结果经统计汇总平均后如表3所示。

表3 用户满意度调查结果

可以看到本文系统能有效帮助用户快速了解书记内容，从而提高用户挑选适合自身书籍的效率。另外，我们注意到用户对“书评”辅助信息的满意度很高，这也与用户在选购商品前会有针对性查询该商品的历史用户评论的购物习惯相符合。本文系统节省了用户单独查询书评信息的时间，也从侧面印证了本文系统的有效性。

4 结 语

本文基于认知负荷理论设计并实现了一套移动增强现实系统，有选择性地挑选多媒体信息，借助增强现实技术叠加到真实场景中，提高了用户查阅书籍的效率，并用用户满意度调查验证了系统的有效性。本文工作对如何在移动增强现实系统中更为高效地向用户传递有价值的信息进行了有益探索。

[1] 李丹，程耕国. 基于Android平台的移动增强现实的应用与研究[J]. 计算机应用与软件，2015，32(1): 16-19，23.

[2] 薛峰，夏辉丽. 基于Android增强现实技术在图书馆服务平台中的应用研究[J]. 网络空间安全，2016，7(5):70-71，77.

[3] 李震，李艳诚. 图书馆应用移动增强现实技术(AR)探究[J]. 图书馆学研究，2014，33(21):17-21.

[4] 王若嘉，黄心渊. 移动终端在博物馆信息展示中的作用探究[J]. 电子测试，2014，21(18):147-149.

[5] 章辉宇，缪文南，傅凯漩，等. 基于AR技术的虚实图书[J]. 电子测试，2016，23(20):23-25.

[6] 张健，蔡新元. “增强现实”在传统出版领域中的应用探索[J]. 科技与出版，2013，21(10):90-94.

[7] 韩燕娟. 基于内容分析法的多媒体学习中认知负荷的研究综述[J]. 中国医学教育技术，2016，30(01):45-48.

[8] 胡雨霞，刘志勇. 如何设计使产品更符合人脑认知习惯的研究[J]. 艺术与设计(理论)，2011，2(10):111-113.

[9] 王文智. 基于认知负荷理论的多媒体教学呈现原则探讨[J]. 远程教育杂志，2009，17(2):33-37.

[10] 鲁文娟，金一强. 基于智能手机的Vuforia+Unity3D增强现实技术方案及其教育应用[J]. 现代教育技术, 2017, 27(5):19-25.

[11] 褚伟龙，柯程远，纪昌红，等. 移动增强现实框架系统[J]. 计算机应用，2015，35(S1):214-216，300.

DESIGNANDAPPLICATIONOFMOBILEAUGMENTEDREALITYSYSTEMBASEDONCOGNITIVELOADTHEORY

Wu Yuanpei1Huang Chen2

1(ShanghaiStarriverBilingualSchool,Shanghai201108,China)2(SchoolofComputerEngineeringandScience,ShanghaiUniversity,Shanghai200444,China)

To effectively display the augmented information in a mobile augmented reality system, we design and implement a mobile augmented reality system which improves the efficiency of book purchase. We selected the number and type of multimedia information displayed in the augmented reality scene based on the theory of cognitive load. And we chose highly relevant multimedia information according to the specific content of the books. Thus, the development of mobile augmented reality system is implemented by using Unity 3D and Vuforia. Experimental results and user satisfaction surveys show that the proposed system is effective.

Mobile augmented reality Untiy3D Vuforia Cognitive load

2017-09-05。吴元培，高中生，主研领域：增强现实。黄晨，博士生。

TP391

A

10.3969/j.issn.1000-386x.2017.11.034