基于虚拟现实与手势识别的人机交互系统

邓红莉　杨韬

【摘要】 本文提出了一种利用视频手势提取进行人机交互的系统。系统包含：视频采集和分离、图像预处理、手势提取和识别、虚拟现实人机交互四个模块。系统通过手势的提取和识别、手势几何特征和决策分析、手势类型判定实现利用手势代替键盘、鼠标进行人机交互。

【关键词】 手势识别 虚拟现实 人机交互

一、引言

人与计算机的交互活动越来越成为人们日常生活的一个重要组成部分，特别是近年来虚拟现实技术的迅猛发展，为人机交互技术的发展提供了全新的技术支持。目前，人机交互已经摆脱了传统技术手段的限制，开始“以人文本”越来越注重用户自身的体验。在人类的自然信息交流中，手势是语音之外的一种最为常用的、自然直觀的交流方式，如果能利用手势代替传统的计算机输入硬件对机器进行控制，那么人与机器的交流将更加流畅自然。针对多媒体的发展潮流以及人机交互的创新技术开发一套基于手势识别的多媒体交互系统。

本文实现了通过手势识别来操作计算机的人机交互系统，通过摄像头采集使用者的手势，并传输给计算机进行处理，通过对手势几何特征的分析和决策来判定手势类型，最后驱动多媒体的效果表现，进而控制计算机。

二、系统实现

系统的基本原理是利用摄像头采集方式获取使用者的手势，并将该动作传输绐计算机进行处理，计算机内的应用程序则根据所捕捉的画面进行分割、识别、处理，最后驱动多媒体的效果表现。

2.1手势输入与识别

使用高清摄像头作为采集单元，保证在合适的视野和景深范围内对目标（手势）的检测和识别。检测过程采用非接触方式，目标（手势）识别检测率高。然后采用模式识别算法，对输入的手势图像进行分析与处理，来进行目标（手势）的检测。

通过高清摄像头获取视频数据流，将数据流分割、识别、处理从而将交互手势从数据流中剥离，然后将输入手势与预先手机的手势命令库进行特征配准，最后，形成驱动相关应用的交互指令。

2.2噪声去除与信息增强

从视频流的输入，到手势识别，再到信息转换，这些过程的每一个环节都有可能受到设备电磁干扰、算法局限性等各方面的影响，这些干扰与影响最终将形成数据噪声，对噪声的处理不当将使手势图像产生畸变，从而影响最终的交互指令。

因此，在手势图像处理之前，本文加入了一个图像平滑/锐化处理的噪音过滤预处理，其目的是尽量消除噪声保证手势图像的质量。

2.3手势分割与特征提取

通过实现建立手势模型数据库，然后根据数据库对数据流中的手势进行分割与特征提取。本文主要采用串行边界分割技术和并行区域分割技术实现手势模型的特征参数提取，并最终依据手势模型数据库特征配准形成最终的交互命令。在手势识别过程中，可以根据图像边缘像素值、手势轮廓、手势形状、运动方向、骨骼等数据建立手势特征向量。首先，通过背景分离算法将图像背景与手势图像进行分离，然后根据数据流中剥离的手势图像与特征库中的手势图片中的各维属性映射到特征向量中从而完成手势图像的特征提取。

2.4特征分类

手势特征被提取出来后，通过模式识别智能算法对手势进行分类，并最终对应到一组具体的功能命令。本文采用基于统计学的决策树做分类器，决策树实际上利用了“分治”的思想，结合建立的手势-命令对照表，使用决策树算法对数据表经行遍历从而将手势特征与功能命令进行匹配，最终完成从手势到制酸剂指令的转换。

三、结语

基于虚拟现实与手势识别的人机交互系统计算机通过摄像头理解人们的手势并做出相应的反应，从而使人们摆脱了传统键盘和鼠标的种种束缚和弊端，以达到更加方便、人性化的交互方式。该系统可用于家庭娱乐，会议展示，商品展示，校园展示。在众多公司产品展示中应用广泛，但以往很多传统展示系统难以达到人们要求，该系统更人性化，更美观，更直观。

详细通讯地址：四川省南充市顺庆区师大路一号西华师范大学实验中心 邮编：637002

联系电话：13890857890

参 考 文 献

[1]童小念，刘娜.一种基于遗传算法的最优阈值图像分割算法[J].武汉理工大学学报. 2008.32（2）：301-304.

[2]郑友莲.钢筋自动计数系统中图像识别算法的研究[J].武汉工程职业技术学院学报. 2008.20（1）：31-34.

[3]陈朝大，陈吹信，侯庆华.基于图形编程的机器人人机交互系统[J].现代制造工程.2014（9）：34-38

[4]刘要华，朱珍民，叶剑. 协同人机交互机制的研究与设计[J]. 计算机工程与设计.2014（2）：726-730.