仿真假体视觉下的寻路任务研究

赵瑛 蒋广琪 耿秀琳 李琦

摘 要： 在现实场景中开展仿真假体视觉下寻路任务研究。受试者佩戴头戴式显示器，由显示器上方的摄像装置获取外界图像，并通过数据传输线连接电脑对实时场景图像进行像素化处理。实验采用标准轮滑桩摆设实验通路，要求受试者佩戴头戴式显示器在预先摆设通路中寻路和判别方向，并对寻路时间、寻路碰撞次数等进行分析研究。结果表明：分辨率为64×64时寻路时间最短；分辨率由32×32增加至48×48，寻路时间减少40%，碰撞次数减少43%；分辨率由48×48增至64×64，寻路时间减少22%，碰撞次数减少31%。随着实验分辨率提升，寻路时间和碰撞次数明显减少。受试者性别和实验时间（白天/晚上）无显著性差异，女性受试者在白天实验效果较好。该研究可为人工视觉假体系统的设计和开发提供前期的理论储备。

关键词： 寻路任务； 视觉假体； 像素化处理； 分辨率； 寻路时间； 碰撞次数

中图分类号： TN820.4?34； Q81 文献标识码： A 文章编号： 1004?373X（2018）14?0173?05

Research on pathfinding task under simulated prosthetic vision

ZHAO Ying， JIANG Guangqi， GENG Xiulin， LI Qi

（School of Information Engineering， Inner Mongolia University of Science and Technology， Baotou 014010， China）

Abstract： The pathfinding task under simulated prosthetic vision is studied in the realistic scene. The subject wears a head?mounted displayer， the external images are obtained by the photographing device above the displayer， and pixelized processing of real?time scene images is performed by connecting the displayer and photographing device to the computer via the data transmission line. In the experiment， the standard roller skating piles were used to lay the experimental channel， the subject was asked to find the path and discriminate the direction in the pre?laid channel after wearing a head?mounted displayer， and the pathfinding time and collision times were analyzed and researched. The results show that when the resolution ratio is 64×64， the pathfinding time is the shortest； when the resolution ratio increases from 32×32 to 48×48， the pathfinding time decreases by 40%， and the collision times decrease by 43%； when the resolution ratio increases from 48×48 to 64×64， the pathfinding time decreases by 22%， and the collision times decrease by 31%. As the experimental resolution ratio increases， the pathfinding time and collision times decrease significantly. The subject′ gender and the experimental time （day or night） have no significant influence on the pathfinding time， and the female subjects have better experimental results during the day. The research can provide an early?stage theoretical reserve for the design and development of the artificial visual prosthetic system.

Keywords： pathfinding task； visual prosthesis； pixelized processing； resolution ratio； pathfinding time； collision times

0 引 言

视觉作为认知世界最直接也是最基本的获取信息的一种方式，为人类日常生活中提供了70%的外界信息，因此，失明是人类最严重的残疾之一[1]。视觉通路任何一部分病变或损坏都会致盲，以视网膜色素变性和老年黄斑变性最为普遍。目前，全世界视力残疾的人约有2.85亿，中国约有7 500万视力残疾患者，其中有820万盲人，能够重见光明是每位盲人的美好希望[2?4]。

视觉假体的研发为盲人重见光明带来了可能性，其利用盲人残存的部分完整且结构和功能完好的视觉通路，通过人工进行电刺激诱发“光幻视”使盲人产生部分视觉感受[4?8]。视觉假体由图像采集、数据转换、无线传导、神经刺激等组成部分[9?11]。

ArgusⅡ[12]目前已经投入市场并在不断研发过程中，但由于临床试验具有一定局限性，无法对患者进行大规模植入，因此，仿真假体视觉[13]下任务实验具有重要意义。吴昊等人研究了仿真假体视觉下不规则光幻视的眼手协调研究[14]；Macé M J等人研究了基于仿真视觉假体下的目标识别及等位任务[15]；Wang J等人进行了模拟人工视觉的图像处理策略的研究[16]；Xia等人进行多目标识别任务[17]；Luo等人进行物体定位和三维空间抓握实验[18]；Dagnelie 小组采用仿真假体视觉同样研究了虚拟现实中寻路问题。寻路实验的关键在于通路的设计，对通路的空间构型和内在可读性具有较高的要求[19?20]。

本研究通过头戴式显示器上方的摄像头采集现实场景图像，图像经一系列处理策略成为像素化图像显示在頭戴式显示器的屏幕中。受试者通过头戴式显示器提供的视觉信息进行寻路实验，实验员记录并分析了不同分辨率对寻路时间与碰撞次数的影响。

1 材料与方法

1.1 受试者及合规声明

受试者为20名内蒙古科技大学的研究生，男女各10人，所有人的视力或校正视力后均可达到20/20的视觉敏锐度。实验前已经对受试者进行实验步骤和内容的讲解，并且每位受试者承诺能够认真对待实验内容。实验满足《界医学协会赫尔辛基宣言》中以人作为受试对象的生物医学研究的伦理原则和限制条件，所有参与的受试者在参与之前签署知情同意书。

1.2 实验设备及方法

实验中使用摄像头（罗技c920）获取实时图像，经个人电脑（联想 30AGA29BCN Tower台式电脑）完成图像像素化的实时处理，再由头戴式显示器（5DT HMD 800?40 3D，分辨率800×600，视野区域40°）呈现给被试像素化的实时图像。通过轮滑桩（标准轮滑桩，直径7.8 cm，高度8 cm，材质为塑料）构建所需通路。

在假体视觉中，眼手协调的训练能帮助假体植入者更有效地完成日常视觉任务。本研究中使用32×32，48×48，64×64三种分辨率由低到高进行测试，主要考察被试在寻路过程中的碰撞次数、寻路时间等参数。实验路径采用轮滑桩进行铺设，相邻轮滑桩间距平均为30 cm，通路两侧轮滑桩间距平均为60 cm。受试者走入通路则记为实验开始，结束时间以受试者走出实验路径时停止计时。受试者在判断方向和寻路过程中踢倒或越过轮滑桩记为一次碰撞，实验的通路示意图如图1所示。

1.3 实验步骤

实验选择在一间空旷安静的教室内进行，确保不受任何干扰且受试者状态良好。实验中要求被试者佩戴头戴式显示器，头戴式显示器上方固定有摄像装置，头显和摄像头的数据传输线与联想笔记本连接。笔记本电脑通过软件运行程序对摄像头采集的原始图像进行实时像素化处理，笔记本电脑和头显图像一致，实验采用录像设备及秒表记录数据。预实验为一些简单的日常任务，包括受试者通过头戴式显示器观察周围环境，熟悉实验设备及内容。在此之后开始正式试验，受试者首先在实验员的引导下走到实验通路的入口处，待受试者调整实验设备可以看见前方通路则宣布实验开始。受试者佩戴头戴式显示器的视野区域为40°，受试者可以通过头部旋转判断其寻路方向。实验场景如图2所示。

2 结 果

2.1 不同分辨率与寻路时间的分析

图3所示为寻路时间统计图，其中横坐标代表实验的三种分辨率：32×32，48×48，64×64，纵坐标表示三种分辨率下受试者寻路时间。由图3可知，分辨率为64×64时受试者所用寻路时间为（174.11±43.38） s，分辨率为48×48的寻路时间为（249.20±63.83） s，比分辨率为64×64时的寻路时间增加了75 s，而分辨率为32×32的寻路时间为（420.08±127.14） s，比分辨率为48×48的寻路时间增加171 s。对于三种分辨率下寻路时间比较，分辨率变化对被试者寻路时间有显著性差异（P<0.05）。

2.2 不同分辨率与碰撞次数分析

图4表示三种分辨率下受试者寻路时间和碰撞的对应散点图。由图4a）可以看出，分辨率为32×32时，寻路时间集中在200～500 s，碰撞次数最大值为11次且集中在0～7次；图4b）分辨率为48×48的受试者寻路时间集中在200～400 s，碰撞次数最大值为9次且集中在0～4次；图4c）可以发现分辨率为64×64时，寻路时间集中在100～300 s，碰撞次数最大值为4次且集中在0～2次。接下来，对碰撞次数与实验时间进行相关性分析。P>0.05，分辨率为32×32（r（18）=0.012）；分辨率为48×48（r（18）=0.012，）；分辨率为64×64（r（18）=0.292）。以上三种分辨率寻路时间与碰撞次数相关性不大，说明寻路时间与碰撞没有必然联系，但是分辨率的改变对碰撞次数有明显的影响。

2.3 性别与实验时间组间比较分析

性别与实验时间组间比较分析如表1～表3所示。

表2表示寻路实验时间（白天/晚上）均值及标准差。实验时间F（1，8）=0.83，P>0.05，偏η2=0.049，白天进行寻路时间为（267.92±20.54） s，比晚上所用的（294.34±20.54） s时间少27 s。可以得出结论，白天利用自然光比晚上用日光灯寻路效果更好但无显著性差异。

表3为性别和实验时间的交互效应， F（1，16）=0.075，P=0.79，得出P>0.05，偏η2=0.005。男女的寻路时间差异不显著，男受试者白天进行实验所用时间为（273.99±29.06） s，比其晚上进行实验少19 s。而女受试者白天做实验用时为（261.84±29.06） s，比其晚上进行实验少35 s。由以上数据可以发现，女受试者白天进行实验效果较好。

3 结 论

1） 分辨率与寻路时间的关系。由分辨率的不同引起寻路时间变化可得出以下结论：随着分辨率的提升，寻路时间随之减少且三种分辨率在寻路时间上具有显著性差异。随着分辨率的增加被试者的寻路时间集中程度加强，表现趋于稳定。通过一元线性回归模型分析，本实验中无法通过低分辨率寻路时间对高分辨寻路时间做出准确预测。

2） 寻路时间与碰撞次数的关系。由对寻路时间和碰撞次数分析得出结论：随着分辨率的提升，寻路时间不断减少且集中程度增强，碰撞次数逐渐减少，受试者总体差异性不大分辨率提升对碰撞次数有很大影响；但是通过对寻路时间和碰撞次数进行相关性分析发现，碰撞次数与寻路时间相关性较小。

3） 性别与实验时间的关系。由以上分析能得出结论：根据性别分类，女性被试寻路平均时间比男性被试短，但无显著差异性，即性别不同对实验无显著影响。根据实验时间分类，二者经统计分析无显著性差异，但白天实验效果优于晚上实验效果。根据性别及时间组间分析可以发现，女受试较易受实验时间影响且在白天实验用时最少，男受试者实验数据较稳定。

由于受试者需要佩戴头戴式显示器进行寻路实验头戴式显示器自身具有一定重量，显示器的图像尺寸相当于视野范围2.5 m外50寸屏幕大小，因此，受试者在实验过程中会有部分视觉误差，但在进行预实验时受试者已经熟悉实验设备，视觉差异对实验的影响不大。

本实验采用实际场景进行仿真假体视觉实验。受试者佩戴头戴式显示器，模拟仿真视觉假体进行寻路实验。实验过程中，受试者可以通过移动头部判断自己的位置和所处空间结构，实验内容接近盲人植入后的寻路实验。受试者在现实场景中学习识路及判别方向等技巧，通过不断地学习积累经验，可为视觉假体植入后的康复训练提供有效的理论和实际支持。

参考文献

[1] 李孟辉，任秋实.视觉假体：盲人复明的新希望[J].世界复合医学，2015（3）：231?237.

LI Menghui， REN Qiushi. Visual prosthesis： a new hope for vision restoration [J]. World journal of complex medicine， 2015（3）： 231?237.

[2] 闫妍，柴新禹，陈垚，等.视觉假体的研究进展[J].生理学报，2016（5）：628?636.

YAN Yan， CHAI Xinyu， CHEN Yao， et al. Research progress of visual prosthesis [J]. Acta Physiologica Sinica， 2016（5）： 628?636.

[3] SHEPHERD R K， SHIVDASANI M N， NAYAGAM D A X， et al. Visual prostheses for the blind [J]. Trends in biotechnology， 2013， 31（10）： 562?571.

[4] 黄伟昌，王国鹤，吴开杰，等.视觉假体神经刺激器的发展现状和挑战[J].中国医学物理学杂志，2010，27（4）：2051?2055.

HUANG Weichang， WANG Guohe， WU Kaijie， et al. The development and challenges of neural stimulator for visual prosthesis [J]. Chinese journal of medical physics， 2010， 27（4）： 2051?2055.

[5] TROY J B. Visual prostheses： technological and socioeconomic challenges [J]. Engineering， 2015， 1（3）： 288?291.

[6] CASPI A， ZIVOTOFSKY A Z. Assessing the utility of visual acuity measures in visual prostheses [J]. Vision research， 2015， 108： 77?84.

[7] LEWIS P M， ROSENFELD J V. Electrical stimulation of the brain and the development of cortical visual prostheses： an historical perspective [J]. Brain research， 2016， 1630： 208?224.

[8] 赵瑛.视觉假体最小信息需求研究[D].上海：上海交通大学，2010.

ZHAO Ying. Minimum requirements for visual prosthesis to restore useful vision [D]. Shanghai： Shanghai Jiao Tong University， 2010.

[9] 李晟，胡洁，柴新禹，等.基于视觉信息处理的视觉假体研究与设计[J].生物医学工程学杂志，2012（4）：754?759.

LI Sheng， HU Jie， CHAI Xinyu， et al. Research and design of visual prosthesis based on visual information processing [J]. Journal of biomedical engineering， 2012（4）： 754?759.

[10] 夏鹏，胡洁，戚进，等.视觉修复系统模型建立与信息处理[J].上海交通大学学报，2014，48（2）：164?167.

XIA Peng， HU Jie， QI Jin， et al. Visual prosthetic system modeling and visual information processing [J]. Journal of Shanghai Jiao Tong University， 2014， 48（2）： 164?167.

[11] 顾柳君，王静，陆燕玉，等.仿真假体视觉下的行动能力研究进展[J].中国医疗器械杂志，2012，36（2）：110?113.

GU Liujun， WANG Jing， LU Yanyu， et al. The research progress of mobility performance in simulated prosthetic vision [J]. Chinese journal of medical instrumentation， 2012， 36（2）： 110?113.

[12] CASPI A， ROY A， DORN J D， et al. Retinotopic to spatiotopic mapping in blind patients implanted with the Argus II retinal prosthesis [J]. Investigative ophthalmology & visual science， 2017， 58（1）： 119?127.

[13] 吴小贝，陆燕玉，王静，等.仿真假体视觉下的人脸识别研究进展[J].中国医学物理学杂志，2012，29（4）：3505?3509.

WU Xiaobei， LU Yanyu， WANG Jing， et al. The research progress of facial recognition under simulated prosthetic vision [J]. Chinese journal of medical physics， 2012， 29（4）： 3505?3509.

[14] 吴昊.仿真假体视觉下基于不规则光幻视的眼手协调研究[D].上海：上海交通大学，2014.

WU Hao. Eye?hand coordination using irregular phosphene maps in simulated prosthetic vision [D]. Shanghai： Shanghai Jiao Tong University， 2014.

[15] MAC? M J M， GUIVARCH V， DENIS G， et al. Simulated prosthetic vision： the benefits of computer?based object recognition and localization [J]. Artificial organs， 2015， 39（7）： 102?113.

[16] WANG J， LI H， FU W， et al. Image processing strategies based on a visual saliency model for object recognition under simulated prosthetic vision [J]. Artificial organs， 2016， 40（1）： 94?100.

[17] XIA P， HU J， PENG Y. Adaptation to phosphene parameters based on multi?object recognition using simulated prosthetic vision [J]. Artificial organs， 2016， 39（12）： 1038?1045.

[18] LUO Y H， ZHONG J J， DA C L. The use of Argus? II retinal prosthesis by blind subjects to achieve localisation and prehension of objects in 3?dimensional space [J]. Graefes archive for clinical & experimental ophthalmology， 2015， 253（11）： 1907?1914.

[19] 王冠生.基于Haptic和空间认知的盲人路径诱导服务研究[D].乌鲁木齐：新疆大学，2013.

WANG Guansheng. Route guidance for blind based on Haptic technology and their spatial cognition [D]. Urumqi： Xinjiang University， 2013.

[20] 卢国英.建筑内部空间的标识导向系统交互设计[J].昆明理工大学学报（自然科学版），2016，41（5）：39?45.

LU Guoying. Interactive design of signage system for architectural interior space [J]. Journal of Kunming University of Science and Technology （Natural science edition）， 2016， 41（5）： 39?45.