基于视觉的腰背部中医通络机器人穴位定位方法*

费红琳 黄理杰 陆东海 郭程湘 杨仁轩

(1.广东省郭氏医学保健研究所,广东 广州 510530;2.广东省新黄埔中医药联合创新研究院,广东 广州 510530;3.广东省中医院,广东 广州 510120)

峨嵋武医畅气通络疗法,为全国名老中医药专家郭程湘所创,气血经络理论是畅气通络疗法诊治疾病的理论本源。气血阴阳及经络气化功能的失衡是临床痛痹疾病发生的根本病机,运用推拿、点穴手法可调整经络系统中的气血运行状态,疏通经脉,调养气血,激发经气,经临床实践和研究证实,该疗法治疗颈椎病、肩周炎、腰椎间盘突出症,膝骨关节炎,偏头痛,睡眠障碍,亚健康状态,以及部分内科杂症等皆有非常好的疗效,具有很高的推广价值[1-8]。

为了更好地挖掘“畅气通络”疗法的临床价值,更高效地传承与普及推广该疗法,研究中医畅气通络智能机器人非常有必要。经络的疏通是“畅气通络”疗法治疗疾病的首要条件,如何循经取穴非常重要,中医按摩机器人的穴位识别、穴位跟踪等技术已有不少专家学者们进行了研究,如杜光月等利用三维坐标测量仪测量若干人体穴位坐标数据,基于神经网络理论中的学习功能,设计实现按摩机器人在人体穴位寻找方面的功能[9]。董诗绘等根据ABB机器人机械手在空间上的运动指令,设计其在人体表面的坐标位移与定位,从而识别人体经络穴位[10]。党丽峰等针对患者在按摩过程中移动的现象,研究了一款能够实现实时图像采集分析、坐标变换的穴位跟踪系统[4]。

基于视觉的腰背部中医通络机器人通过用视觉相机作为工具,进行采样、并对样本进行训练、并根据训练结果,达到对新目标进行穴位识别的目的。

1 腰背部中医通络机器人结构

中医通络机器人是基于全国名老中医药专家郭程湘老师的中医畅气通络特色疗法,将机器人力控技术,3D视觉引导技术,人工智能辅助定位技术,语音交互技术等与该疗法理念、技法结合,研发的一套针对腰背部的安全、舒适的中医通络智能协作机器人[12]。

腰背部中医通络机器人的主要机械结构包括协作机器人机械臂、视觉相机、传感器、按摩头等[13-14]。该设备主要实现对人体背部穴位的推拿按摩。如图1。

图1 腰背部中医通络机器人硬件结构

机器人上位机系统共有6个模块组成,分别是界面模块,图像采集模块,AI穴位识别模块,运动规划模块[15],力控算法模块,按摩头控制模块[7]。如图2。

图2 腰背部中医通络机器人软件系统

其中界面模块主要的功能是接受用户的输入请求例如用户登录,用户的功能选择例如力度调整按摩方式,温度调整,速度调整,接收用户的请求之后软件系统开始内部操作,开始调用其他的功能模块。

图像采集模块连接的是3D视觉相机,用来采集人体背部的照片和深度信息,是系统的输入[16]。

AI识别模块,判断用户背部穴位位置信息,它实现功能的基础是依靠大量数据训练的神经网络,依据这种智能算法可以定位特定的穴位,标定出人体的穴位的坐标和法向量,然后通过共享内存的方式传递给上位机的界面[17-19]。

运动规划模块,在机械臂运动过程中起主导作用,规划模块使用AI识别的穴位信息以及相机获得的3D数据信息进行空间位姿的解算以及路径插值,实现对中医手法工程的仿真[20-22]。

力控控制算法,是在运动规划产生的路径中以特定的力度幅度向人体表面压紧或远离，功能的基础是依靠阻抗控制算法原理计算出末端位置修正量；该模块也有碰撞检测和拖动示教的功能[22-27]。

最后一个模块是按摩头控制模块,它用来沟通和按摩头的控制相关参数的调整比如开关运动幅度、频率。它实现和上位机的通讯是通过485通信、网口等[28-30]。

2 穴位定位

其中,穴位定位的流程如图3。

图3 穴位定位的流程

2.1样本采集

2.1.1采集工具 设计一个软件,驱动3D立体相机(本项目采用英特尔的435相机),并能对目标进行拍照和分类记录。拍照的数据包括RGB图像和深度图像等或更多的其他信息。穴位标记为中医专业人士,以免出错和低效。让医学人员在目标实物上作好标记再拍照,由视觉或图像技术人员后期作标记处理。

为了算法工程师后期处理方便,可让医学人员先拍一张未标记的目标(并保存),然后让目标保持不动,在目标上做标记,再拍一张带标记的,并保存,算法工程师后期通过两张图片的差异找出标记点。此操作就如同在图片上作出了标记点。

采集了足够带标记的图片后,可作训练,并建立数字模型,在以后的实际应用中识别目标及其特性,以作运动系统的指引。

2.1.2样本采样 (1)标记前,拍照并保存,见图4;(2)用标记物标记关键点后,再拍照并保存,见图5;(3)变换指定姿势至少5种,重复上述两个步骤;(4)标记点的穴位和部位名称,见图6。

图4

图5

图6

2.2关键穴位拓展 对足够多的样品进行训练后,以获得的结果,对新目标进行识别,可以识别标记点。但有限的几个标记点,不足以支撑更广的应用,应以这些标记点作为参考点,计算和推导其他关键点[31]。图7为整体穴位图。

图7 整体穴位图

比如,采样时并没有标记“命门穴”,但是可以计算和推导出“命门穴”位置,主要是根据已识别的已知穴位位置与未标记穴位的相对位置关系。

从医学人体模型可获得,更精准的穴位相对位置如图8、图9。

图8 基于骨骼的穴位位置以及尺寸标柱

图9 视觉标记点位置

2.3穴位识别

2.3.1穴位识别方法 穴位识别的软件实施中,先建立基于神经网络的计算模型,再通过专业人工标定穴位特征并制造大量数据样本,将这些样本数据投喂模型输入侧,通过多层隐含层进行深度学习,输出侧获得模型特征参数的结果,这些训练的结果将被保存以备后用。在现场对新目标进行识别时,这些模型参数将被用作比对与匹配运算,目标识别结果一般将是与目标最接近的那个样本的参数值,不但如此,参数还被泛化与平均化,更接近真实。在训练过程中,如果发现结果不理想,会调整隐含层中的各参数权重值,重新训练,直至获得理想的输出。本系统中,彩色参数与距离参数的同时结合输入,使得参数的特征差异性更加明显,大大增加了系统的鲁棒性。

对于模型的选择,我们选择了resnet、unet、dmnet等优秀的深度学习模型进行训练,在训练之前需要对已有图片进行数据增强,包括平移、旋转、放缩、剪切等空间上的变换以及色彩偏移、亮度变化、对比度变化、随机扣除等色彩上的数据增强,通过数据增强能够获得更多的数据集进行模型训练,防止模型过拟合。针对我们人体背部穴位识别任务,我们还采用了人体分割技术,将人体从背景环境中分割出来,这样能够减少模型对周围环境的关注,将模型的注意力约束到对人体的边缘、结构的关注上[32]。将分割好并完成数据增强的网络喂入深度学习模型中让其进行学习直至模型收敛。使用该模型即可对新的样本进行预测,从而实现我们对于人体穴位识别的任务。

2.3.2穴位识别评测 对AI穴位识别系统的精度评估,整个系统误差包括:相机深度数据误差、RGB相机自身畸变、机械臂手眼标定误差、AI穴位识别误差等诸多误差形式组成。相机、机械臂导致的误差是硬件本身的误差,需要更换高精度工业3D相机来减少此问题,我们主要评估的是AI穴位识别系统误差,视觉系统所对标的是人眼穴位定位系统,即先评估人眼穴位定位的误差,再对我们视觉系统的精度进行评估,衡量指标为视觉系统能否逼近甚至超过人眼标注的精度[33]。人体背部穴位定位的检验方法及步骤:

(1)用未标记穴位位置的人体模型作测试对象。首先中医医生使用穴位标注软件进行人眼视觉标定实验(test1),同时训练好的模型也会对图片中的人体进行穴位的预测(test2)。

(2)中医医生将真实的穴位位置贴上绿色标签,通过视觉系统对这些穴位真实位置标签进行记录(ground truth)。

(3)对医生人眼穴位定位误差进行评估,评估指标为人眼在图片上标注的位置到真实穴位位置的像素距离偏差,计算数据的均值和方差。

(4)对AI系统做与医生相同的误差评估。

(5)上述的评估数据可以从我们采集到的数据中来,为保证公平这些数据不会用于模型的训练过程,这些数据可以是新采集的数据,医生与AI系统同时对这些数据进行穴位定位,随后进行精度评估。

2.3.3评估结果 我们对多种人工智能模型精度进行了系统的评估,包括基于位置回归的RESNET、基于热图回归的UNET以及基于注意力机制的DMNET网络。从各个模型在测试集的精度上来讲基于热图回归的模型以平均误差10个pixel的精度取得了最好的结果,但我们将该网络结构进行实际应用时发现模型的鲁棒性很差,对光影遮挡、衣服褶皱、光源不稳定等诸多情况表现出很明显的精度下降。而基于位置回归的RESNET方案鲁棒性很高,能够保留不同穴位之间的结构相关性。应用时即使物理光照环境复杂多样,依旧能保持结构的鲁棒性。我们最终使用基于RESNET的网络结构进行最终的模型部署实验,评估结果在不同的穴位上存在一定差异,对于大椎穴等颈部附近的穴位定位精度很高,对于大肠俞等臀部附近的穴位定位精度要低一些。

3 结束语

机器人通过大量的人体穴位标识数据采集,不断通过人工智能训练,后期可以实现不用人为干预机器人都可以精准找到人体穴位并减少误差的穴位定位方案,包括了协作机器人本身的机械臂自动轨迹运行、3D视觉相机的图像采集与识别、六维力传感器的柔顺控制等。应用该方法的中医畅气通络机器人可实现名老中医的部分特色手法。