基于CNN-LSTM 神经网络的声纹识别系统设计

牟俊杰，姚 刚，孙 涛

(海军航空大学 岸防兵学院，山东 烟台264001)

0 引言

随着人工智能的突破性进展和“互联网+”技术的普及，智慧医疗成为医疗技术发展的新引擎，诞生了一系列智能医疗服务产品，如智能药盒、智能手环等[1]。 但人工智能过高的成本导致寻找合适的切入方式显得尤为关键[2]。

在人口老龄化日益严重的当下，心血管疾病不断威胁老年人健康，引发社会广泛关注。由于医疗知识欠缺、行动不便等原因，部分老年人就医不及时，错过了抢救的黄金时间，留下永远的遗憾。 开发心血管疾病方面的智能预警系统，满足庞大的老年人群体需求迫在眉睫[3]。在医疗实践中，对心血管疾病的诊断常常以心率、心肺音数据为重要支撑，国内外以DSP[4]、长短时记忆(Long Short Time Memory，LSTM)[5]、卷积神经网络[6](Convolutional Neural Network，CNN) 等方法算法为手段对心血管疾病的信号诊断进行了相当多的分析，但基本均停留在理论层面，距离软硬件结合的实际应用尚有差距。 各种医疗设备的聚焦点主要是信号的准确采集、分离[7-8]，基于医疗伦理等原因，对智能诊断设备的研制尚处于知识储备期，有巨大的空白亟需填补。 本文设计了基于CNN-LSTM的心血管疾病预警系统，利用物联网技术采集心率和心肺音等健康指标数据，对老人的健康状况进行实时监测、预警，采用基于CNN-LSTM 模型的智能算法对心肺音信号进行智能分析预警。 系统着重考虑了适用性、稳定性和成本，具有较高的实用价值和完整的结构框架，是利用智慧医疗从应用层面解决心血管疾病问题的一次重要探索。

1 总体方案

该心血管疾病预警系统由心率检测分系统和体音检测分系统两大功能模块构成。 系统工作时，先通过穿戴式心率检测设备采集使用者的心率数据，通过蓝牙将数据传输给手机微信小程序。 若判定心率数据表现异常，手机将提醒使用者使用电子听诊器，将心肺音数据传到PC 端进行智能分析诊断，继而将分析诊断结果反馈给手机微信小程序。考虑到使用者的身体状况相对虚弱，若系统判断使用者需要就医，则手机将自动拨打急救电话、发送病人GPS 信息给急救中心，并将使用者相关数据展示给医生，方便医生提前了解使用者病情，筹划后续诊疗工作。 系统工作流程如图1 所示。

图1 工作流程图

2 硬件设计

检测系统由穿戴式心率检测设备、手机、PC 端和电子听诊器等组成，如图2 所示。

图2 系统组成框图

2.1 穿戴式心率检测设备

穿戴式心率检测设备包括心率传感芯片、单片机、蓝牙模块和电源模块等，将设备佩戴在手腕处，即可实时检测心率[9]。 其中MAX30102 心率传感芯片集成了光电检测器、光器件以及带环境光抑制的低噪声电子电路，具有IIC 通信接口，可以将采集到的数值传输给STM32单片机进行心率计算，还可通过软件关断模块，使待机电流接近为零，实现长时待机功能。

2.2 电子听诊器

CM-01B 电子听诊器通过性能优越、传输数据稳定的PVDF 压电薄膜同前置放大电路相连，将外部杂音干扰降至最低。 当听诊器接触到振动，则反馈回一个高敏感型信号，以此通过电子脉冲的方式提供微小声音采样。将听诊器置于使用者心胸下两寸处，静置10 s，待PC 端软件启动后，分别对心脏及肺部肺泡气管等处诊听，记录不同位置心肺音。 电子听诊器通过3.5 mm 音频数据线与电脑连接，由PC 端利用深度学习技术完成对心肺音数据的分析判断。

3 软件设计

预警系统的软件部分包括心率检测模块和体音检测模块，二者前后衔接，共同实现心率传感器的驱动、IIC通信、蓝牙数据传输、心率异常预警、医疗引导、体音采集和智能分析诊断等功能。

3.1 心率检测模块

为避免繁杂的APP 客户端，系统使用微信小程序实现多种功能的整合融合。心率检测模块可以全时段检测使用者的心率，并长时保留心率数据。 当模块检测到心率超过设定的门限值，则判定使用者身体出现心血管疾病前兆，手机将立刻发出语音、文字预警警报，同时，为了避免因虚警就医而浪费医疗资源，模块会提醒使用者进一步检测心肺音。 程序所实现的心率检测与预警如图3 所示。

图3 心率检测界面（正常/异常）

穿戴式心率检测设备中，心率传感器MAX30102 与STM32 单片机之间的数据传输采用的是IIC 通信协议。IIC 总线是由时钟SCL 和数据线SDA 构成的串行总线，在传送数据过程中共发送三种不同类型信号，即开始信号、结束信号和应答信号，总线中每个电路有唯一的地址，只有选择正确的地址，不同电路之间才能实现互联互通，避免杂乱混乱，其接口直接连接在组件之上，因此大大减少了传统电路板的空间和芯片管脚的数量。

3.2 体音检测模块

体音检测是通过深度卷积神经网络-长短期记忆网络(CNN-LSTM)算法实现对心肺音类型的深度学习[10-11]，利用训练出的识别模型对收集的数据进行智能诊断[12-13]，以达到对爆破音、干啰音等心血管疾病高危前兆先期识别、居家听诊的目的。

在训练心肺音识别模型的过程中，采用迁移学习技术，引入一个公开的心肺音数据库。 该心肺音数据库由葡萄牙和希腊的两个研究小组创建，包括来自126 名患者的920 个不同长度的注释录音。 录音共计5.5 小时，包含6 898 个呼吸周期，1 864 个噼啪声，886 个喘息声，506 个干啰音，还有干净的呼吸音以及真实生活条件的嘈杂录音，选取其中800 个录音为训练样本，120 个录音为测试样本。

梅尔道普频率系数(Mel-Frequency Cepatral Cofficients，MFCC)被广泛应用在声音识别等信号处理中，能够很好地反映音频、音高变化[14-15]。 在构建识别模型时，将按照MFCC 对心肺音里包含的语音物理信息(频谱包络和细节) 进行编码运算得到的特征向量记为MFCC 特征。 在处理数据集时，从对应类型的每个文件中截取2 s 的呼吸时长进行标注，提取MFCC 特征。 特征提取由卷积层完成，每个卷积核对应提取某一部分特征。 在对声音信号里的13 维MFCC 特征进行提取的同时， 还抽取了13维MFCC 特征的一阶方差和二阶方差，一共形成了39维向量，经过融合层作为LSTM 模型的输入矩阵。

S=f(WZ+b)

式中：S 表示经过卷积操作抽取后的特征矩阵；f 为非线性激活函数LReLU；操作权重矩阵W 和偏置向量b 为该网络学习的参数。

卷积后将MFCC 特征传递给池化层，进行进一步聚合，简化特征表达，降低特征图的维度和参数的数据量。池化层大小为4×4，池化方法选择最大池化，即选择4×4范围内最大的数值作为新的池化层特征。

LSTM 网络具有良好的捕捉时序特征信号的能力，在分析所采集的体音数据时，可有效结合以往长期采集的数据，使分析结果更具科学性、准确性。

将提取MFCC 特征形成的39 维特征向量，处理成(1 561，39)的矩阵作为输入，由于LSTM 为循环神经网络，为防止网络训练过程出现过拟合，在循环的神经单元内部及循环之间分别加入Dropout 和Recurrent_dropout，分别对同一LSTM 单元中神经元之间的连接和不同循环LSTM 单元之间的连接进行一定比例的随机断开，系统中是断开20%的内部及外部循环单元，继而通过展平与全连接实现神经网络的整体结构。

为了使检测系统便于使用，运用C# 语言开发智能医疗电脑客户端，并设计C# 接口调用人工智能算法的Python 文件，集成了心肺音智能诊断、保存并发送检测数据等功能，以提供智慧医疗、远程医疗服务，体音检测客户端界面如图4 所示。

图4 体音检测界面

4 实验验证

4.1 穿戴式心率检测设备的通信测试

系统用STM32 驱动心率传感器和蓝牙模块实现心率数据的采集与通信，通过USB 转TTL 连接电脑，用电脑串口助手测试心率传感器的数据采集情况，测试结果如图5 所示，通信正常，说明心率检测分系统能够正常采集数据。

图5 心率数据采集测试情况

与手机进行通信测试，通过手机蓝牙串口app 测试通信情况，如图6 所示，通信正常，说明能够将采集到的人体心率数据通过蓝牙发送到手机。

4.2 心肺音识别模型测试

图6 蓝牙串口通信情况

在800 个心肺音样本训练集上对CNN-LSTM 网络训练，训练采用Adam 优化算法，学习率lr 取0.000 1，训练迭代次数steps=18 000，训练次数在17 500 左右loss 达到收敛，约为0.082，训练曲线如图7 所示。

图7 训练过程loss 的变化趋势

在120 个录音测试集上对最终训练的网络模型进行测试，正确识别的录音数量为109，识别的平均准确率达到了0.908，满足实际应用需求。

5 结论

该声纹识别系统，利用物联网技术实现了心率、心肺音检测设备与通信设备、数据处理设备的融合，可实时监测心率以先期预警，并支持基于心肺音分析的虚警验证。 利用深度学习技术结合医学大数据，对心肺音数据进行MFCC 特征提取，基于CNN-LSTM 算法训练出心肺音识别模型，可准确判断部分心血管疾病前兆，实用性强、准确性高，在居家独立进行心血管疾病先期诊断处理方面应用前景广阔。下一步工作是对穿戴设备进行小型化设计，加大医疗数据库的体量，进一步提高训练模型的识别精度，使系统更加便捷高效。