基于双流神经网络的颈动脉粥样硬化斑块稳定性区分方法

宁彬，李璐，于腾飞，童挥，何文，赵明昌

颈动脉不稳定粥样硬化斑块与脑血管事件的发生密切相关。寻找动脉粥样硬化斑块内新生血管的特征、斑块软硬度、斑块表面是否溃疡等这些可能导致斑块破裂的声像图特征，明确其与斑块易损性的相关性，是目前国内外关注的热点[1-2]。以上通过人工设计和收集能区分颈动脉粥样硬化斑块的特征，并通过超声造影评价斑块稳定性，但检查结果受到操作者经验的影响，使其临床应用受到一定限制。神经网络的特点在于避免人为设计特征的过程、能自动学习图像数据的特征，目前已被应用到医学领域并取得理想的效果[3-6]。有研究者将神经网络用于颈动脉粥样硬化斑块超声图像特征的识别，这些研究使用的均为单支的具有不同隐含层的卷积神经网络结构来学习颈动脉常规超声视频[7-8]。本研究使用双流神经网络自动学习经病理证实的颈动脉粥样硬化斑块的超声造影视频的特征，判断斑块的稳定性，评价其准确性。

1 研究对象与方法

1.1 研究对象 连续性纳入2015年9月-2018年10月期间首都医科大学附属北京天坛医院行颈动脉内膜剥脱术的225例患者的术前颈动脉斑块超声造影视频共844段作为研究对象进行回顾性分析。患者入组标准：①年龄55～75岁；②因颈动脉粥样硬化所致颈动脉狭窄并行颈动脉内膜剥脱术；③术前对手术段颈动脉进行了超声及超声造影检查，术后对切除的颈动脉粥样硬化斑块进行了病理检查。

1.2 病理学检查 术后对颈动脉粥样硬化斑块组织进行福尔马林溶液固定，石蜡包埋，横切面连续切片（间隔10 μm，每片厚度5 μm），HE染色和免疫组织化学染色，标记其CD68-巨噬细胞、CD3-淋巴细胞和CD31-新生血管。动脉粥样硬化斑块易损性的判断标准为纤维帽薄或不完整，脂质核心面积＞40%，炎症细胞丰富，斑块内出血或新生血管丰富。满足其中一项即为易损斑块。无上述任何特征为稳定斑块。病理结果分析由两位病理专业医师进行判断，诊断不一致则会商确定。对斑块稳定性的判断以病理结果为金标准。

1.3 超声造影和双流神经网络技术 颈动脉内膜剥脱术前对患者的颈动脉粥样硬化斑块进行常规超声及超声造影检查，从长、短轴多角度、多切面留取超声造影视频。在纳入的844段视频中随机抽取50个稳定斑块的视频和50个易损斑块的视频作为测试集，剩余的视频用于双流神经网络训练（训练集），两个集合中稳定斑块和易损斑块的比例均接近1∶1。

1.3.1 双流神经网络技术原理 神经网络整体上流向分为空间卷积神经网络分支和时间卷积神经网络分支（双流），分别是包含若干隐藏层的卷积神经网络。两分支的结果都是判断视频为稳定或易损的概率，取值范围为[0，1]，而且两个概率的和为1，整合两分支的结果计算最终判断视频中的斑块为稳定性或易损性的概率。当稳定的概率大于易损的概率时，判断为稳定性斑块，网络的输出结果为0；否则被判断为易损性斑块，网络的输出结果为1[9]。

两个分支网络的隐藏层都包含5个卷积层、2个全连接层和1个指数归一化层，它们分别捕捉超声图像视频中的空间和时间信息，即代表了超声图像视频中的静态和动态信息。对于空间信息，空间卷积神经网络分支使用的是一般的空间卷积神经网络结构，将视频中随机某帧造影图像作为输入；对于时间信息，时间卷积神经网络使用了一种基于光流的时间卷积神经网络，主要思路是从视频中随机选取连续数帧图像对应的光流图像作为输入，以此来表示连续时间上像素点的运动信息；当视频中有运动目标时，光流图像能描述目标和背景存在的相对运动。结果融合为取两支结果的平均值或者将两支结果输入支持向量机，得到最终结果（图1）。

1.3.2 双流神经网络训练前视频准备 ①准备符合网络输入条件的视频，即对原始超声视频进行预处理，包括：为了排除过多背景对训练过程造成干扰，以视频中颈动脉为中心裁剪出长宽都为250像素的感兴趣区（图2），同一视频对相同位置进行裁剪；因为不同超声机器收集到的视频颜色存在差异，将彩色的造影视频统一转化成灰度视频。②准备超声图像视频对应的光流视频：使用Gunnar Farneback的算法，基于当前帧和上一帧图像计算当前帧中所有像素点的光流信息（可以为正数或者负数），将其线性转化到一般灰度图像像素值的取值范围[0，255]内，然后保存转化得到的光流视频[10]。③以病理结果为金标准，标记每个训练视频中斑块的稳定或易损属性，稳定记为0，易损记为1，这将被用来指导网络的训练或者用来判断网络的区分效果，比如区分视频中斑块稳定或易损性的准确率、敏感度等。

1.3.3 双流神经网络的训练方法 训练使用的超声视频数量会直接影响网络最终的效果，由于本研究收集到的视频有限，而神经网络前面几层学习的都是通用的特征，后面的层才偏重于学习特定的特征，所以考虑使用迁移学习的方法训练网络。

训练过程分3步：①使用包含13 320段视频的UCF101自然视频数据集训练双流网络，直到完成1000次迭代训练，训练集上损失函数由4.5下降到2.25；②使用迁移学习的概念，加载第一步中训练权重中全连接层之前的所有权重，用造影视频中的训练集训练神经网络，迭代训练64次，训练集上损失函数由0.714降到0.665；③加载第二步中的所有层的权重，继续用造影视频迭代训练1000次，训练集上损失函数由0.682降到0.25（图3）[11]。

空间卷积神经网络的训练：将超声造影视频拆分为独立的单帧造影图像，每次训练时随机选择一帧输入到网络。

时间卷积神经网络的训练：因为连续两帧图像之间的光流只能描述极短时间里的动态信息，而造影视频的变化通常会发生在一段时间内，所以随机选定τ时刻的一帧图像后，时间信息使用从该帧往前的连续L帧图像的光流图像作为输入；因为光流图像包含了水平和竖直方向的光流信息，本研究做法是将每帧图像两个方向的信息交叉堆叠输入下面分支的网络，每帧造影图像长宽记为w和h，那么对应的光流图像的长宽也具有同样的尺寸，使用L帧图像两个方向的光流图像，所以使用2L帧光流图像一起输入到时间卷积神经网络，也就是每帧造影图像对应的时间网络输入光流信息的维度就是w×h×2L，计算表达式为：

图1 双流神经网络原理图

图2 超声视频图像裁剪标准

图3 训练集中双流神经网络迭代次数与损失函数的变化

其中，u∈[1，w]，v∈[1，h]，k∈[1，L]，Iτ表示输入网络的光流视频，τ是随机选取的一个时刻，d表示计算得到的不同时刻的造影图像对应的光流图像，dx，dy分别表示水平方向和竖直方向的光流信息。

以上训练中，都对输入网络的图像和光流视频进行归一化操作，具体为对输入的每幅图像数据减去其均值后除以255，使输入网络的图像数据的取值范围为[-1，1]。以上训练过程中使用数据增强来提高网络的泛化性能，包括对网络的输入进行以下操作：随机剪裁出长和宽都为224像素的视频区域、按随机角度旋转、随机调整图像的亮度；以上损失函数使用基于指数归一化层的输出计算得到的交叉熵函数，指数归一化层的输出即输入视频为稳定或易损斑块的概率。

以上3步训练都保存了每次迭代训练生成的模型参数，计算不同参数在训练集上的准确率，选取在训练集上准确率最高的参数作为网络最终的参数。网络的参数为连接网络的不同层的参数，将参数连接的网络记为前一层和后一层，则这些参数作用在前一层的结果上，得到连接的后一层的结果。训练得到最佳的神经网络，即得到神经网络的一组最佳参数来区分视频中斑块的性质。

1.3.4 双流神经网络的测试 训练得到区分斑块稳定性的最佳参数后，利用网络来测试造影视频中斑块性质的流程为：①将测试集中造影视频的每帧图像输入空间卷积神经网络，利用训练得到的网络最优参数计算每帧图像的指数归一化层的输出斑块稳定和易损的概率结果；将以上概率结果平均后得到空间卷积神经网络判断为稳定斑块或易损斑块的概率值。②计算表示该造影视频的水平和竖直方向运动信息的光流视频，将光流视频分为每段L帧，得到若干段拆分的小段视频。将L帧图像在两个方向的光流图像交叉堆叠输入时间卷积神经网络，得到每小段视频的归一化指数层的结果，计算其平均值，作为整段光流视频在空间卷积神经网络上的预测结果。③将以上两步中的结果输入支持向量机得到该造影视频中斑块稳定或易损的概率，依据概率输出是稳定斑块（0）还是易损斑块（1）的结果。

1.4 统计学方法 采用medcalc统计软件，计数资料采用率表示。以病理结果为金标准，定义易损斑块为阳性结果，稳定斑块为阴性结果，计算神经网络判断斑块性质的准确率、敏感度、特异度、阳性预测值、阴性预测值、阳性似然比和阴性似然比，绘制受试者工作特征（receiver operating characteristic，ROC）曲线，计算曲线下面积（area under the curve，AUC）。P＜0.01为差异有统计学意义。

2 结果

2.1 一般资料 研究共纳入225例患者，年龄37～85岁，男性175例，女性50例，症状性颈动脉狭窄150例、非症状性颈动脉狭窄75例。颈动脉内膜剥脱术后经病理证实，稳定斑块115个，易损斑块110个，斑块厚度＜3 mm者57例（25.3%），3～5 mm者106例（47.1%），＞5 mm者62例（27.6%）。术前超声视频共844段，帧频为30帧/秒，图像的长宽多为960像素和706像素。其中744段视频用于训练，100段视频用于测试。

2.2 双流神经网络判断动脉粥样硬化斑块稳定性的价值

2.2.1 训练集中双流神经网络判断动脉粥样硬化斑块稳定性的价值 用于训练的744段超声视频中，判断为真阳性（易损斑块）者248段，假阳性者9段，假阴性者37段，真阴性者350段。双流卷积神经网络区分颈动脉斑块稳定性的准确率、敏感度、特异度、阳性预测值、阴性预测值、阳性似然比、阴性似然比分别为93%、87%、97%、96%、90%、29和0.13。ROC曲线AUC为0.99，P＜0.001（图4）。

2.2.2 测试集中双流神经网络判断动脉粥样硬化斑块稳定性的价值 用于测试的100段超声视频中，判断为真阳性（易损斑块）者35段，假阳性者5段，假阴性者15段，真阴性者45段。双流卷积神经网络区分颈动脉斑块稳定性的准确率、敏感度、特异度、阳性预测值、阴性预测值、阳性似然比、阴性似然比分别为80%、70%、90%、88%、75%、7和0.33。ROC曲线AUC为0.84，P＜0.001（图4）。

3 讨论

颈动脉粥样硬化斑块稳定性的评价是临床工作及研究的重点，目前的影像学方法包括常规超声、CTA、DSA、高分辨MRI等对动脉粥样硬化斑块的判断均停留在形态学评估，对斑块稳定性的评价准确性有限，不能满足临床需要。目前，神经网络在处理图像问题上表现出很好的性能，比如在自然图像检测、分类和分割等领域，神经网络通过大量图像的自动学习及识别，相对于传统方法均更好地学习到特定的知识，自动达到特定目标，得到了很好的目标效果，并且具有较好的鲁棒性。随着神经网络在自然图像领域得到广泛认可后，其在医学图像处理领域的应用也逐渐开展，目前已被用来辅助医师进行乳腺疾病检测、胎儿参数测量、医学图像的超分辨率研究等[3-6]。

超声造影是一种通过观察实质性脏器内血流灌注情况来判断组织器官占位性病变特点的诊断方法，使用纯血池造影剂，造影剂微泡的直径相当于红细胞大小，不会外溢至血管壁外，因此能够显示动脉粥样硬化斑块内微血流情况，对斑块内新生血管情况进行评价，从而判断斑块的稳定性。斑块内新生血管的内皮结构不完整，导致红细胞外渗，致使斑块内体积增加[12]；红细胞膜释放的游离胆固醇增加，使斑块内脂质核心扩大，导致斑块易损[13]；另外新生血管是炎症细胞进入斑块的通道，炎症细胞又能够刺激斑块内新生血管的生成，因此斑块内新生血管增多是斑块易损的原因之一，许多研究表明超声造影能够较准确的提示动脉粥样硬化斑块的稳定性和易损性[14-16]。但是，颈动脉粥样硬化斑块超声造影结果受到检查者水平及观察者间判断一致性等问题，准确性在不同医院及不同检查者间一致性不高，临床应用受到一定限制。本研究通过训练神经网络学习颈动脉内膜剥脱术前超声造影视频图像，收集大量特定场景的图像，使神经网络学习到图像中的特征，最终辅助医师提高临床诊断的效率和准确率。

图4 双流神经网络判断动脉粥样硬化斑块稳定性的ROC曲线

与本研究处理的医学图像类似，也有学者利用神经网络处理患者颈动脉的图像，但均为收集含有和不含颈动脉粥样硬化斑块斑块的超声图像来训练神经网络[7-8]。目的是得到能自动判断图像中有无动脉粥样硬化斑块的网络，本研究的目的是训练神经网络来判断颈动脉粥样硬化斑块的稳定性，难度更大。另外，既往研究中使用的神经网络都是单支神经网络，即只使用了颈动脉超声图像的颜色信息，对单幅颈动脉图像是否含有斑块做出判断。本研究中收集了含有颈动脉粥样硬化斑块较复杂的超声造影视频，利用造影视频中每帧图像的色彩信息和运动信息来鉴别斑块的稳定性，取得了较好的结果。

本研究收集到的颈动脉内膜剥脱术前超声造影图像中包含了颈动脉粥样硬化斑块静止状态下的纹理、大小、形状等特征；计算的每个视频中两幅图像的光流信息表示了造影图像中的目标在两个连续帧之间的视在运动模式，造影视频对应的光流视频就能反映斑块的运动。本研究基于以上数据训练的双流神经网络对颈动脉斑块超声造影视频进行分类，介绍了网络的设计和思想、训练方式、有效性等。其训练集上的准确率达到93%，测试集判断斑块稳定性的准确率达到80%，测试集上表现不及训练集是因为只有训练集被直接用来训练神经网络模型，测试集只是测试已经训练好的模型的推广能力，所以并不能保证和训练集一样的正确性，但用跟训练集相似的造影视频测试神经网络能得到跟训练集相似的准确率。课题组将进一步训练神经网络学习超声造影视频图像，提高神经网络判断动脉粥样硬化斑块的效率和价值。

【点睛】本研究以病理诊断结果为金标准，训练双流神经网络学习颈动脉粥样硬化斑块的超声造影视频特点，以期为临床更高效、精准的判断超声影像中显示的动脉粥样硬化斑块的性质提供新的思路和技术。