基于融合边界框高置信度区域信息的超声胎儿头围测量算法*

汪金婷 杨丰 陈琪

特约论文

基于融合边界框高置信度区域信息的超声胎儿头围测量算法*

汪金婷 杨丰 陈琪

（南方医科大学生物医学工程学院，广东 广州 510515）

为有效克服胎儿头部超声图像中存在的干扰问题，实现对胎儿头围的精确测量，提出一种基于融合边界框高置信度区域信息的超声胎儿头围测量算法。首先，通过U-Net分割网络提取胎儿头部图像感兴趣区域；其次，利用YOLOv3检测网络获取胎儿头部边界框，结合边界框高置信度区域信息，筛选头部感兴趣区域高置信度边缘点；最后，采用直接最小二乘法对高置信度边缘点进行椭圆拟合，计算胎儿头围结果。实验结果表明：该算法可有效克服图像质量的干扰，提高超声胎儿头围测量精度。

胎儿头围测量；超声图像；高置信度区域筛选算法；U-Net；YOLOv3

0 引言

胎儿头围测量值是评估胎儿生长发育的一个重要指标。精确测量胎儿头围对胎儿监测具有重要的临床应用价值。因超声图像中存在噪声等干扰，导致胎儿头部边界模糊、部分头骨缺失等问题，影响超声医师对颅骨外缘的选择，从而造成测量差异。为降低图像质量所产生的不确定性影响，有效的超声胎儿头围自动测量方法研究已成为人们关注的热点方向。

文献[1]将胎儿超声图像从笛卡尔坐标系转换到极坐标系，再根据胎儿头部解剖结构的先验信息，采用卷积神经网络检测头部边界的像素，随后用卷积网络预测边界框，最终拟合边界框内的边界像素；该方法分2个阶段完成胎儿头部检测，能有效去除错误预测边界，但需要将胎儿图像沿超声传播方向由笛卡尔坐标系转换到极坐标系，实时性较差。文献[2]采用级联全卷积神经网络完成胎儿图像头部及腹部分割，取得较好效果；但模型训练采用的训练数据仅由一位专家标注，泛化能力有待评估。文献[3]在全卷积结构上，导入预训练的VGG16模型，构成VGG16-FCN分割网络，实现胎儿图像头部分割；但该方法主要针对孕龄为18~22周的胎儿头围测量，因该时期胎儿头骨显示较完整，其分割效果较好。文献[4]融合U-Net++[5]网络，充分利用上下文相关信息与局部定位信息，准确分割胎儿头部感兴趣区域（region of interest, ROI）；但当胎儿头部图像中类似胎儿头部结构的区域面积较大时，分割结果会将头部区域以外误归类为胎儿头部，测量精度较低。

针对胎儿头部超声图像中存在的头部边缘模糊、部分头骨缺失、类似头部结构等不良因素影响测量精度的问题，本文提出一种基于融合边界框高置信度区域信息的胎儿头围测量算法。该算法采用头部边界框信息约束头部ROI并去除ROI错误的边缘点，可有效降低上述不良因素对头围测量结果的干扰，提高测量精度。

1 测量算法

胎儿头围测量标准切面包含脑中线、透明隔腔（cavum septi pellucidi, CSP）、双侧对称丘脑（thalamus, T）及丘脑之间的裂隙样第三脑室（third ventricle, TV）等，如图1所示。超声医生在测量胎儿头围时是以“胎儿头部轮廓是椭圆的假设”为前提，即用椭圆功能键标定标准切面的颅骨外缘，由椭圆参数计算胎儿头围。

图1 胎儿头围测量标准切面及测量示例

本文提出的基于融合边界框高置信度区域信息的超声胎儿头围测量算法主要步骤为：

1）通过胎儿超声图像及对应的标注数据训练分割卷积神经网络，获取胎儿头部ROI；

2）通过胎儿超声图像以及对应的标注数据训练检测神经网络，获取胎儿头部边界框；

3）采用高置信度区域筛选算法获得头部ROI的高置信度边缘点，去除低置信度边缘点；

4）利用直接最小二乘算法对高置信度边缘点进行椭圆拟合，由椭圆参数计算胎儿头围大小。

1.1 头部ROI的获取

采用医学图像分割的经典模型U-Net对头部进行ROI的分割提取。U-Net中带有跳跃连接的编码器和解码器结构，能够在学习高层语义信息的同时避免因降采样导致的信息损失。网络结构没有采用全连接层，减少了参数量，适用于医学图像本身固有特性和小样本性训练集的特点。本文对文献[6]中的U-Net结构进行改进：1）在卷积层与激活函数之间加入一层批标准化（batch normalization, BN）操作[7]，避免产生梯度消失问题；2）采用步长为2的卷积层代替池化层进行下采样操作，以减少池化带来的信息损失。

1.2 头部边界框的获取

采用目标检测算法中常用模型YOLOv3[8]检测胎儿头部边界框。该模型将目标检测作为回归问题求解，基于一个单独的端到端网络，一步完成从原始图像的输入到物体位置和类别的输出。该网络使用Darknet-53模型的前52层对输入图像进行深度特征提取；YOLO层对提取的特征图进行边界框信息和类别信息预测。该网络有3个预测分支，训练时，3个分支的预测结果都用于损失函数（loss）计算；测试时，3个分支的预测结果经非最大抑制算法处理筛选出最优结果为最终检测输出。

1.3 高置信度区域筛选算法

为降低误分类像素对测量结果的影响，本文使用YOLOv3检测网络得到的头部边界框对头部ROI进行优化，约束头部ROI并去除其错误的边缘点，提高测量精度。高置信度区域筛选算法流程图如图2所示。

图2 高置信度算法流程图

YOLOv3检测网络的学习目标为图像级标注，而U-Net分割网络需要学习像素级标注，因此对头部边界框的预测易于头部ROI像素级的预测，且头部边界框以外的头部ROI前景区域多为超声图像对胎儿头部ROI分割造成干扰的部分。基于以上分析，本文将胎儿头部边界框以内的ROI定义为胎儿头部的高置信度区域，边界框以外的区域定义为低置信度区域。

首先，将边界框以外的分割前景像素点的像素值置零，使其转为背景，只保留边界框以内的前景；去除边界框以外因图像中头部边缘模糊、消失以及类似头部结构等因素导致的误分类边缘点。

然后，对优化后的分割结果进行边缘提取，以边界框的中点为基点，将提取的边缘图像划分为4个区域，对4个区域图像分别进行重复点去除处理，从而去除边界框以内误分类的边缘点。其步骤为：1）获取区域中像素点大于0的点的坐标为候选边缘点集；2）分别比较轴和轴各自的坐标，若相同，则表示存在重复点；3）若存在重复点，则表示这个区域内部存在错误边缘点，需从候选边缘点集中将其删除。基于胎儿头围为光滑曲线考虑，构成该曲线的连续点之间的距离应尽可能小。因此，分别计算坐标重复的两个点到前一个点的欧氏距离，删除距离较大的一个点。

最后，将4个区域的边缘点合并，获得高置信度的边缘点集。采用直接最小二乘法对其进行椭圆拟合，计算胎儿头围结果。

2 实验

2.1 实验数据

本实验所使用的数据均来自生物医学图像分析平台Grand Challenges[9]上公开的HC18超声胎儿头围自动测量数据集。数据集中涉及的所有胎儿发育正常，每幅胎儿头部超声图像均是测量胎儿头围的标准平面。图像采集自2014年5月到2015年5月接受超声检查的551名孕妇，共1334幅含妊娠早期、妊娠中期和妊娠晚期3个时期的胎儿头部二维超声图像，其中有标注训练数据999幅，无标注测试数据335幅，以及记录训练集及测试集对应的每一幅图像像素尺寸文件，用于计算胎儿头围。

有标注的999幅超声图像作为训练集，无标注的335幅超声图像为测试集。实验数据的原始标注为头部轮廓拟合椭圆曲线。本文算法需训练U-Net分割网络和YOLOv3检测网络。训练U-Net分割网络需头部ROI作为标注，因此要将头部标注轮廓线进行内部区域填充。训练YOLOv3检测网络需头部边界框的位置、宽高和类别信息作为标注，因此对分割标注数据进行外接矩形检测获得头部边界框信息。因妊娠周期与胎儿头围大小成正比关系，周期越长，头围越大，所以按胎儿头围大小将训练数据分为妊娠早期、妊娠中期和妊娠晚期3期。数据集数据原始尺寸大小为800×540，在数据预处理过程中将尺寸大小调整至416×416，并作归一化处理。尺寸调整方法为将图像短边使用0像素点填充为与图像长边保持一致，再将图像尺寸调整为416×416。这样可以保持像素在原图像的位置，不会随着图像的尺寸变化而改变。

2.2 评价指标

本文用于定量分析的3个评价指标分别为系数、豪斯多夫距离和头围绝对差值，其数学定义为

式中，GT为胎儿头部标注；predict为预测结果；GT为真实头围大小；predict为预测头围大小。

系数评价模型分割效果，其越大表明模型分割效果越好。度量预测值与真值之间的最大不匹配程度，其越小效果越好。反映预测头围与真实头围之间的差距，其越小预测效果越好。

2.3 实验结果及分析

本实验使用Adam优化器，U-Net分割网络的学习率设置为1e-4，训练150轮；YOLOv3检测网络的学习率设置为1e-3，训练200轮。训练的批量大小为4。本实验基于Pytorch深度学习框架实现，实验平台为Ubuntu系统和NVIDIA GeForce 1080 Ti显卡。

测试集头围预测结果如表1所示。测试集预测结果如图3所示。

表1 测试集头围预测结果

表1中，U-Net为文献[6]中的模型；改进U-Net为本文1.1节改进后的U-Net模型；改进U-Net前表示未经高置信度区域筛选算法处理直接进行椭圆拟合的测量结果；改进U-Net后表示对高置信度区域算法获得的高置信度边缘点进行椭圆拟合的测量结果。

由表1可知：改进后的U-Net模型较文献[6]中的模型测量精度有所提高，且2种模型的测试结果经高置信度区域筛选算法处理后均能提高测量精度。

图3 测试集预测结果

图3中，第一列为测试集图像；第二列为未使用高置信度区域筛选算法的分割结果；第三列为使用高置信度区域筛选算法优化后的分割结果。

由图3的预测结果可以看出：即使图像中存在边界模糊、边界消失、类似胎儿头围的母体结构，提出的高置信度区域筛选算法能显著降低误分类像素点对测量结果的影响，提高测量准确性。

3 结论

本文针对超声胎儿头部图像中存在的干扰问题，提出一种基于融合边界框高置信度区域信息的超声胎儿头围测量算法。实验结果表明：该算法可有效克服胎儿头部图像中头部边缘模糊、缺失以及疑似头部区域等因素对头围测量结果干扰，适用于超声胎儿头围自动测量。目前，超声图像广泛用于胎儿发育监测，快速、准确的胎儿头围测量方法能大幅减轻医生的负担。因此，该算法具有较高的研究价值和应用价值。

[1] KIM H P, LEE S M, KWON J Y, et al. Automatic evaluation of fetal head biometry from ultrasound images using machine learning[J]. arxiv.org/abs/1808.06150, Physiological Measure-ment, 2018,40(6).

[2] WU L, XIN Y, LI S, et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmenta-tion[C]. IEEE International Symposium on Biomedical Imaging. IEEE, 2017.

[3] SINCLAIR M , BAUMGARTNER C F , MATTHEW J , et al. Human-level performance on automatic head biometrics in fetal ultrasound using fully convolutional neural networks [EB/OL]. (2018-4-24) [2019-5-4]. arxiv.org/ftp/arxiv/papers/1804/1804. 09102.

[4] 邢妍妍,杨丰,唐宇姣,等.融合型UNet++网络的超声胎儿头部边缘检测[J].中国图象图形学报,2020,25(2):366-377.

[5] Zhou Zongwei, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, et al. UNet++: a nested U-Net architecture for medical image segmentation[J]. arXiv:1807.10165 [cs.CV].

[6] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]. In International Conference on Medical image computing and computer-assisted intervention, 2015, 234-241.

[7] Sergey Ioffe, Christian Szegedy. Batch normalization: accelerating deep network training by reducing internal covariate shift[J]. arXiv:1502.03167 [cs.LG].

[8] Joseph Redmon, Ali Farhadi. YOLOv3: an incremental improvement[J]. [2019-09-04]. arxiv.org/abs/1804. 02767.

[9] Grand Challenge: HC18. https://hc18.grand-challenge.org.

Ultrasound Fetal Head Circumference Measurement Algorithm Based on Fusion of High Confidence Region Information of Bounding Box

Wang Jinting Yang Feng Chen Qi

(School of Biomedical Engineering Southern Medical University, Guangzhou 510515, China)

In order to effectively overcome the interference in the fetal head image and achieve accurate measurement of the fetal head circumference, this paper proposes an ultrasonic fetal head circumference measurement algorithm that fuse the high confidence region information of the bounding box. First, extract the region of interest (ROI) of the fetal head through the U-Net segmentation network; secondly, use the YOLOv3 detection network to obtain the head bounding box, and combine the high confidence region information of the bounding box to filter the high confidence edge points of the head region of interest; Finally, the direct least square method is used to ellipse fit the high-confidence edge points to calculate the fetal head circumference. Experimental results show that the algorithm can effectively overcome the interference of image quality and improve the measurement accuracy of ultrasound fetal head circumference.

fetal head circumference measurement; ultrasound image; high confidence region screening algorithm; U-Net; YOLOv3

TP391

A

1674-2605(2021)01-0002-05

10.3969/j.issn.1674-2605.2021.01.002

国家自然科学基金项目（61771233）

汪金婷，女，1997年生，本科，主要研究方向：机器学习与图像处理。E-mail: 894269281@qq.com

杨丰（通信作者），男，1965年生，教授，主要研究方向：模式识别、机器学习、医学图像处理、生物医学信号处理等。E-mail: yangf@smu.edu.cn

陈琪，女，1998年生，本科，主要研究方向：机器学习与图像处理。