基于电磁定位的超声图像与CT图像的融合方法

郭 楚 刘 达* 吴文波 宋 凌 张 赛

1(北京航空航天大学机械工程及自动化学院，北京 100191)2(北京柏惠维康医疗机器人科技有限公司，北京 100191)

引言

在超声引导经皮介入治疗的过程中，单一的超声图像存在精准性较差和诊疗信息不全面等问题[1]。对不同图像信息进行适当集成的多模态图像融合已经成为临床医生诊断和治疗疾病的迫切需要[2]。站在信息论角度，融合后的图像与各个单一图像相比含有更多有用的信息[3]。超声图像具有实时性好、操作简便、无电离辐射等优点，并且超声造影可以帮助判定肿瘤的浸润范围[4]。但是，超声图像分辨率低，整体观察效果较差，不能准确判断肿瘤与周围结构的空间关系，医生对图像的理解与对患者生理结构的想象主要依赖主观经验[5]。平扫CT图像分辨率高，几何特征显著，对骨骼、肺及脏器轮廓的显示具有明显优势[6]，但它对软组织成像较差，术中实时性差。医学图像各有利弊，独立应用总有纰漏，这使它们的融合使用成为新的发展方向。

目前，超声图像与CT图像融合在临床中的有效性已得到验证[7-9]，说明多模态图像融合对于患者疾病的治疗相比于单一模态图像而言拥有巨大优势。关于三维超声图像与CT图像的配准方法已经早有研究[10-12]，但是这种利用两种三维图像配准的方式进行图像融合的方法抛弃了超声图像的实时性。目前国内外关于实时超声图像与CT图像融合的具体实现方法研究较少。杨成帅等提出了一种基于光学定位的超声与CT的图像融合方法[13]，但是光学定位容易受到视觉遮挡的影响，鲁棒性较差。因此，为了充分利用多模态医学图像对病灶描述能力的互补性和冗余性，使医生在临床治疗时更好地了解患者的病灶状况，提出一种基于电磁定位的实时超声图像与CT图像的融合方法。

1 材料和方法

1.1 材料

1.1.1电磁定位系统

NDI Aurora电磁定位系统，如图1所示。磁场发生器准确测量的磁场范围为正前方50 cm×50 cm×50 cm的立方体，如图2所示，可以读取在立方体范围内电磁定位传感器的位姿信息。磁场发生器正前方有50 mm的死区范围，在立方体范围之外测量精度明显下降。电磁定位传感器在磁场坐标系内被识别为6自由度的刚体，表示为传感器自身坐标系的原点(以下简称传感器标记点)在磁场坐标系下的坐标和姿态的欧拉角[14]。

图2 磁场发生器的磁场范围Fig.2 Magnetic area of field generator

1.1.2靶标

如图3所示，靶标顶部的圆柱形凹槽用于固定电磁定位传感器，凹槽背面和3个支架上开有多个球形凹槽，每个凹槽均可以放置一个直径2 mm的铅球。

1.1.3刚性体模

如图4所示，刚性体模中的每个立柱上均放置有直径3 mm的钢球，中间放置的三棱锥为空心壳体结构，表面贴有直径2 mm的陶瓷球。

1.1.4超声机

采用Mindray Resona 7，如图5所示。

1.1.5计算机

如图6所示，安装有集成了VTK(the visualization toolkit)开源库的计算机辅助图像融合软件(以下简称“融合软件”)。

图3 靶标机械设计三维图。(a)正面；(b)背面Fig.3 Mechanical 3D drawings of the marker. (a) Anterior view;(b) Posterior view

图4 刚性体模Fig.4 Rigid model

图5 Mindray超声机Fig.5 Mindray ultrasonic equipment

图6 计算机Fig.6 Computer

整个系统如图7所示，电磁定位系统通过USB转串口向计算机传输定位信息，超声机通过以太网向计算机传输实时超声图像。

图7 图像融合系统：①超声机；②刚性体模；③磁场发生器；④靶标；⑤电磁定位传感器；⑥计算机Fig.7 System of image fusion:①ultrasonic equipment；②rigid model；③field generator；④marker；⑤sensor；⑥computer

1.2 方法

1.2.1磁场坐标系和CT图像坐标系的配准

1.2.1.1铅球球心CT图像坐标的获取

在刚性体模外壁上贴3个靶标，在每个靶标上的4个球形凹槽中各放入1个直径2 mm的铅球，保证每个靶标上放置的4个铅球球心不在同一平面。使用GE(General Electric)公司型号为Lightspeed VCT-64的CT设备对刚性体模进行平扫CT，将得到的DICOM图像序列导入融合软件，如图8所示。

图8 刚性体模的CT图像Fig.8 CT image of rigid model

由于刚性体模上的铅球在CT图像中灰度值为3 071，高于刚性体模其他结构的灰度值，因此可以对得到的CT图像利用灰度进行阈值分割，提取出刚性体模中靶标上所有铅球的成像点，得到靶标上12个铅球球心的图像坐标为

(xfi,yfi,zfi)T(i=1,2,…,12)

统称为图像点集Pf∈R3。融合软件提取出的3个靶标上共计12个铅球球心的CT图像坐标如图9所示。

图9 12 个铅球球心的CT图像坐标Fig.9 Coordinates of 12 lead balls′ centers in the CT image coordinate system

1.2.1.2铅球球心磁场坐标的获取

在刚性体模的3个靶标上安装电磁定位传感器，并将刚性体模放在磁场范围中，可由磁场发生器识别到3个传感器标记点的磁场坐标。设第i个电磁定位传感器在磁场坐标系下的传感器标记点坐标为

(xmi,ymi,zmi)T(i=1,2,3)

所对应的第i个靶标上有4个铅球，根据靶标的机械设计尺寸，其上的第j个铅球球心对于第i个传感器标记点的相对坐标为

(Δxmij,Δymij,Δzmij)T(i=1,2,3；j=1,2,3,4)

因此，第i个靶标上的第j个铅球球心的磁场坐标为

(xmi+Δxmij,ymi+Δymij,zmi+Δzmij)T

(i=1,2,3；j=1,2,3,4)

共计12个点坐标，统称为磁场点集Pm∈R3。

1.2.1.3对磁场坐标系和CT图像坐标系进行配准

(1)

磁场点集Pm经过空间坐标变换之后得到的新点集Pmn的计算公式为

Pmn(i)=R×Pm(i)+t

(2)

式中，i=1,2,…,12，齐次坐标变换为

将式(1)代入，得

配准误差RMS(root mean square)的计算公式为

(3)

1.2.2超声坐标系与CT图像坐标系的配准

(4)

由于超声坐标系在超声探头顶端(见图10)示，因此需要将传感器自身坐标系进行相应的平移和旋转才能将超声坐标系与传感器自身坐标系进行配准。

图10 超声探头坐标系变换Fig.10 Coordinate transformation on the ultrasonic probe

Rot(Z,-90°)

(5)

(6)

超声机获得的实时超声图像通过以太网传输给计算机，并经过式(6)的空间坐标变换，使得显示在超声坐标系的XOZ平面上的实时超声图像最终显示在CT图像坐标系中，利用VTK中的体绘制功能对CT图像进行渲染，完成实时超声图像与CT三维重建图像的融合。然后，利用VTK开源库中的vtk Image Reslice滤波器，可以提取出实时超声图像所在平面对应的CT二维图像，将实时超声图像与提取的CT二维图像进行对比和叠加，查看融合效果并测量融合误差。

2 结果

图11 实时超声图像和CT三维图像融合显示Fig.11 Fusion of real-time ultrasonic image with 3D CT image

采集1次图像点集，采集10次磁场点集，将磁场坐标系和CT图像坐标系进行10次配准，利用式(3)计算每次的配准误差RMS，得到10次配准的平均误差为0.60 mm±0.02 mm。

将实时超声图像与CT三维重建图像进行融合，效果如图11所示。利用不同时刻的实时超声图像所在平面提取的CT二维图像如图12所示。将CT二维图像和实时超声图像进行叠加，修改实时超声图像的透明度为50%，颜色为黄色，效果如图13所示。在融合软件中可以看到，超声探头与刚性体模的实际位置姿态的关系可以实时地反映到融合软件中，并且可以在CT图像中实时地提取超声图像所对应的二维切面图像。

图12 不同时刻实时超声图像(上)和对应的CT二维图像(下)。(a)时刻1；(b)时刻2；(c)时刻3；(d)时刻4Fig.12 Real-time ultrasonic images(up) and corresponding 2D CT images(down) of different time. (a)First time; (b)Second time;(c)Third time;(d) Fourth time

图13 不同时刻实时超声图像和CT二维图像融合显示。(a)时刻1；(b)时刻2；(c)时刻3；(d)时刻4Fig.13 Fusion of real-time ultrasonic images with 2D CT images of different time. (a)First time; (b)Second time;(c)Third time;(d) Fourth time

实时超声图像与CT图像在融合软件中的整体融合效果如图14所示。由于陶瓷小球在超声图像下成像明显，调整实时超声图像，显示三棱锥空心壳体上的陶瓷球点。利用融合软件的标尺功能，测量10次CT图像中的陶瓷球球心与实时超声图像上同一陶瓷球球心的欧几里得距离，即融合误差，得到10次融合的平均误差为(0.71±0.03)mm。

图14 实时超声图像和CT图像融合显示。(a)实时超声图像和CT三维图像融合视图；(b)实时超声视图；(c)实时超声图像和CT二维图像融合视图Fig.14 Fusion of real-time ultrasonic image with CT image. (a)View for fusion of real-time ultrasonic image with 3D CT image; (b)View for real-time ultrasonic image;(c) View for fusion of real-time ultrasonic image with 2D CT image

3 讨论

本研究利用电磁定位系统将实时超声图像通过多次空间坐标变换融合到CT三维图像中，并根据实时超声图像将相应的CT二维图像进行提取，提供了实时超声图像与CT三维和二维图像的融合显示，通过刚性体模验证了该融合方法的可行性，并对融合误差进行了测量。目前，国内外实现超声与CT的融合主要采用将三维超声图像与三维CT图像进行配准的方式[11]，三维超声图像由多幅二维超声图像重建产生[17]，这种多模态图像的融合方式不需要借助定位系统，没有充分利用超声图像实时性的优势，属于一种静态的融合方法。本研究利用电磁定位系统实时采集二维超声图像的空间信息，并提供了超声图像与CT图像融合的多维视图，充分发挥了超声图像实时性的优点，是一种实时的动态的图像融合方法。

根据定位原理的不同，多模态图像融合常用的定位系统主要包括电磁定位系统和光学定位系统[5]。光学定位系统视野开阔，拥有较大的工作范围，其缺点是在光学摄像头与被追踪的器械之间不能存在障碍物遮挡，这在一些脆弱的手术环境或者需要术中成像时很难保证[18]，并且光学定位系统也无法追踪穿刺器械在人体内的部分[5]。相比而言，电磁定位系统工作范围较小，且磁场易受到较大金属物体的干扰[19]，但是其避免了光学定位系统的视觉遮挡问题，并且通过将传感线圈嵌入穿刺器械中的方式，电磁定位系统可追踪穿刺器械在人体内的部分[20]，极大地方便了医生在多模态图像融合导航下准确地实施经皮介入治疗。杨成帅等建立了基于光学定位的二维超声与CT图像融合的技术路线，平均融合误差为1.96 mm，本研究基于电磁定位实现了多模态图像的融合，平均融合误差为0.71 mm，相比于光学定位，融合精度提高了63.8%[13]。

本研究提出的多模态图像融合方法目前仅应用于刚性体模，在以后的临床实验中可以考虑将此方法应用于患者腹部，如将安装好铅球的靶标粘贴于患者腹部体表，患者携带靶标进行腹部的平扫CT。CT图像采集完成之后要求患者躺在病床上，在患者体表的靶标上安装电磁定位传感器，相当于患者腹部取代刚性体模而处于磁场坐标系中。另外，在超声探头上安装电磁定位传感器，使得传感器自身坐标系与超声坐标系具有确定的位置姿态关系，同时保证所有的传感器均在磁场发生器的准确测量范围内。通过超声探头采集患者腹部的实时超声图像，结合已经采集到的患者腹部的CT图像，便可按照本研究提出的方法完成患者腹部多模态图像的融合显示，为医生提供患者腹部病灶的多维空间信息。

磁场坐标系和CT图像坐标系的配准误差为0.60 mm±0.02 mm，此误差主要来自靶标的机械加工误差。本研究通过3D打印技术制作3个靶标，12个铅球球心的磁场坐标通过靶标的机械设计尺寸推算得到，因此当靶标存在较大的加工误差，或者长时间使用导致其发生变形时，会使得其实际尺寸与设计尺寸不符，从而影响磁场坐标系和CT图像坐标系的配准精度。在以后的研究中可以考虑，使用特殊的材料或者更高精度的机械加工工艺来制作靶标，以此降低靶标的机械加工误差。

4 结论

在超声引导经皮介入治疗中，为了充分利用多种医学图像的优势，为医生提供患者病灶的多维信息，本研究提出了一种基于电磁定位的实时超声图像与CT图像的融合方法，弥补了关于超声图像与CT图像实时融合的具体实现方式的空白，有效避免了光学定位方法的视觉遮挡和融合精度较低等问题。本研究利用多个坐标系的空间坐标转换，最终将实时超声图像配准到CT图像中，并在软件中提供了实时超声图像与CT三维图像和CT二维图像的实时融合显示，融合误差达到了0.71 mm±0.03 mm，较好地满足了超声引导经皮介入治疗的临床需求。为了更好地提高实时超声图像与CT图像的融合精度，降低配准及融合误差，今后将研究重心转移到靶标的优化设计与超声探头的标定方法上。

(致谢：在此对实验室成员张军和张永晨表示感谢，感谢他们在论文撰写中对写作思路提出的建议，还要感谢他们一起解决研究中的疑问和难题)