相似场景下正面人脸图像交互合成方法的研究

欧水莹，陈莉霞，史立奎，曹洪武

(塔里木大学 信息工程学院，新疆 阿拉尔 843300)

1 常见的特征点检测算法

随着智能手机的普及，人们在日常生活中经常合影留作纪念。许多情况下，虽然拍摄时摄影师会尽力提醒每个参与者，但要做到协调好所有人保持合适的面部表情仍很困难，最终，照片中难免会出现少量的细微缺陷。例如：合影对象在拍照瞬间眨眼将导致眼睛半闭半开，或者被拍摄者该有的笑容并没有很好地被呈现在照片中。目前，对于图像的后期处理，市场上已经有多款成熟软件能够实现对人脸照片的后期合成处理，比如Photoshop，Paint.NET、美图秀秀等，但并不能自动完成处理工作，大多都需要人工参与调整，而且使用者需要具备良好的软件使用技巧和一定的艺术创新能力，处理过程耗时、耗力。因此，为了提高处理效率，本文设计一种适用于处理相似场景下正面人像照片中存在缺陷的交互合成方法，具备一定的实用价值。

对于人脸检测的研究，常见的技术包括：(1)基于神经网络的方法。比如，Cai等[1]采用模糊匹配的方法建立肤色和发色模型；(2)基于统计理论的统计特征方法。比如，王静波等[2]提出的卷积精神网络人脸检测算法等。上述方法从不同角度出发建立模型，对图像特征进行分析，最终提取出所包含的人脸信息。随着云计算技术的发展，也出现了简洁易用的在线人脸检测处理平台，比如，北京旷世科技有限公司提供的Face++平台。

常见的特征点检测算法包括：Harris[3]角点算法，SIFT[4](Scale Invariant Features Transform)算法，SURF[5](Speeded Up Robust Features)算法等方法，本文考虑到时间效率，选用SURF算法，通过SURF算法可完成用户感兴趣区域人脸周边邻域的特征点检测后可完成图像配准，为后续人脸图像融合做好准备。

多年来，各国学者从不同角度对图像融合进行研究，主要有小波图像融合[6]，塔型分解多源图像融合[7]和泊松融合[8]等。本文将通过实施简单人工交互，确定合成区域，然后提取图像特征点完成图片匹配，最终通过泊松融合算法来实现图像的无缝融合，利用人脸数据及人脸周边邻域特征点信息，进一步通过求解基于泊松方程，实现将截取的图像能够无缝地融合到目标场景中。该方法的使用不需要使用者具有良好的图像处理技巧，可以提升普通用户利用该方法处理近似场景下人脸照片中瑕疵的处理效率。

2 相似场景下正面人像照片交互合成的研究思路及方法

本文结合实际需求分析，将综合利用人脸检测、感兴趣区域选取、特征点匹配和图像融合等技术实现设计目标。包括4个模块：(1)人脸检测模块；(2)兴趣图像区域选取模块；(3)图像特征点匹配模块；(4)图像融合模块。

2.1 人脸检测模块

本文研究流程中的首要环节就是进行人脸检测，确定输入图像中的人脸位置。目前，市场上已经存在比较专业的人脸检测平台，所以，考虑到时间和经济成本，为检测出图像中的人脸，为后续交互选取做准备，选择了选Face++ 在线人脸检测服务，完成人脸检测。

2.2 感兴趣图像区域选取模块

完成人脸图像的检测后，用户可以进行人工交互判定。首先，选出自身认可的人脸，包括面部特征的主观判定，比如，是否闭眼、微笑等。其次，将该人脸周边区域设定为感兴趣图像区域(REGION OF INTEREST，ROI)，用户手动从目标图像中截取出一个合适的图像区域，为后续的图像特征点匹配建立工作基础。

2.3 图像特征点匹配模块与图像融合模块

(1)图像特征点匹配模块：在特征点匹配过程中，主要是通过SURF算法对图像中已检测出的人脸以及面部关键区域的特征点进行提取并匹配，是图像合成的重要环节。只有实现准备配准特征点，才能最终实现下一个阶段的理想图像融合。

(2)图像融合模块：为确保图像间进行平滑过渡，消除图像间的拼接缝隙和色调变化等差异，本文主要采用泊松融合算法开展图像融合工作。

3 具体实验步骤

3.1 人脸检测

实验选用的是Face++平台完成人脸检测，实现本功能主要是使用平台提供的人脸检测技术。提交检测图像到该平台后，可以得到分析结果，Face++将把检测出的人脸区域进行标识，为后续ROI区域的选取提供了良好参照。

3.2 ROI区域选取

ROI区域选取及其后算法均在MATLAB 2016a工具中实现，在图像区域选取中，在通过Face++标注的人脸信息基础上，通过用户操作鼠标交互完成，用户选出主观上视觉感知完美的ROI感兴趣图像区域，为后续的图像融合打下基础。

作为人脸融合预处理环节，选取感兴趣区域图像操作，如图1所示。首先，点击search按键，找到需要进行感兴趣区域标定的图像，点击crop按键；其次，可用鼠标框选出用户感兴趣的人脸区域；最后，可以点击save按键，将得到的ROI图像区域保存到合适的路径下。

图1 感兴趣图像区域选取

3.3 特征点匹配

为实现图像融合，必要步骤是完成两幅图像的特征点匹配。在本文主要采用SURF算法完成人脸周边邻域的特征点检测，SURF执行效率较高，其结果可有效简化后续工作过程，并且减少人脸图像融合的处理时间，增加精度。

SURF算法具体实现为把两幅人脸图像上传后，先读取图像，再把RGB图像变成灰色图像，经过特征点检测、特征点定位、方向定位和特征描述子等步骤，实现了两幅图像的特征点匹配，并将匹配结果保存，作为图像融合的工作基础。

3.4 图像融合

实现图像融合是通过对泊松算法的改良算法来完成。利用获取的图像匹配数据，通过泊松算法，将输入图像3中部分用户选择的ROI区域图像无缝融合进图像2。有缺陷图像a、图像b以及图像最终融合结果分别如图2-4所示。

在图2中，右侧的两个人像笑容自然，面部特征正常，但图像中左侧位置1的人像，面部没有笑容，对于用户本人而言，主观对此结果不满意；同时，在图3中，中间人像缺乏笑容，其余人脸情况用户主观满意。因此，在交互式合成方法中，可依据前述ROI感兴趣区域选取区域算法手工选取输入图像3中最左侧人脸作为合成对象，最终融合得到图4所示融合结果图像。

图4 最终融合结果

4 实验结果及讨论

(1)在得到效果图后，为了检验融合的效果，得到融合后的效果图后，邀请无关人群对融合最终效果图进行主观评定，大部分人表示对图4合成效果较好。可见，本文所设计的方法能够完成合成工作，能满足普通用户对瑕疵图像的处理的基本需求。

(2)对图像融合结果进行讨论，截取了融合结果如图4所示的部分处理区域，如图5左边所示；其细节放大的示意如图5右边所示，其中，在头发c，d两处出现了错位和模糊的情况。可见，处理结果中，仍然存在特征点匹配错误的情况。

图5 部分处理结果(左)及细节放大示意(右)

5 结语

为处理在相似场景下获得的两幅照片中诸如未展现笑容或者闭眼等细微瑕疵，本文通过用户参与简单交互来获取人脸信息及感兴趣区域，进行特征点匹配后，最终完成了图像融合。在今后的工作中，对于如何优化特征点匹配算法，获得更好的图像融合效果，将是研究的重点。