智慧校园中基于人脸特征身份认证的隐私保护研究

◆张晓惠 刘畅 杨雄 洪成龙

智慧校园中基于人脸特征身份认证的隐私保护研究

◆张晓惠1，2刘畅1杨雄1通讯作者洪成龙1

（1.福州大学至诚学院 计算机工程系 福建 350002；2. 福州职业技术学院 阿里巴巴大数据学院 福建 350108）

在已有的智慧校园人脸认证系统中，所有用户人脸特征的存储和相似度计算都是基于明文进行的，存在敏感数据泄露的风险。针对该问题，提出了一种基于向量加密的隐私保护和高效的人脸认证方案。方案中用户的人脸特征均以加密向量存储，认证服务器基于加密向量计算人脸特征间的相似度。该方案在保证原生算法人脸认证精度的同时，有效保护了用户的人脸敏感信息。进一步探索了一种批处理方法，提高了基于加密向量的余弦相似度的效率。仿真测试基于人脸基准数据库（LFW），其结果验证了该方案的可行性和高效性，能够满足智慧校园中人脸认证的性能需求。

人脸特征；隐私保护；批处理

1 引言

在校园中，应用人脸识别技术可提升校园管理的自动化水平，降低校园管理成本和加强安全防范等，对于智慧校园的建设具有重要的意义[1]。但由于人脸信息是惟一且终身不变的，尤其当人脸信息与用户身份绑定时，其人脸信息一旦泄露，就可能导致与人脸信息绑定的学生或教工的隐私被暴露，因此在智慧校园中人脸特征数据的安全性至关重要，而学校对网络信息安全的要求更是严格，提升安全保障能力一直是智慧校园建设的重点。目前，现有的人脸识别技术多基于卷积神经网络模型，虽然人脸识别系统的人脸识别准确率不断提升，但它们对系统中人脸特征的保护甚少[2]。若将用户的人脸特征直接以明文表示，那存储于数据库中的人脸特征和用户注册与身份认证过程中网络传输的人脸特征一旦泄漏，会严重影响注册用户的隐私和认证系统的安全性，所以对于人脸识别系统最直接的攻击就是明文形式的人脸特征。随着对信息安全和隐私保护要求的不断提升，针对现有人脸识别系统设计一种安全的人脸特征保护方案则显得尤其重要。

为解决上述问题，本文基于全同态加密技术[3]对人脸特征向量进行加密，并构造了密文环境下人脸特征相似度的匹配算法，并在此基础上设计了一种隐私保护的高效人脸认证方案。该方案不仅保证了原生人脸认证方案准确率，还保证用户的人脸特征信息在身份认证过程中不被泄漏。进一步，设计了人脸认证的仿真实验，验证了该方案的可行性和高效性，能够满足实际场景的应用需求。

2 基于向量加密的人脸认证方案设计

全同态加密方案保证了数据处理服务器在计算人脸相似度时无法知晓所处理人脸特征的明文信息，可以直接对数据的密文进行相应的计算，由此用户的人脸特征信息可以得到相应的安全保障。数据处理服务器计算出加密人脸特征间的余弦值后，把结果返回。在整个计算过程中，数据处理服务器仅仅得到加密后的人脸特征向量数据，而对于人脸特征向量数据的明文，其并不知晓，因此就不存在人脸特征信息泄漏的风险。

本文所设计方案的系统模型主要有用户端设备和身份认证服务器。用户端设备采集用户的人脸信息并生成相应的人脸特征向量，并对人脸特征向量加密等预处理操作。认证服务器由计算集群组成，负责对用户的身份进行认证。

系统初始化完成后，用户端设备对提取的人脸特征信息加密后和用户身份标识一起在认证服务器进行注册，将人脸特征密文和用户身份进行绑定。在人脸特征数据库中存储着用户的身份标识和人脸特征密文。在进行用户的身份认证时，用户端设备采集的人脸特征密文作为身份认证凭据发送给认证服务器进行身份认证请求。认证服务器根据人脸相似度算法计算数据库中已有的人脸特征密文和身份认证凭证之间的余弦相似度，并判断相似度和系统阈值之间的关系，以实现对用户的身份认证。

在进行身份认证时，需要将身份认证凭证与数据库的存储的人脸特征向量进行余弦相似度的计算，计算结果即为人脸特征向量间的相似程度。在人脸特征向量未加密的情况下，假设身份认证凭证的特征向量为，数据库中待计算的某个人脸特征向量为，将和之间的余弦相似度定义为cos（，），那么cos（，）为：

为了简化计算，在进行身份认证的时候其身份认证凭证除了包含人脸特征密文外，还包含了人脸特征长度。因此，余弦相似度计算公式可简化为：

2.1 用户身份认证过程

在身份认证阶段，通过以下步骤完成用户的身份认证：

（2）计算待认证用户的人脸特征的向量长度‖‖，同样使用发布的公钥_对人脸特征向量进行加密，将人脸特征向量密文（）和向量长度‖‖共同作为用户的身份认证凭证发送给认证服务器；

（3）认证服务器中的计算集群通过身份认证凭证中的向量长度‖‖和向量密文（）计算待认证用户与数据库中的已有加密人脸特征（）和向量长度‖‖之间的相异度cos（（），（））；

具体的用户身份认证过程如图1所示。

图1 用户身份认证过程

2.2 系统测试

在系统仿真测试中，通过SphereFace算法提取出人脸基准数据集（LFW）中所有人脸的512维特征向量后，将加密与未加密人脸特征向量余弦相似度的计算结果进行对比，加密后的人脸特征的余弦相似度值在计算精度1e-7的前提下能够达到未加密人脸特征的水准，说明该方案能够保持原生SphereFace算法的人脸识别准确率。

分别计算全同态计算过程中向量加密、加密向量间的余弦相似度计算和结果向量密文解密的具体用时情况，并与未加密情况进行对比可知，在注册过程中的512维人脸特征加密的平均用时为1780 us。

在身份认证过程中，两个512维的人脸特征向量密文余弦相似度的同态计算平均耗时为10267 us，计算结果密文的解密平均耗时为401 us。

在未加密情况下，两个512维的明文人脸特征进行向量余弦相似度计算，两个明文人脸特征向量相似度计算的平均用时为1487 us。

综上，在全同态加密的仿真实验环境中，两个人脸特征密文的余弦相似度计算的总用时比未加密情况下多花费10961 us，仅仅增加了大约11 ms，所需要的计算时间在可接受的范围内，因此对人脸特征密文进行全同态计算的效率是能够满足实际应用需求的。

3 结束语

随着智慧校园中人脸识别的快速应用，用户人脸特征的安全保护已成为智慧校园中网络信息重点关注的领域。本文探讨了基于神经网络模型使用全同态加密来保护人脸特征的可行性，并在加密域中对人脸相似度计算进行优化，利用基于中国剩余定理的批处理技术，实现了O（logn）的计算时间复杂度，提高了在加密域中人脸匹配的效率。本文设计的隐私保护的高效人脸认证方案，既达到了保护用户人脸特征的安全目标和保持原生人脸识别算法的准确率目标，也满足了实际应用的性能需求。

[1]李昕昕，赵春，严张凌.基于云端人脸识别技术的智慧课堂框架研究[J].实验技术与管理，2020，37（06）：172-175.

[2]李明，杨晓鹏，朱辉，等.高效的隐私保护在线人脸认证方案[J].通信学报，2020，41（05）：205-214.

[3]Gentry C，Halevi S，Smart N P . Fully Homomorphic Encryption with Polylog Overhead[C]// Annual International Conference on the Theory and Applications of Cryptographic Techniques. The International Association for Cryptologic Research. Washington DC：Springer，2012：465-482.

[4]Weiyang Liu，Yandong Wen，Zhiding Yu，et al. SphereFace：Deep Hypersphere Embedding for Face Recognition[C]//Computer Vision and Pattern Recognition.Hawaii：IEEE，2015：6738-6746.

2019年福建省教育厅青年基金项目（JAT191098）；2019年福建省教育厅青年基金项目（JAT191109）；福州大学至诚学院2021年省级大学生创新创业训练计划项目（云计算环境下全同态加密的人脸信息保护系统：S202113470007）；福州大学至诚学院2020年国家级大学生创新创业训练计划项目（基于微信小程序的至诚学院智能查寝系统：202013470004）