SP 上行空号异常行为监测及预警的方法与系统

［凌俊 匡文生 李文涛 卢栋生 王育飞 梁迅］

1 研究背景

网络技术的不断发展，给人们的生活和工作带来了极大的便利。但另一方面，网络诈骗手段层出不穷，带来了很大危害。例如，不法分子利用违规空号码上行发送短消息，用于进行非法账号注册、拦截验证码、获取合法账号信息等网络诈骗行为，不仅造成用户信息泄露，金钱损失，还对企业形象造成不可逆的伤害，因此形成一套高效可靠的监测方法与系统势在必行。

目前行业内针对信息安全的防护大多是基于上网数据流量来进行端口或终端的监测，尚未有针对单个号码的拦截及监测。但是不法分子利用空号码进行违规账户使用确是存在的事实，因此本文提出一种针对SP 上行空号异常注册行为监测方法与系统，对维护网络信息安全起到了最后一公里监测及拦截作用，是非常行之有效的手段与措施，能高效预警违规行为，同时实现监测维护的快速响应。

2 研究方法

本文基于shell_awk 编译自动化处理海量数据变换及数据清洗的号码异常行为监测方法，提出了将网关SP 号码上行话单数据库和标准H 码库相结合的方式，每天定时备份网关SP 上行话单原始文件至指定目录，制定关键字段利用awk 编译逐行扫描文件，从第一行到最后一行直至寻找出匹配特定字段模式的行，运行结束后从指定目录中自动导出比对话单文件，同时截取话单文件与标准H 码库的号码前7 位进行全量自动比对得出异常号码清单，在网关系统对异常号码进行预警或拦截，同时将号码清单与话单文件的SP 号码进行匹配，对相应SP 号码进行监测和预警，最终制定出网关SP 上行空号异常注册行为监测一套自动化处理系统。当上行空号异常注册时，依靠此方法能高效快速的进行监测和预警，从而维护用户信息安全和防范网络诈骗。

3 技术方案

3.1 方案简介

本文提出基于shell_awk 编译自动化处理海量数据变换及数据清洗的号码异常行为监测方法，在考虑了服务器话单源文件实时备份、提取上行话单原始文件合规性保留3 个月、AWK 编译自动处理海量数据的同时，由于H 码标准库的号码位长有7 位和9 位，手机号码标准位长为11位，因此还考虑了全量数据处理的完整性，将手机号码和H 码均截取前7 位进行数据清洗，以达到全量监测的目的。此外还考虑到数据实时更新和程序迭代的有效性，采取时间序列差异性数据处理的方式，当天上行比对话单文件处理完成后动态删除前一天上行原始话单数据，以此优化数据优化的软件流畅特性，进一步挖掘了针对清单号码的预警、监测及拦截的内在关联。

3.2 关键功能模块

服务器话单源文件实时备份。提取上行话单原始文件合规性保留3 个月，由于H 码标准库的号码位长有7 位和9 位，手机号码标准位长为11 位，为保持全量数据处理的完整性，将手机号码和H 码均截取前7 位利用AWK 编译自动处理进行海量数据清洗，以达到全量监测的目的。

时间序列差异性数据处理。当天上行比对话单文件处理完成后动态删除前一天上行原始话单数据，以此优化数据优化的软件流畅特性，确保海量数据合理性处理和程序设计对网关系统针对清单号码的预警、监测及拦截的高效可靠。

自动查询清单功能。若清单为空则上行号码码监测无异常，若清单不为空则将清单号码利用shell 脚本自动与上行话单文件逐条比对，导出用户号码和SP 号码信息送至网关预警、监测和拦截功能模块，针对移动号码进行预警或拦截，针对行业SP 号码则进行监测和预警。

3.3 技术方案详解

方案系统图如图1 所示，结合系统设计进行处理说明。

图1 系统方案图

首先，登陆网关SP 话单数据库服务器，例行检查服务器运行状态正常，为后续数据提取做好基础准备。

其次，将话单原始文件全部备份到指定目录，在此过程中跟进指定目前设定的备份shell 脚本，每天9:00 自动进行数据备份，处理过程不对数据做任何处理，保留数据的原始有效性和完整性，同时提取网关SP 上行话单的原始数据。文件类别设置说明如表1 所示。

表1 文件类别说明

然后，设置上行话单提取关键字段：用户号码、日期时间、目的SP 账号，根据关键字段模式设置，利用shell_awk 编译逐行扫描文件，寻找出匹配特定字段模式的行，自动导出比对话单文件。接下来，查询指定目录是否已存在比对话单文件，若没有则重复执行上面步骤直至话单文件正常存在。

接着，对话单文件和H 码进行数据处理。首先提取话单的号码清单生成清单文件，其次将号码截取前7 位生成比对号码清单，同时将H 码标准库中的号码同样截取前7 位生成比对H 码清单。

最后，将比对号码清单和H 码比对清单进行数据去重复操作得到比对结果清单，设置自动查询清单功能，若清单为空则上行空号码监测无异常，若清单不为空则将清单号码利用shell 脚本自动与上行话单文件逐条比对，导出用户号码和SP 号码信息送至网关预警、监测和拦截功能模块，针对移动号码进行预警或拦截，针对行业SP 号码则进行监测和预警。同时，考虑到系统运行的流畅性和程序设计的饱和性，在导出号码比对结果清单后，自动删除前一天上行原始话单文件，后续按软件运行框架继续每天自动进行上行号码异常行为实时监测功能。

4 可行性分析

本文提出基于shell_awk 编译自动化处理海量数据变换及数据清洗的号码异常行为监测方法，每天定时备份网关SP 上行话单原始文件至指定目录，制定关键字段利用awk 编译逐行扫描文件，从第一行到最后一行直至寻找出匹配特定字段模式的行，运行结束后从指定目录中自动导出比对话单文件。利用shell_awk 编译程序自动化处理海量数据，并将结果实时报送给网关监测系统，不仅实现了将现存业务数据与云网信息安全维护实时动态相结合的网络技术安全监测模式，更是丰富了传统仅基于IP 地址和上网流量数据包进行用户行为异常接入判断的常规方式，实现了网关SP 上行业务针对单个号码行为监测的自动化处理。

针对原始文件处理可能会出现执行失败和不完整的问题，本文提出了话单文件扫描和数据动态校验的方式，以确保文件处理的可靠性。数据的处理均采用shell 脚本自动执行，减少了人工干预，充分实现了海量数据处理智能化的处理理念，该方法与系统为处理单个号码注册行为异常提供了参考方向，促进了后台系统与前端业务相统一的网信安全监测新模式发展。

此外，本文亦从号码比对完整性角度考虑，提出了利用H 码标准库来进行全量号码核查。H 码标准库包括了现行所有可以使用的移动号段（包括物联网类），由于号码位长不同，采取最小位长号进行全量比对的方式，通过对数据的标准化处理，实现了大数据处理的标准化和高效的自动化。

最后，本文将后台数据库与网关监测维护系统有机相结合，进行全流程自动化操作，经测试验证程序可行，系统框架设计合理，与维护平台接口运行稳定，极大提升了网络安全维护的效率。

5 验证分析

针对该方法和系统，在现行网络下进行实时监测。下面以2022 年1 月份为例进行验证分析。

（1）将源话单压缩备份到备份服务器GDSms-Bak 的/05.bill 目录下，每天一个压缩文件，其中部分文件如下。

38544084 2022-01-02 08:33 20220101.tar.z

36504771 2022-01-03 08:33 20220102.tar.z

（2）1 月2 日上午九点半的定时任务，执行/05.bill/deal下的脚本，将/05.bill下“20220101.tar.z”文件拷贝到/05.bill/deal下，解压缩“20220101.tar.z”得到前一天所有话单。同时把所有用户到SP 上行话单的用户号码、日期时间、目的SP 代码取出来写到“20220101.txt”文件，部分内容如下所示：

133****2466 202201012351 10659*****20000

189****8188 202201012353 1065******12000

191****2134 202201012354 106*******6138

180****8871 202201012358 106********0020

（3）将/05.bill/deal 的“20220101.txt”文件中的所有号码取出来生成文件“20220101all.hm.txt”，取前7 位号码生成比对号码清单“20220101 前7 位.hm.txt”，与H码标准库前7 位“H 码前7 位.txt”进行自动比对将结果保存为“20220101.ho.txt”；

（4）查看比对结果文件，查看监测结果正常，未发现有异常空号码。如下所示：

0 2022-01-01 09:30

（5）删除/05.bill/deal下的“20220101上行话单.txt”，系统正常执行20220102 号码监测。

根据以上结果可知，该系统运行正常，能够正常监测日常号码接入情况，实例证实该方法与系统在现网运行中高效可靠，具有很好的可行性。

6 总结

本文提出基于shell_awk 编译自动化处理海量数据变换及数据清洗的号码异常接入监测方法，并设计自动化处理系统方案。本文亦提出将后台数据库与网关监测维护系统有机相结合的方法，进行全流程自动化操作。系统框架设计合理，与维护平台接口运行稳定，经验证该方法可行有效，实现了将现存业务数据与云网信息安全维护实时动态相结合，提升了网络技术安全监测水平。