大数据在联通互联网维护中的应用探讨

刘志金

摘要：本文针对大数据在联通互联网维护中的应用展开研究分析，采取针对性的服务措施，提高大数据在联通互联网维护中应用的有效性，为用户提供高质量的网络服务，为联通的持续稳定发展打下良好的基础。

关键词：大数据；联通；互联网

中图分类号：TP393.06 文献标识码：A 文章编号：1007-9416（2018）02-0039-01

大数据时代，存在海量的数据信息，企业数据处理效率直接关系到企业的生存和发展。百度、京东等互联网企业针对用户进行了大量大数据方面的研究，以此为基础，不断更新自身的搜索、支付、购物以及游戏等方面的业务，不断为用户营造新的体验。电信运营企业在从以往的电信网络运营商向着信息运营商发展的过程中，通过大数据方式实现对用户数据的共享、分析和挖掘，已经成为当前全球电信运营商发展的一种共识。联通作为其中重要的一员，其自身互联网用户数量越来越多，宽带业务类型逐渐丰富，当前企业支撑系统中包含有大量的数据信息，比如DNS业务数据客户AAA认证等，因此必须要做好大数据在联通互联网维护中的应用，本文就此展开了研究分析。

1 研究背景

互联网时代，大数据已经成为人们研究和应用的热点，比如搜索引擎的设计和开发方面，从海量数据中迅速找到所需要的数据信息有着非常大的难度，利用大数据分析技术，能够借助智能化模型，通过贝叶斯理论等大数据分析方式，对所需要浏览的信息快速定位。当前大数据技术在金融证券、电子商务、智能制造等方面有着非常广泛的应用，应用在联通互联网维护中，同样有着非常好的应用价值和效果[1]。

1.1 DNS系统和AAAA系统数据现状

（1）DNS系统数据现状。对某地区联通DNS服务器用户DNS服务器请求QPS分析发现，平均数1.4万条，结合当前DNS节点进行台内DNS服务器估算，每月约所沉积服务请求历史数据大约有290亿条。（2）AAA系统数据现状。在AAA系统日志中，有大量沉积数据，选择其中“用户登录记录数”项查询，单月“用户登录记录”系统日志条目有6437万条，结合AAA系统日志请求属性记录估算，每月沉淀的相关服务日志数据高达50亿条。

分析某地连通现有AAA系统以及DNS系统所沉淀服务日志信息分析发现，在系统内存方面的日志条数单位达到“亿条”，使用原始分析方法，利用数据库进行数据的分析，会大量占用系统计算资源。另外，在网服状态下分析服务器数据库，非常容易导致整个服务器崩溃。必须要将大数据分析方式引入实际的数据分析中，提高数据分析有效性[2]。

1.2 Hadoop系统原理

Hadoop系统包含有两个主要组成部分，分别是分布式文件系统（HDFS）和Map Reduce处理模型。与传统RDBMS处理模型相比，Map Reduce处理模型有着以下几个方面的优势：

（1）处理数据大。传统RDBMS处理数据单位为GB级，Map Reduce处理数据单位可以达到TB/PB级；（2）在访问形式方面。传统RDBMS为交互式和脚本，Map Reduce为批处理脚本；第（3）在数据更新频率方面。Map Reduce低于传统RDBMS；（4）在数据结构模式方面。传统RDBMS为静态模式，Map Reduce为动态模式；（5）在数据完整性方面。传统RDBMS对数据完整性有非常高的要求，Map Reduce对数据完整性的要求则相对较低；（6）在横向扩展能力方面。Map Reduce横向扩展能力高，传统RDBMS横向扩展能力低。也就是说，与传统的关系数据库系统相比，在大数据分析方面，Map Reduce的应用效果更好。另外，Map Reduce在半结构化数据方面有着非常强的处理能力，更加方便处理服务器所产生的日志记录。HDFS在数据处理方面选择分布式计算方法，对一个任务分割，借助调度方法将任务分布到多臺实体主机，展开计算，结果汇总后再计算，最后输出结果。

2 使用大数据方式分析DNS系统和AAA系统日志

2.1 利用大数据分析DNS的query日志数据

DNS日志记录中包含有请求日期、请求时间、请求用户IP、请求url地质、请求记录类型等方面信息，其中请求时间、用户IP、URL地址为有用信息。针对query日志数据中IP地址，选择hadoop系统分析，发现前20位发现正常情况下单个IP在日志块QPS在1000内，当日志块中单个IP的QPS与正常值之间存在有过大差异时，则表明DNS系统包含有异常请求，借助统计分析方式，能够及时找到异常请求。进一步分析URL，能够判断出该用户IP是否属于恶意。当判断结果为恶意请求时，借助黑白名单限制方式拒绝再次接受该IP请求，使DNS系统安全性和稳定性得到保证[3]。

通过Hadoop系统分析Query日志url请求数据，可以建立一个专门的模型，针对日常访问较多网站解析，建立日常URL请求分析比对机制，提高DNS在异常请求方面自动监控和过滤有效性。Hadoop系统本身有着非常好的扩展性，能够以此为基础构建实时监控过滤系统，过滤异常URL请求，使DNS服务器处理效率得到显著地提高，降低DNS在用户请求方面的延时速度，使用户有一个更好的网络体验。

2.2 利用大数据分析AAA系统“用户登录记录”日志记录

AAA系统中“用户登录记录”有两个日志文件，通过对日志文件的分析可以获取当前在线用户的IP地址信息、地理位置、用户名、上线时间、下线时间等。分析每日宽带使用用户数，可以判断出平均在