大数据时代广电数据中心研究与设计

孟令红

（河北广播电视台 河北省石家庄市 050031）

1 引言

随着5G通信技术、光纤通信技术的快速发展，广电作为一个大型的电视节目运营商，已经开始为用户提供高清晰度及4K 超高清晰度视频服务，大大的丰富了人们娱乐文化生活。据工信部统计，目前我国电视用户高达1.3 亿，每年拍摄和录制的广播电视节目数亿小时，为人们提供了电视剧、电影、综艺、体育、文化、新闻、农业、军事等各领域的视频内容，具有重要的作用和意义[1]。广播电视数据中心的存储容量大、访问用户多，因此为了提高这些数据资源的服务能力，需要引入更加先进的数据服务技术，包括云计算、大数据和MapReduce 等技术，进一步提高广电数据中心的并发性、容错性、健壮性和可移植性，具有重要的作用和意义。

2 大数据时代广电数据中心功能研究

大数据时代广电数据中心的功能需要满足幼儿、少年、青年、老年等多种年龄阶段收看者的需求，利用“互联网+”为用户提供一个高清晰视频、多终端接入、多业务综合等信息服务。广电数据中心的各个对外业务都可以使用多个类型的终端接入，比如手机、平板电脑、PC 电脑等，因此广电数据中心建设需要提供一个多终端、并发接入需求，可以采用云计算技术，该技术能够为用户提供强大的操作接口，具有重要的作用[2]。本文通过对广电数据中心进行调研，结合新时期的应用需求，建模了平台的主要功能，包括资源的交流互动、资源分享、资源推送、直播点播服务等功能[3]。

2.1 资源推送功能

平台可以利用人工智能技术从海量的视频资源中挖掘潜在的、有价值的、满足实际应用需求的资源，将这些资源推荐给不同年龄段用户，满足用户的实际需求。同时，资源推送还可以记录推荐历史，以便能够帮助用户分析兴趣爱好，比如可以根据学龄儿童的年龄段和学习阶段定制课程。资源推送过程中引入了人工智能技术，可以实现用户兴趣的分析、浏览历史的分析等，基于大数据分析和模式识别，从海量的视频资源中，挖掘用户潜在的视频内容需求，实现视频资源智能化的推荐，为用户精准推送视频内容。

2.2 交流互动功能

广电数据中心可以引入微信平台、QQ 平台等，能够为用户提供一个沟通和交流的功能，将具有相同爱好或兴趣的用户划分到一个组，探讨娱乐生活过程中遇到的问题，同时可以增加电视剧、电影、综艺、纪录片等节目推广程度。

2.3 资源分享功能

广电数据中心构建了一个社交网络，使用微信、QQ、微博等构建朋友圈，在朋友圈中推广视频资源，还可以访问其他视频资源，比如爱奇艺、腾讯等平台，利用第三方平台的视频资源提升广电数据中心节目容量，并且可以利用微信进行视频内容分享以及节目直播，提供一个友好的视频资源分享功能。

2.4 直播点播服务

广电数据中心可以为用户提供直播和点播服务，构建一个直播平台，可以在线实时观看各种电视节目。视频点播能够为用户提供一个在线点播服务，平台定期发布视频资源，用户可以根据自己的需求选择是否点播，如果选择之后，用户进入视频进行观看。

3 大数据时代广电数据中心设计

3.1 广电数据中心架构设计

广电数据中心架构采用先进的云计算架构，该架构可以将数据中心划分为三个层次，分别是基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS），每一个层次之间都是用虚拟化技术，包括软件虚拟化和硬件虚拟化，广电数据中心采用虚拟化技术多属于硬件虚拟化技术，能够引入轮转方法、分片方法和多任务操作处理方法进行操作，实现对存储空间、CPU、通信带宽的资源池化，进一步提高计算机硬件设备的共享服务能力。虚拟化可以共享和扩展物理存储空间，确保多用户共享CPU 或通信带宽资源，基于按需服务机制实现大数据平台操作，实现基础设施即服务，这样就可以提高云计算的并发性，实现数以亿计的用户并发访问平台。

3.1.1 MapReduce技术

MapReduce 可以为广电数据中心提供并行处理的计算模型，更适用于集群平台高性能计算，允许数以亿计的节点进行分布式集群，可以实现分布式操作服务。MapReduce 提供一个庞大的、设计精良的并行计算软件，自动化地完成计算任务，分配大数据存储空间资源，实现数据分布存储、通信和容错处理。MapReduce 能够提供一个简单的、便捷的程序设计方法，更有利于程序员进行编程和处理。MapReduce 能够处理海量的半结构化数据，利用并行的结构解决特定的、复杂的数据处理问题，比如在一个关系数据库中，其可以使用SQL 语言执行数据插入、查询、修改和删除操作，还可以使用传统的C++语言、Java 语言等解决这个问题，实现数据库操作语言与传统程序语言的有效结合，实现一个功能更加强的数据处理功能。

3.1.2 数据迁移技术

数据迁移技术可以采用优先级算法，把光纤阵列存储单元划分为不同的优先级，从高到低进行排序，优先级较高的存储访问频次较多的数据，优先级较低的存储访问频次较少的数据。首先，广电数据中心的数据访问频次不同，因此可以设置一个计数器，每访问一次计数器就增加1，这样计数器数值越高，表示数据访问的次数越多，因此为了提高这些数据的访问效率，可以将其转移到优先级较高的位置。同时，数据迁移需要与Cache 调度算法进行集成，可以确保Cache 满负荷运载，因此可以提高广电数据中心存储平台应用效率。

3.2 广电数据中心业务处理流程设计

广电数据中心为用户提供一个并发接入功能，实现数据存储和智能化迁移服务，为幼儿、少年、青年、中年和老年等不同年龄的群体提供视频共享服务[4]。广电数据中心还可以实现数据存储、传输和共享功能，同时还可以根据数据访问频次设置优先级，提高对数据的访问效率。广电数据中心实现存储资源的并发响应操作功能，业务处理流程如图1所示。

广电数据中心的业务处理流程包括四个步骤，分别是设置平台操作系统、构建Hadoop 集群、数据整合和预处理、数据存储，进一步提高了视频大数据应用效能。

3.2.1 设置平台操作系统

广电数据中心面临的数据资源非常多，为了提高对这些视频、文本、图像等数据资源的组织管理效率，需要使用与之匹配的操作系统，本文选择RedHat 作为操作系统，尽可能地实现大数据的优先级访问、热点数据存储，管理大数据的物理存储空间，实现对资源的调度和分配。广电数据中心RedHat 可以为不同的用户群体提供一个界面化操作模式，同时该系统可以加强各个资源的组成，进一步提高数据服务的性能，比如可以为用户提供一个集群的操作系统，该系统能够加强不同客户之间的信息共享功能和交流沟通功能。

3.2.2 构建Hadoop 集群

Hadoop 是一个软件平台，其可以运行广电数据中心视频、文本、图像等处理软件，最核心的技术为MapReduce，能够将大量的计算机组成一个集群，实现海量数据分布式计算。Hadoop 吸引了很多商业公司研发和设计，已经构建了各种开源组件，包括Sqoop、Hbase 和Spark 等。Hadoop 包括很多的组成元素，最底层的组成元素就是Hadoop Distributed File System（HDFS），其可以Hadoop 集群平台中的所有存储节点文件，HDFS 的上一层就是一个MapReduce 引擎，这个引擎包括两个组成部分，分别是JobTrackers和TaskTrackers，利用Hadoop 可以实现数据处理和操作，进一步满足分布式数据操作。本文数据存储平台采用Hadoop 集群平台，可以满足数以千计的用户同时访问广电数据中心数据存储平台的需求，还可以针对视频点播软件、直播服务软件、信息资源服务系统、广电交互接口系统、系统管理系统等软件进行集成，为用户提供一个集成化的操作界面。

3.2.3 数据整合和预处理

广电数据中心保存的资源非常多，比如文件日志、关系数据、对象数据等，这些有结构性数据也有非结构性数据，因此在把数据整合在一起时需要进行预处理，以便能够利用企业服务总线进行通信传输，提高数据的一致性和可靠性。数据预处理可以利用Impala、SparkSQL 和HiveSQL 等工具。本文选择使用HiveSQL 作为数据整合软件，该软件能够实现大规模的信息加工，进一步加强对广电数据中心数据资源的管控。

图1：广电数据中心平台

3.2.4 数据存储

广电数据中心最重要的功能就是存储。数据存储可利用HBase和Kudu 等存储管理工具，建立一个生态存储圈，不断地提高大数据平台的存储和管理水平，还可以降低访问延迟，提高数据分析能力。目前，广电数据中心还引入了更加先进的数据库，比如Oracle数据仓库，数据仓库不仅可以实现普通数据的处理功能，还具有数据智能分析、优先级存储等功能，一旦某一个数据对象访问频次上升，就可以为这些数据赋予较高的优先级，将其转移到高速缓存中，提高用户的访问效率。

4 结束语

随着移动通信、光纤通信、大数据、云计算等技术的快速发展，人们已经进入到了大数据时代，开发了许多的应用软件，比如金融银行、物流仓储、电力通信、政务办公、医疗教育等。广电数据中心是一个集成化的信息服务系统，其可以实现丰富的视频服务功能，根据用户的需求实现资源内容的推荐、分发，及时的将用户关注的信息分发到位。广电数据中心采用软件工程技术、多媒体技术、网络通信技术等，还可以为不同兴趣爱好的用户提供在线直播、视频点播、视频回放等功能。广电数据中心还是一个大型的学习资源数据库，其可以查询各类型的学习资源，平台可以超越时空限制，没有时间和空间的限制，随时随地都可以登录到广电数据中心学习。