时间:2024-05-19
胡能发
(韩山师范学院计算机与信息工程学院,广东 潮州521041)
在现代高科技的背景下,大数据应运而生,已经深刻地影响到社会的各个方面,其重要性不言而喻。但随着大数据的广泛应用,不仅表现出了众多的优点,但同时也出现了许多问题。
大数据与云计算深度融合,已经成为许多企业非常重要的资源,在移动互联网、物联网、人工智能等领域,实现了许多理论与技术上的突破。随着企业的不断发展,其规模与业务领域的扩展,多元化的企业经管理,大数据对企业的决策具有无法替代的作用。但是,随着大数据的不断壮大与广泛应用,数据的安全性问题也越来越突出,尤其是数据采集的合法性与数据泄露问题更为严重,此外,数据来源复杂,数据本身的属性更复杂,数据之间的相互关联更复杂,这必然造成了数据共享的困难,而如何保障数据的有效共享及其在应用过程中的安全性与完整性,是人们必须面对的现实问题。
现有的基于同构信息网的信息交换的平台众多,技术也相对成熟,但企业之间情况复杂,异构数据非常普遍,因此,如何有效地在大规模异构信息网络中进行信息共享,建立一个基于大数据的公共数据交换平台,很有必要。
系统架构模型主要功能为:
(1)数据传输与接收,数据来源分为两种,一种来自系统内部,另一种来自外部,两部分数据可以由平台进行发送与接收入处理。
(2)业务接口,各种数据需要分析、分离与集成,以便进行数据交换。
(3)控制管理,包括数据安全处理、数据共享、数据交换与日志生成等。
(4)扩展性,由于企业之间业务变动较频繁,系统必须后备足够的冗余度,确保系统可扩展,对未来可能出的现新型数据类型,具有灵活的处理能力。此外,在设计过程中必须保证数据的完整性、一致性与安全性。由于不同业务之间的数据源存在着语义上的区别,业务集成与数据整合时,应根据一定的数据转换模式和规则,进行统一数据结构和字段语义编码转换。由于各企业业务系统有着自己的业务数据系统,有自己的用户权限管理模式,因此要实现对数据源访问权限的隔离和控制。其总体结构如图1所示。
图1 数据整合总体结构
由于数据来属性复杂,从中挖掘出适应于企业的有价值的信息,一种行之有交的算法是智能算法,即半监督机器学习算法。这种智能算法对训练样本的数量要求不高,即使只有少量的样本,也能得到相对理想的结果,在行异构信息网络环境下,进行数据挖掘的最佳手段。
云计算是一种分布式计算模型,可以将众多计算机组成一个分布式并行处理系统,使各种应用系统能够共同完成任务,实现云计算、云存储等。
数据共享问题一直是企业数据应用的核心,1998年2月,3C组织于制定的一种通用语言规范XML,非常适用于不同企业之间的数据交换,而且它的可靠性高,目前几乎所有数据库管理系统及应用软件,都对它提供了良好的支持,这种通用语言规范XML,互操作性好,方便在各种异构平台与异构数据之间作为中间桥梁,进行数据的传输与交互。
平台的设计采用了VS.NET。由于VS.NET具有全方位、多语言、跨平台、跨设备的优点,因此它所开发的应用程序,几乎适应所有设备,而且由于开发工具完全采用软件工程规范,开发效率高,成其是其界面开发的可视化,使得应用程序开了周期大大缩短,错误率低,应此,使得平台安全性得到了提高。VS.NET提供了对数据库的有力支持,其ADO.NET控件可以非常方便地与数据库建立链接,通过SQL存储过程实对应用软件进行保密通信,从而实现了数据的安全性、一致性与完整性。
大数据与云计算在应用中产生,在应用中发展,促进了许多技术的进步。在具体的设计过程中,应用程序不轻易使用单独的SQL语句命令,发出多个SQL请求,而是将大量语句集成在存储过程中,由存储过程进行安全验证,统一调用,从而降低了网络流量,提高了数据安全性。面向大数据的异构信息安全交换平台,着重解决以下几个问题。
(1)设计安全系统的整体框架;
(2)设计和实现了用户管理及身份认证系统;
(3)设计和实现了用户权限管理和授权系统;
(4)设计客户端身份的认证和授权;
(5)设计和实现了对数据的完整性和安全性;
(6)设计和实现了存储过程的安全保护;
(7)通过存储过程实现提高了网络传输能力与安全性。
我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!