基于大数据时代下软件工程技术的应用探析

吕盟 同方知网数字出版技术股份有限公司

引言

大数据（big data）是描述大量数据的一种术语，其中包括结构化数据和非结构化数据，覆盖了大量的业务。运用大数据技术，可以从各种类型的数据中快速获得有价值信息，其意义不仅仅是对数据量的管理，更重要的是对重要数据的处理方式，可以洞察分析大数据，从而获得更好的决策和战略性业务变动。

随着对大数据技术的不断探索和完善，目前在大数据领域已经涌现出了大量新的技术，成为大数据采集、存储、处理和呈现的有力武器。

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用等，其中应用又包括：大数据检索、大数据可视化、大数据安全。

一、大数据时代下，计算机行业的发展

大数据时代的来临，对计算机行业的发展产生了巨大影响，数据处理技术翻天覆地的变化，催生了人们思维的变革：从依靠随机部分数据样本，到利用全体数据；从过分追求精确性，到逐渐适应混杂性；从因果关系的思维模式，向相关关系演变。

相比于其他计算机技术，大数据的“廉价、迅速、优化”给企业的综合成本提供了最优解。

曾经IBM 抛弃了PC，并成功转向了软件和服务，现在他们将远离服务与咨询，将注意力集中在因大数据分析软件而带来的全新业务增长点。我国的百度与腾讯也相继开发自己的大数据处理和存储系统。从2009 年开始，发生了一系列以大数据为主题的企业并购案，其数量和规模呈递增趋势。以Oracle 并购Sun 和惠普并购Autonomy最为典型，两起并购涉及金额高达176 亿美元。

二、大数据时代下计算机工程技术的应用

数据虚拟化

数据虚拟化技术是在数据传输网中建立服务，并在IT 架构层中查看和分析不同来源的数据集，而实际意义上的数据并未从原本物理系统中移动。

在大数据时代下的计算机软件技术应用中，虚拟化技术是重点应用之一。通过内部优化配置，将虚拟资源进行整合分流管理，进而加快信息处理速度，保证效率。将大数据与虚拟化技术相结合，是当前计算机软件技术应用的大趋势，国内外很多企业都开始投入到相关项目的研究中，它与人们的日常生活息息相关，从某种意义上讲，甚至可以改变人们的生活。以VMware 虚拟化大数据为例：

1. 简化大数据管理

虚拟化为Hadoop 等大数据应用提供了支持。其优势在于，简化大数据基础架构的管理可以更快地取得成效，从而提高成本效益，而这些是在物理基础架构环境中是无法实现的。VMware 不仅是传统应用的最佳平台，更是大数据的最佳平台。

2. 服务器虚拟化

借助虚拟化这项已经过验证的软件技术，可在同一台服务器上同时运行多个操作系统和应用，提高了 IT 敏捷性、灵活性和可扩展性，同时大幅度的节约了成本。并且，工作负载的部署速度更快、性能和可用性得到提升、运维实现自动化，这让 IT 管理工作变得更加简单。

3. 确保系统正常运行

vSphere High Availability (HA) 可针对具体虚拟化环境中的硬件和操作系统故障提供故障转移保护，通过启动集群中其他主机上的虚拟机来保证用户的正常使用和系统的正常运行，最大限度的缩短了因故障而无法运作的时间。HA 为所有应用建立了自我保护机制，无需修改应用或客户机操作系统。

4. 共享数据中心资源

vSphere 内容库支持管理员将内容分组整理到可单独进行配置和管理的库中。创建库后，即可跨越 vCenter Server 的边界共享内容，确保整个数据中心的一致性。

5. 优先为虚拟机分配资源

通过vSphere Network I/O Control (NIOC) 和 vSphere Storage I/O Control (SIOC) 对网络和存储进行监控，并根据工程师设置的规则和策略自动将资源转移到高优先级应用。并通过跨vSphere 主机集群动态分配 I/O 容量来解决网络或存储使用率问题。

三、结束语

综上所述，大数据时代的到来，为计算机行业的发展，特别是软件工程，提供了新的方向。它为计算机软件的开发提供了新思维，但也要结合社会背景，根据不同行业的需求来做判断。大数据与计算机软件应用相结合，也不仅仅体现在虚拟化技术，云存储、信息安全等方向同样与大数据紧密相连。大数据技术在诸多领域的应用，将其推向了信息化技术变革的新高度，也是未来的发展方向。