智慧城市中的大数据分析

常广炎

摘要：以物联网、云计算等新一代大数据技术为核心的智慧城市建设理念，是未来城市发展的全新模式。智慧城市一个重要职能就是采集、存储、分析、挖掘城市运行中所承载的大数据，具备全面感知和全面分析的能力，同时能够展示和扩展。智慧城市的建设，有利于解决城市发展问题，有利于提升城市信息管理水平。在智慧城市发展过程中必然产生大数据，因此需要通过处理大数据来体现智慧，其核心是智慧城市信息系统的大数据处理平台，其关键技术对于智慧城市的建设和运转起决定性作用，对提升城市服务、提高管理水平和城市的可持续发展具有重大的应用价值。

关键词：智慧城市；云计算；物联网；大数据；Hadoop

1.智慧城市简介

智慧城市就是运用互联网+、物联网、计算机网络、云计算等新一代信息技术手段，对城市运行系统海量数据的关键信息进行的采集、存儲、智能处理和分析，对社会管理、政府管理及社会公共服务的各种需求做出智能化响应和智能化决策支持，从而实现城市的智慧式管理和运行。智慧城市将改变人们传统的生产、生活方式和思想观念，将原有的粗放式模式改变为科学可持续发展的创新驱动和市场发展模式，以满足城市的可持续发展，从而构建城市发展的全新城市形态。智慧城的关键特征有以下几点。

1.1全面感知

智慧城市中分布大量的感知终端，通过传感器网络，捕捉到人们的生活、生产及城市环境的多种数据。信息感知网络应覆盖城市的个个角落，能够大量采集不同形态、不同属性的各种数据。随着物联网技术的发展和应用，将为智慧城市提供更多的信息资源。

1.2深度互联

智慧城市的信息感知是以多种信息网络为基础的，城市中拥有快捷的互联通道，数据通过互联网、移动互联网和有线电视网等网络实现陕速互联，各个部门专用网络的加入，实现信息资源的一体化。智慧城市将大大增加信息的交互程度，将多个分散独立的小网连接成互联互通的大网络，使网络的价值大大提升，形成更强的驱动力。

1.3智能处理

智慧城市拥有海量级PB单位的信息数据，这些大数据是智慧城市得以正常运转、决策、控制、展示的基础，智慧城市要具有对所拥有的海量信息进行智能处理的能力，这要求通过大数据处理平台将收集到的数据进行效的集中存储和处理，并对数据进行分析，产生具有价值的信息，为自主进行判断和预测提供支持，从而实现智能决策。这一过程中还需要体现出自我学习的能力，主要是通过数据挖掘和机器学习，从历史信息中提炼相关的知识，指导未来的分析和处理。在技术上，以云计算为代表的分布式处理框架和线性扩展能力，为智慧城市的智能处理提供了有力支撑。

1.4开放应用

开放性是智慧城市的信息应用特征，信息的应用不能局限在政府或城市管理部门对信息的掌控和分配。智慧城市应具有信息开放式应用的能力，最终目标是要能够将处理后的各类信息送给信息的需求者，从而完成信息的完整增值利用，其中搭建开放式的信息应用平台是关键，通过该平台使个体间进行信息交互，充分利用系统现有能力，大大提升智慧城市的信息资源并产生新应用。

2.智慧城市中的大数据特征

在智慧城市中，城市的管理与服务涉及各个领域，智慧城市中产生的大数据由于体量巨大，处理要求高，传统的信息技术和IT架构已不能解决问题。这些大数据具有的特征如下。

2.1数据量巨大

智慧城市中诸多领域都产生大量的数据，通常是在PB级以上，如中国1个1 000万人口的城市50年积累的医疗数据量就达到了50 PB。智慧城市的智慧化管理需要多方协同管理，共享数据，这就需要把多领域的数据进行综合的分析和汇集，如流行病的预防，需要综合分析人口数据、社保数据、医保数据、医院数据等，进行这样的综合分析需要将这些数据集中存储于大数据平台上，这是传统的数据库平台不能完成的。

2.2种类繁多，增长迅速

智慧城市中的大数据汇集众多领域、众多行业的数据，数据类型多样化且结构复杂，有结构化的，半结构化或非结构化数据点大多数。靠传统的关系数据库系统己不解决其存储问题，更谈不上进行分析。例如，银行、学校更多是结构化的数据；交通管理包含大量的视频和图像是非结构化数据；气向、医疗数据是半结构化的。随着社会经济的发展伴随数据量的高速增长，如一个1 000万人口的中等城市，每天采集交通卡口过车数量数据约占几个TB。

2.3价值巨大

维克多·迈尔·舍伯恩认为“大数据的重要价值在于建立数据驱动的关于大数据相关分析，而建立在相关分析基础上的预测是大数据的核心！大数据让人们知道‘是什么”。从价值层面上看，智慧城市中的大数据经过加工分析后，蕴含了无穷无尽的价值，对城市的运行和管理起到了极大的辅助作用。一是实现巨大经济效益，如大数据使美国零售业净利润增长达到60%，使制造生产成本下降50%；二是能够增强社会管理水平，在政府和公共服务领域的大数据应用，能够提高政府部门的决策水平，增加服务效率和提升社会管理水平，有效推动政务工作的开展，将会产生巨大社会价值；三是能够提高安全保障能力，通过对大数据整理、分析，可以有效地预测金融、国防、安全等领域的风险，提高国家安全保障能力。

3.大数据处理平台构成

智慧城市建设的关键构建大数据处理平台，该平台的主要功能是为智慧城市提供支撑环境，来实现智慧应用管理、数据关联分析和数据深度挖掘、展示和扩展等功能。大数据平台的组成如下：

3.1云计算公共平台

智慧城市集成海量级的数据，数据多数是非结构化的数据，传统的关系型数据库无法进行处理，只有借助云计算的分布式处理框架和线性扩展能力，才能满足智慧城市基础平台的需要，目前应用比较广泛的是基于Hadoop的分布式处理框架云平台。在海量数据存储方面，Hadoop中的HDFS是一个典型的海量存储系统，它采用主从结构体系，存储服务器集群由一个主节点和众多数据结点构成，从而实现分布式数据存储和集群冗余机制，能够把PB级的数据存放到分布式服务器上，并提供数据安全可靠性。在对海量数据进行综合分析和挖掘处理，其计算量非常大，分为在线计处和离线计算。对于实时性不高的信息处理，采用离线计算平台，Hadoop的云计算框架MapReduce是离线计算的典范，具有较高的稳定性和扩展性。阿里巴巴的数据平台就是依托Hadoop来实现的。在线计算方面，目前比较成熟的是基于Hbase的准实时数据库及MysQL Cluster基于流式处理实时响应平台，这两种技术能够对海量数据进行综合分析，响应时间短，实时性强，有利于实现数据交互，解决了离线平台处理耗时长，反应慢的问题。为应急指挥、现场响应及动态控制等各种应用场景提供技术支持。

3.2统一的数据存储平台

智慧城市采集数据类型复杂众多、数据量海量，统一的数据平台进行存储管理是必须的，同时还要提供大规模分布式存储与数据备份的支持。Hadoop～HDFS是一个典型的分布式海量存储系统，能够把PB级的海量数据存储在大规模的分布式集群服务器上，同时能够保证数据的读写效率和安全。HDFS的设計目标是为存储超大数据文件，它具有“一次写入，多次读取”的功能，具有降低并发控制、简化数据聚合、支持高吞吐量的访问的特点，在安全性方面，具有硬件错误检测并自动恢复功能，使某些结点发生故障时，整个集群的工作不受影响。

3.3数据共享交换平台

为了满足各种数据交换需求，必须提供并制定数据标准，该平台将提供智慧路由、实时服务、异步服务、安全控制等功能。是集数据交换开发、部署、管理、监控为一体的数据交换全生命周期管理的数据交换平台。

3.4智能数据统计分析平台

智慧城市平台的核心是智能数据综合统计分析功能，该平台支持大数据的检索查询、统计分析、数据挖掘、预测和展示功能，通过对数据的分析挖掘，提供相应的辅助决策功能。

4.大数据在智慧城市中的应用

4.1城市公共信息管理

对城市的公共信息如人口、交通、经济、医疗、社保等信息进行管理，建立统一的公共信息管理平台，实现海量、多尺度、多时态的信息管理。

4.2智慧医疗

医院里有大量的病例数据，传统的数据处理技术对其进行数据的挖掘非常困难，在大数据云平台的环境下能够得以实现，这在疾病治疗和亚健康管理上将发挥巨大的作用，进一步促进医疗水平的提高。

4.3智能交通

运用大数据于整个交通运输管理体系，建立交通智慧信息发布平台，来实现车辆识别、跟踪、交通流量分析控制等应用，来解决城市交通堵塞和环境污染，保证交通安全，提高运输效率。

4.4智慧教育

现代教育信息化服务体系系统构成智慧教育的核心。该系统由数字教学资源库、公共服务平台和云端设备组成。任何时间和地点学习者都可借助云端设备进行高质量个性化的学习。

4.5智慧社区

智慧社区是通过社区服务平台来实现的，采用的是O2O模式，将实体经营和网上经营相结合，拓展了服务方式，为市民日常家居生活提供便捷服务。居民可以通过社区服务平台选择并定制自己的所需服务。

5.结语

大数据的出现，预示着数据在信息系统中的性质和作用发生了根本的改变。智慧城市既受制于大数据又得益于大数据，智慧城市与大数据的共生关系促进了信息系统的革新。智慧城市建设要依托新兴的云计算技术，始终以技术创新和模式创新为理念，将原有的粗放式发展模式改变为创新驱动和市场主导的发展模式，发挥大数据的巨大潜力，实现智慧城市的设计目标。