省级CIMISS 平台在气象职业院校中的应用前景及思考*

孙林花

(兰州资源环境职业技术学院,甘肃兰州 730000)

1 CIMISS简介

“全国综合气象信息共享平台”(China Integrated Meteorological Information Service System,简称“CIMISS”)是中国气象局组织开发的,用于实现多源气象数据和产品的收集与分发、加工处理、存储管理、共享服务等功能的综合气象信息共享平台[1]。为实现各类气象数据和产品的统一、标准化管理,CIMISS设计和建立了比较完善的气象数据标准,规范了各类气象探测资料和产品的文件命名和格式,并结合各类业务应用需求,设计了各类气象数据和产品的存储结构。为满足不同用户开发的需要,开发了多种数据调用接口,包括:脚本调用、客户端调用、Web Service、REST等。在业务布局上,CIMISS包括国家和省两级,在应用上,CIMISS支持国家、省级、市(州)和县四级的业务。国、省两级的CIMISS在结构、功能、标准、流程、服务等方面完全统一,区别只是在硬件设施的数量和存储管理的资料量上:国家级CIMISS的硬件数量和存储管理的资料量大于省级。2017年,全国CIMISS实现了业务化运行,为全国气象部门的预报预测、公共气象服务等业务提供了高效、统一的数据支撑服务。国、省两级统一的数据环境系统示意图1 所示:

图1 气象部门国省两级统一数据环境示意图Fig.1 Schematic diagram of the unified data environment at the national and provincial levels of the meteorological department

1.1 CIMISS主要系统组成

CIMISS主要由数据收集与分发、数据加工处理、数据存储管理、数据共享服务和业务监控五个软件系统、气象数据统一服务接口及基础平台组成。五个软件子系统部署在各自独立的应用集群上,但共用一套存储设备。其中:

(1)数据收集与分发。是CIMISS的前端子系统,主要负责多源(国际线路、省级、卫星广播、部门共享等)数据的收集、分发及处理等,并为平台中其他子系统传递数据和服务;数据收发子系统是CIMISS同外围系统(短临监测预警、公共气象服务、同城用户服务系统等)进行数据交换的途径之一,它不仅可以满足国家级中心各类气象数据收集、分发、交换的业务需求,也可以满足省级中心各类数据收集、分发及交换的业务需求,其稳定、可靠运行是CIMISS其他子系统正常运行支撑和保障。数据收集和分发子系统的功能主要包括七个方面:数据收集功能、数据预处理功能、数据分发功能、数据补调功能、系统配置管理、系统信息管理及系统监控与统计。(2)数据加工处理。子系统介于CIMISS收集与分发子系统和存储管理子系统之间,是收集与和分发子系统的下游系统。数据加工和处理子系统部署在并行化的高性能计算集群平台上,对收集分发子系统传递的各类观(探)测资料及产品进行解码、质量控制、统计加工,自动高效生成预报预测等业务所需要的,且有质量保障的数据产品,提交数据存储管理子系统进行管理,并通过共享服务子系统为用户提供服务。(3)数据存储管理。系统是CIMISS的核心枢纽子系统,上游包括数据收集分发、和加工处理子系统,下游为共享服务子系统。主要负责收集分发、加工处理子系统传递资料(结构化和非结构化)的规范化存储,并实现向下游共享服务子系统的快速数据发布及向用户提供数据服务。数据存储管理子系统的稳定性、存储能力、运行效率会直接影响CIMISS整个平台运行的稳定性和对外数据的服务能力[2]。(4)CIMISS共享服务。子系统为用户提供了功能完备、调用高效的气象数据统一服务接口(MUSIC:Meteorological Unified Service Interface Community)[3],各类产品和数据的服务接口CIMISS通过专门的接口网站进行发布,各级用户可以通过接口网站查看、学习各类产品和数据服务接口的详细信息,包括:接口名称、参数、参数类型、必选参数、可选参数等。服务接口主要包括Web Service、客户端调用、REST、脚本调用四种。(5)业务监控。子系统对CIMISS各项业务运行进行统一监视与控制,形成集约化的实时业务监视与控制平台。概括起来就是“监、控、管”,“监”就是实现对CIMISS全系统的统一的业务系统实时监视,“控”就是实现统一的业务管控,“管”就是提供综合的业务性能统计分析。该模块主要包含9 项业务功能: 监视信息采集、监视信息存储管理、监视信息检索、监视信息统计、监视信息故障分析、监视信息发布与展现、监控系统运行管理、系统内部用户管理和系统配置管理。

1.2 CIMISS的数据流程

总体来说,CIMISS对国内外及各个行业交换各类气象数据和各类加工后的业务产品进行收集并按订制进行分发,实现了对各类观(探)测气象资料的自动解码、高效质量控制和产品再加工处理,使用先进的数据处理技术,实现了实时和历史数据的无缝对接,通过高效的MUSIC接口为各个行业用户、企业用户提供数据服务。其中:

(1)在国家级,CIMISS负责收集全国各省上传的观测资料和产品、国际通信线路获取的全球观测资料和数值预报等产品以及其他部门共享的观测资料和产品,并且将收集的资料和产品向CIMISS的下游加工处理子系统及行业部门、国际通信系统、国家局大院有关用户等进行分发。(2)在省级,CIMISS收集的是中国气象局卫星广播、周边省级共享及本省各类观测资料和产品。并且将收集的资料和产品向省级CIMISS的下游加工处理子系统、行业部门、周边兄弟省份及省局大院预报预测、公共气象服务等业务用户进行分发。( 3 ) 不管是国家级还是省级的CIMISS,加工处理分系统对收集分发子系统传递的资料处理后传递给CIMISS的存储管理子系统,对于结构化数据,加工处理子系统解码后存储在关系型数据库Oracle中[4];对非结构化数据,加工处理子系统通过解码、重命名后,只将其索引信息存储到Oracle数据库中,实际数据存放在GPFS共享文件系统中,用户通过统一的数据访问接口(MUSIC)进行数据访问。

1.3 CIMISS的现实意义

在近30多年的气象信息化进程中,CIMISS集成了气象信息技术最新发展的成果,吸纳了国内外数据处理的先进技术,遵照气象行业数据服务需要,充分考虑未来业务发展趋势,建立了支撑气象行业国、省、市、县四级各类气象业务的国家、省两级统一数据环境,已经成为气象业务应用、服务、科研和气象数据科学管理的基础支撑平台。中国气象局在气象信息化行动方案中明确提出要以数据资源整合集约、业务体系扁平化为目标,气象应用生态以CIMISS作为信息源,由此可见,CIMISS平台在未来的气象行业各个领域将发挥不可替代的关键作用,是支撑气象行业业务、科研、服务等的核心枢纽。

2 CIMISS提供的应用支撑

2.1 CIMISS为气象天气业务提供支撑

经过国家级信息处理和气象预报服务部门的联合攻关,建立了分布式数据库(cassandra),实现了和CIMISS的实时对接,对气象预报业务人员需要的各类资料实现了全方位的接入和统一监控及运维,包括地基、空基和天基的各类探测资料,以及雷达基数据、雷达PUP产品、卫星反演数据和欧洲中心、日本、美国、德国、我国T 6 3 9、我国GRAPES等各类模式产品。在此基础上,实现了分布式数据环境和MICAPS(气象信息综合分析处理系统)的无缝应用对接,极大提高了各类气象数据的获取及访问时效,为各级预报服务人员提供了“数据无滞后感”的毫秒级数据访问。

基于分布式数据库(对接CIMISS)支撑的MICAPS系统已经在气象部门国家级、省级、市级和县级业务化运行,支持预报员海量数据访问达秒级,并在民航、军队等涉及气象预报服务领域中推广应用。近4年来,基于CIMISS,技术人员还采用分布式存储技术,构建了统一的精细化气象格点预报数据环境,实现对精细化气象格点预报产品的存储。

除了CIMISS和MICAPS的对接外,全国各省自行开发的各类气象预报业务系统(如短临监测预警业务系统),也实现了和C I M I S S 的对接,目前,这些业务系统都通过CIMISS的服务接口实时获取数据,进行应用。

2.2 CIMISS为气候业务提供支撑

经过国家级信息处理和气候预测部门的联合攻关,CIMISS系统实现了与CIPAS(气候信息交互显示与分析平台)的无缝应用对接。CIMISS系统收集和管理了完备的NCEP再分析数据、NOAA卫星的OLR/海温/降水/海冰数据、风云卫星的OLR数据、130项环流指数、BCC_CSM、DERF2.0、NCEP GFS、气候预测检验产品、塔希提和达尔文站海平面气压SLP、中国气溶胶质量浓度日值等169类数据。此外,根据CIPAS的应用需求,CIMISS平台中还补充开发了地面、高空、大气环境、辐射和土壤湿度等数据的日、候、月、季、年等不同尺度的统计算法,并整理和补充了历史序列的数据,这些海量气候数据资源,为CIPAS提供各类快捷高效的数据支撑。

2.3 CIMISS为各类数据需求提供开放服务

CIMISS已经管理了包含气象观测、天气气候、气象服务等各类产品,种类达2300余种,设置数据服务专栏150多个,累计数据资源超过40TB。每年,通过气象内网访问用户逾15000人,次数达到1000万次,数据服务量逾50TB,业务应用效果和支撑质量均大大提升。另外,通过中国气象数据外网,向全社会各行业提供5大类17小类1100余种气象数据产品的服务,已注册的访问用户超过30万,服务领域涉及海洋、国土、交通、生态、通信、应急、防汛抗旱、地震救援、农林牧业等多个行业。

3 CIMISS在高职院校相关气象专业和防灾减灾中的应用前景

海量的气象资料就是一座宝藏。CIMISS系统中气象资料非常丰富,资料量很大。省级CIMISS系统中收集和管理了来自本省各种观(探)测资料和各类业务产品,还有周边省份共享的、用于支持中小尺度天气监测预警的各种观测资料及中国气象局通过卫星广播系统下发的全国,乃至全球的各种资料和产品。

高职院校相关气象专业和防灾减灾教学、培训和实训中,急需各种气象观(探)测资料和产品。高职院校如果通过C I M I S S 系统实时获取各类所需气象资料和产品,可以有力地支撑教学、培训及学生的实训实习,让学生可以在近似真实的气象业务环境中学习和实训,真正实现校局合作,协同育人的人才培养目的。而且,获取的各类观(探)测资料和产品,将支持学院建立海量气象数据库, 可以为学院的科研提供有力支持。因此,CIMISS在高职院校相关气象专业和防灾减灾中有良好的应用前景。

4 结论和思考

综上所述,气象部门的CIMISS是一个集数据“收集、加工处理、存储、共享服务及全流程监控”功能为一体的“大数据平台”,它为气象部门的预报预测、公共气象服务等业务提供了及时的、强有力的数据支撑。高职院校气象专业实训实习有关业务系统, 若能和气象部门CIMISS实现对接,这样就可以使学生的学习、实训及防灾减灾培训和应急演练都依托实时的气象数据和产品,从而使教学和实训更具针对性。但是,此项工作做起来也有一定的难度,在实施的时候有以下几个方面的问题需要思考和解决:

(1)学校和气象部门之间建立连接线路。由于数据量大,最好建立数据传输或访问的专线,网络带宽至少在20M以上。(2)学校要建立自己的数据中心。用于收集、加工处理、存储和为学生实训实习等提供资料服务。也为今后教师的科研存储一定时间序列的资料。(3)要针对学生学习、实训及防灾减灾培训和演练,开发或引进相应的应用系统,实现CIMISS平台调取资料的显示和分析等。(4)学校要选出一些业务能力强的老师,做好学校数据环境和应用系统的维护保障。(5)组建一支科研能力较强的研发团队,针对所收集的各类气象数据,选择一些主题,和气象行业有关技术专家合作,进行科研的攻关工作,提升学校的科研能力。(6)中国气象局组织开发的,以CIMISS为数据源的分布式数据库可以移植到有气象相关专业的高职院校,使学生通过MICAPS的实训、实习所需数据全部通过分布式数据库支撑,从而解决众多学生连接CIMISS的并发访问的压力。