甘肃省实时气象资料传输质量管理系统设计与实现＊

孙林花，高鹏

（1.兰州资源环境职业技术大学，甘肃兰州 730021；2.甘肃省气象信息与技术装备保障中心，甘肃兰州 730021）

气象资料的传输工作是气象通信业务的基础，其及时性、正确性和完整性是做好气象预报预测、公共气象服务和科研等工作的基础和保障。目前，甘肃省各类气象资料的传输依托的是甘肃省气象大数据云平台中的数据收集与分发系统（Comcast Technology Solutions，CTS）。该系统是继气象卫星综合应用业务系统（简称为“9210 系统”）以后中国气象局对国内气象通信系统的一次非常重要的升级，前后经历了V1.0和V2.0 这2 个版本，主要针对气象资料类型多、信息加工处理量大、中间传输环节多、传输时效不及时、资料文件命名及格式不统一、资料收发和处理监控不全面等问题，基于SUSE LINUX 操作系统和集群架构，采用赛门铁克（VERITAS Cluster Server，VCS）技术，开发的集“各类气象资料传输、加工处理及运行监控”等功能为一体的国内新一代气象通信系统。

该系统具有很好的易扩展性和高可用性，并使业务流程更规范化。与原9210 系统相比，CTS 系统极大地提高了气象资料的处理（文件命名规范性检查、格式检查、打包、压缩、解压缩等）与并行传输能力[1-4]，但无法根据业务管理部门的需要自动生成传输质量统计报表。各类气象资料传输质量统计报表的制作需要业务人员从CTS 数据库导出资料收发信息（收集时间、分发时间、收集状态、分发状态等）到Excel 表中，通过大量的手工处理后方可完成，报表制作时间大约需要一周，自动化程度非常低。CTS 也没有剔除气象网络故障、观测设备维护维修、CTS 系统升级等客观原因造成的资料逾限或缺报影响，极大地影响了甘肃省气象资料在中国气象局的传输质量考核。因此，设计和开发基于新一代通信系统的气象资料传输质量管理系统十分必要。

本文主要采用Java 开发语言、多线程资源处理技术、组件化设计、HTML5 及CSS3 技术构建，基于数据仓库的数据存储等实现系统的设计与开发。系统主要实现了从CTS 自动采集传输质量统计所需的各类气象资料收发状态等信息；实现了按市州、县、站和资料类型等不同方式的传输质量统计计算；实现了剔除气象观测设备维护维修、气象网络故障等客观原因对传输质量造成的逾限和缺报影响；实现了对本省传输质量统计结果和中国气象局下发的传输质量结果的对比分析；实现了展示和输出传输质量统计结果的图表等功能，大大提高了甘肃省气象资料传输质量统计计算和核查对比的效率，减轻了业务人员的工作量。

1 系统设计

1.1 系统架构设计

甘肃省气象资料传输质量管理系统采用B/S（Browser/Server，浏览器/服务器）架构，包括资源保障层、信息采集层、数据处理层、应用层和用户层共5个层次，以及一个标准规范体系和一个安全保障体系[5-6]，系统架构示意图如图1 所示。资源保障层主要为数据收集、传输、加工处理、存储等提供网络、计算机及存储资源；信息采集层主要用于采集各种气象资料收集和分发的基本信息，通过数据存储管理系统（Service-Oriented Datastoragesystem，SOD）实现存储；数据处理层主要通过本系统开发的中间处理程序从CTS 和SOD 中实时采集质量统计需要的相关信息，并根据CTS 中配置的各类气象资料传输时效信息，完成时效计算和统计分析等；应用层则将各类气象资料传输质量统计结果以Web 的形式面向省级、地市（州）、县级用户进行展示；用户层主要是实现对不同级别用户身份的认证信息管理。系统遵循国际统一的JSON（Java Script Object Notation，一种轻量级的数据交换格式）数据通信标准，提供开发性的应用系统接口，为系统的升级和集成提供很好的基础服务平台，提供各种业务数据的加工转换，并通过该标准进行系统之间的协作和数据通信。

图1 系统架构示意图

本系统在设计及实现的时候，以集约化为原则，其资源保障层、信息采集层、标准规范体系及安全保障体系都依托气象部门的资源及相应体系。

1.2 系统核心功能

CTS 中实时记录了各种气象资料收发信息（资料类型、站号、观测时间、接收时间、发送时间、收集时效标记、发送时效标记、数据源IP 地址、目的地IP地址等），因此，气象资料传输质量管理系统的统计分析主要依托CTS 完成。根据质量统计需要，本文主要设计了以下3 个功能模块。

1.2.1 数据采集

为了不影响CTS 系统的正常运行及保证数据采集的时效性和准确性，气象资料传输质量管理系统中开发了一个专门用于数据采集的中间程序，负责从CTS系统中实时采集各类气象资料的类型、站号、资料收集时效标记和发送时效标记等信息至气象资料传输质量管理系统的MySQL 数据库中。

1.2.2 传输质量统计

传输质量统计模块是甘肃省实时气象资料传输质量管理系统的核心功能模块，主要以MySQL 数据库为数据环境，用Java 开发语言编写甘肃省各类气象资料日、月和年的质量统计程序。其中，主要设计的数据库表包括：①站网信息表（T_STATION），主要用于存储甘肃省各类站点的站网信息，包括站号、站名、所属市州、经度、纬度、海报高度、站点类型等属性；②实时气象资料传输信息表（T_TRAN_INFO），主要用于存储甘肃省各类实时气象资料的传输信息，包括资料类型、站号、观测时间、接收时间、发送时间、数据源IP 地址、目的地IP 地址、接收时效标记、发送时效标记、资料文件名等属性；③资料传输日/月/年统计结果表（T_DAY_RESULT/T_MONTH_RESULT/T_YEAR_R ESULT），主要用于存储传输质量统计信息，包括站号、资料类型、应收站数、及时站数、缺报站数等属性；④传输报障时间表（T_TRANERROR_TIME），主要用于存储由于气象网络故障、观测设备维护维修等造成的气象资料传输逾限和缺报时间信息，包括故障起止时间、受影响的资料类型、站号等属性。

系统设计中，各数据库表都以站号为主键，将各类气象资料传输质量的统计程序集成到系统主程序中，主程序根据用户设置的时间定时自动完成质量的统计计算。统计对象包括甘肃省自动气象站、区域气象站、自动土壤水分站、新一代天气雷达等所有纳入中国气象局考核的资料，系统会将统计结果自动存储到日/月/年统计结果表中。为了提高各类传输质量的查询效率，系统还应用到了数据库视图和索引技术。

1.2.3 质量对比订正

主要用Java 语言开发该模块程序，实现对甘肃省统计质量和中国气象局下发质量的对比，并将有出入的信息以列表方式显示出来，管理人员根据甘肃省实际，对中国气象局统计结果进行人工订正，并填写造成质量问题的原因。

1.2.4 结果分析展示

该模块主要根据配置的资料类型，自动进行传输质量结果的计算，以列表和直方图等多种方式展示，并能将统计结果输出到Word 和Excel 中，供业务人员做进一步的分析和使用。比如选择某一类资料，以柱状图和表格2 种方式展示，结果如图2 所示。

图2 传输质量柱状图和表格展示结果

2 系统设计的关键技术

2.1 CTS 和SOD 相关数据的采集

为能够在不影响CTS 和SOD 业务正常开展以及保证气象资料传输时效的前提下，对CTS 和SOD 相关数据进行采集，系统采用XXL-JOB 分布式任务调度平台来实时获得CTS 和SOD 中用于气象资料传输质量统计管理的有关数据，并将读取到的数据写入到本地数据库中，方便系统各项功能的使用，同时不给CTS和SOD 系统的数据库造成运行压力。XXL-JOB 分布式任务调度平台可以进行分布式部署，当执行器出现故障时，调度中心会将任务转移到其他执行器上执行，内部多线程，多任务可在单个执行器上并发执行，可以保证及时采集数据，并提供数据补正功能，保证数据的完整性。

2.2 分库分表存储技术

CTS 监控数据主要包括高空观测数据、城镇天气预报数据、国家级自动站数据、区域自动站数据、国家级无人值守自动气象站数据、公路交通气象站数据、天气雷达基数据、天气雷达PUP 产品等15 类上行气象观测数据，当数据量越来越大时，单表数据量太大会导致数据库的查询速度大大下降，因此，在服务器资源有限的情况下，该系统采用MYSQL 数据库，对单表采用了分库分表技术，将大表分为小表，数据按月、按年分表，并采用数据库视图将小表重构为总的虚拟表，在高并发情况下，一定程度上解决了单机性能不足问题。

2.3 交换数据协议及组件

平台结合气象规范、标准化体系和微服务架构模式，以REST 协议向表现层或与其他业务系统进行数据交互，应用程序由各自独立的组件组成，这些组件的开发和部署保持相对独立，仅对这种应用程序的某些组件进行升级，对平台进行小幅度升级；组件可以在不同应用程序之间共享，因此可对它们进行复用，既充分利用好现有的服务资源，又使扩展开发具有更高的灵活性。

2.4 系统架构等技术

该系统的总体设计是基于B/S 的架构，即浏览器/服务器模式。这种模式统一了客户端，将系统功能实现的核心部分集中到服务器上，使用户的访问更方便快捷，也简化了客户端电脑的负荷，减轻了系统的开发、维护和使用成本。

系统后端采用Java 开发语言，前端采用HTML5和CSS3 技术。Java 是目前使用最广泛的网络编程语言之一，它具有简单、面向对象、稳定、跨平台运行等特点；而HTML5、CSS3 技术在很大程度上提高了项目建设的美观程度，为用户提供了不一样的视觉体验，在进行网页设计时，减少标签的嵌套和图片的使用数量，页面加载速度和网站的性能得到提升。

系统遵循国际统一的JSON 数据通信标准，提供开发性的应用系统接口，为系统的升级和集成提供很好的基础服务平台。提供各种业务数据的加工转换服务，并通过该标准进行系统之间的协作和数据通信。

3 结束语

本文基于国内新一代通信系统的各类气象资料收发信息及中国气象局每月下发的全国气象资料传输质量，设计开发的甘肃省实时气象资料传输质量管理系统解决了多年来甘肃省气象资料传输质量管理手段落后，效率低下问题，主要具有以下优点：①实现了剔除因台站观测设备维护维修、气象网络故障、CTS 系统故障等客观原因造成的各类气象资料逾限和缺报影响，大大提高了甘肃省各类实时气象资料传输质量统计结果的准确性；②实现了对耗费大量人力和时间完成的甘肃省气象资料传输质量统计工作的自动化统计计算和管理，极大地提高了业务人员的工作效率；③实现了对甘肃省传输质量统计结果和中国气象局下发的质量结果的对比分析，对统计结果以多种方式显示和输出，便于管理人员发现气象资料传输中存在的问题，为气象预报预测等业务所需气象资料的及时、可靠、稳定传输提供了一个监视平台。