浙江省地面气象分钟数据监控传输方案设计与实现*

徐 宁 鲁奕岑 吴书成 魏 爽 刘熔熔 王丽吉

(浙江省气象信息网络中心,浙江 杭州 310000)

1 现状分析

2019年6月,地面气象观测自动化改革试运行,地面、高空、辐射、酸雨标准格式(BUFR)数据作为业务数据开始传输。2020年4月,观测自动化改革调整为正式业务运行[1-7]。随着气象现代化的不断发展,气象资料数据量爆发式增长,分钟数据传输间隔由5 min升级为1 min,数据量级由KB增加到MB,数据量激增影响了传输稳定性。具体传输内容与模式如表1所示。

表1 国家气象站传输内容与模式

省级服务器异常、网络传输异常、台站采集器异常,都容易导致数据无法正常入库,而台站在传输一次数据后无法再次自动补传,使得MDOS数据库中经常出现小时数据缺报、分钟数据空白等数据入库问题,数据的丢失直接影响了省级数据库的完整率和可用率[7-12]。地面气象观测自动化后,台站观测业务主要转为设备维护维修,仪器检测标校,值守班人员无法及时发现数据未入库问题,人工应急干预的时效性降低,同时集中的人工补传会导致传输压力过大,服务器超负荷工作出现死机、瘫痪等不良后果,影响实时业务的运行和该节点业务应用，因此要求建立对省级数据库的实时监控和缺测数据的自动补传[12-15]。

该软件基于MDOS和ISOS系统,实时监控MDOS数据库,对出现的空白、缺报等没有入库现象的小时、分钟报文进行逐时自动补传,保证了数据传输的唯一性,提高了及时率和可用率,同时减少了台站人员的工作量。

2 国内气象BUFR数据格式和传输流程

2.1 国内地面观测要素BUFR报文格式说明

国内地面小时、分钟BUFR格式参照了世界气象组织(WMO)和国际通用气象数据格式标准,研制了适应国内自动站观测业务的数据表示模板。2018年6月26日,中国气象局发布了《地面气象观测数据BUFR编码行业标准》，其具有自描述性、表格驱动特性、可扩展性、可压缩性等特点,编码数据由指示段、标识段、数据描述段、数据段和结束段构成,具体要素描述符对应数据编码值详见表2[16]:

表2 国内地面小时、分钟BUFR要素描述

2.2 数据传输流程

国家级地面气象站观测数据采集传输,其流程包括:

(1)地面观测设备自动化采集并生成数据,台站ISOS软件采集生成数据,通过BUFR格式和新长Z文件以消息的传输方式上传至省气象信息中心。经在线快速质控后,实时将观测数据及质量控制码上传至国家级数据库。省级、国家级通过CTS2.0将质控后的数据实时处理入库,并进行分析处理、产品加工等,供本节点业务应用。

(2)状态数据传输。各个台站按照要求实时自动上传自动观测设备的运行状态和设备信息至省级、国家级天擎存储,并提供应用服务。

3 设计与实现

3.1 技术路线

采用BUFR格式传输后,数据量呈指数级增长,影响了数据传输的稳定性,在主、客观因素的影响下,台站经常出现数据异常、传输异常、数据丢失导致数据上传省级数据库时出现空白、缺报、迟报等现象。省级服务器异常,导致数据不能及时存储,而ISOS系统无法重新生成已发送的报文,严重影响了数据传输的及时率和可用率。为解决上述问题,通过解析BUFR数据格式、台站上传数据流程及原理，分析数据丢失原因，从业务实际出发设计了地面气象站BUFR数据监控自动补传软件,技术路线流程图如图1所示。

图1 技术路线流程图

该软件在气象台站观测业务机上安装,对台站端到省级服务器端的数据传输实现实时监控,逐时对数据进行一致性、完整性、异常性、逻辑性4个方面检查,发现数据异常、缺测、空白等问题。利用BUFR数据特点、传输模块进行自动补传、补入数据库等操作处理,实现数据及时有效稳定的传输、减少数据的丢失。

3.1.1 数据一致性处理

软件在整点后5 min,对省级数据库端和台站BUFR当前整点数据进行扫描,检查整点数据、60 min数据、BUFR报文中数据一致性,若不一致,以台站端BUFR报文为准,修改整点和60 min数据。

3.1.2 数据完整性处理

软件在当前时次50 min时,扫描省级数据库端,生成缺测、空白时次的站号及具体时间文件,同时扫描BUFR报文存放目录。

若未找到对应的缺测时间段的BURF报文,则判断为未生成报文,自动获取从采集器下载的数据,并传输。

若找到对应的缺测时间段的BURF报文,则判断为未传输报文,进行自动补传。

若找到对应的缺测时间段的BURF报文,对BURF报文进行解析,发现全要素缺测,重新从采集器获取报文后再进行解析,查看是否为全要素缺测,若全为缺测,则判断该时次采集器有故障,报文缺测。若BURF报文有数据,则重新上传。

若找到对应的缺测时间段的BURF报文,对BURF报文进行解析,发现某要素缺测或多个要素缺测,重新从采集器获取文件再进行解析,查看是否为该要素缺测,若仍缺测,则按照地面气象观测规范[17]进行处理,若BURF报文有数据,则直接获取,写入数据库。

3.1.3 数据异常性处理

软件在整点后5 min,对上传数据库端和台站BUFR当前整点数据进行扫描,查看数据是否有异常,如雪深异常、地温异常等。

3.1.4 数据逻辑性处理

软件在整点后5 min,对上传数据库端和台站BUFR当前整点数据进行扫描,查看要素之间的逻辑性,如降水量与天气现象有无矛盾等。

3.2 程序实现

地面气象站BUFR数据监控自动补传软件采用PYTHON语言设计开发,共2个模块,一个是参数模块,需配置台站级数据库文件目录即AWZ*.db所在目录(例如:E:ISOSdataset浙江58457DataBase),BUFR备份文件传输目录(例如:D:ISOSinSendsendbak)以及该站站号,设置定时触发该软件。另一个是查看模块,通过设置需查看时段,可以检查是否补传成功,查询补传日志或手动上传需补发报文。图2为地面气象站BUFR数据监控自动补传软件。

图2 地面气象站BUFR数据监控自动补传软件

通过对国内地面气象小时、分钟观测要素BUFR报文进行解析，实现地面气象要素二进制报文可视化,便于台站观测员对BUFR报文内容进行检查。该软件利用MDOS系统存储和ISOS系统采集和传输模块,建立台站与省级逐时相互监控验证机制,有效做到台站与省级数据库中数据的一致性和完整性,同时设计了人工检查和人工干预补传功能,以便观测员进行补查、人工补传操作。

3.3 试验与分析

MDOS系统“数据查询与质疑”页面因主、客观原因频繁出现数据空白、丢失现象,导致省级数据库中数据缺测、不完整的情况,以杭州气象站(58457)为例,观测时间为2021年3月15日,观测要素为气温,其中15时14分至15时25分(北京时)分钟数据为空白,如图3所示。

图3 杭州站MDOS系统页面出现空白数据

软件界面直接显示“补传数据开始时间”和“补传数据结束时间”,对台站和省级数据库中数据进行4个方面检查后,发现数据异常,进行自动补传。观测员人工在点击“查看MDOS分钟数据”选项时,软件对省级数据库进行重新扫描查看数据是否完整。在查看分钟数据显示界面中,补传BUFR分钟数据有“补传”标记,显示所补传观测要素,以便台站观测员确认补传数据量及要素是否完整如图4所示,第一行标记显示被查询的站号、时间段、要素的名称,其中第一列标记为“原有”的为MDOS正常上传的报文,标记为“补发”的为自动补传的报文。因台站数较多,若查询的操作较多,可能导致查询过长,故软件设置查看该站分钟补传日志最近补传的300条记录。

图4 15时14分至25分(北京时)杭州站分钟补传数据

所有补传数据时间与站点信息将记录在补传数据库中,以便省级、该站查看分钟补传日志,例如导出示例杭州气象站,区站号为58457,观测时间(世界时)为2021年7月28日04时34—46分补传日志记录,如表3所示。

表3 数据库记录中补传时间与补传记录

目前该软件已推广至全省75个国家自动气象站,统计2021年11月10个国家自动气象站可用率(图5)可知，使用自动补传软件后,11月的数据可用率有明显的提高,其中临安和建德国家气象站在11月利用此软件补传后,可用率达到了100%,自动站仪器维护、维修等客观原因导致采集器端不能进行数据采集,则该时段数据无法获取,仍为缺测,如长兴国家气象站在11月3日09时36分至10时02分更换温度传感器,其期间分钟、小时数据缺测。

图5 11月10个国家自动气象站可用率

4 结 语

地面气象站BUFR数据监控自动补传软件,能够有效地解决浙江省内台站端故障、省级服务器和数据库异常或数据传输异常、采集器仍有“数据丢失”等问题,同时弥补了观测端监控手段的不足。该软件方便台站观测员对实时数据传输进行监控,并逐时对省级数据库进行扫描，完成了台站端到省级数据端自动判断、自动补传的功能,提高了台站应急处置时间和台站地面业务的质量,减少了缺报、漏报的次数,同时保证了台站级与省级数据库数据的一致性,提高了数据的可用率和完整性,为该节点其他气象产品提供更完整的数据支撑。

地面气象站BUFR数据监控自动补传软件不能对采集端设备进行监控。自国内地面气象观测自动化改革以来,台站观测业务逐渐由观测转为仪器维护、维修和数据分析。今后将进一步分析ISOS系统采集模块,实现对台站采集器各个要素设备的工作状态的实时监控功能,完善软件功能。