基于动车组车载WTD设备的数据实时接收和解析技术机制的研究与应用

时间：2024-09-03

中车青岛四方机车车辆股份有限公司张士存顾佳安帅

中车青岛四方机车车辆股份有限公司张士存顾佳安帅

主要介绍Kafka和Spark流的处理机制，并且将两者的优势结合起来对动车组WTD现车数据的实时接收和解析进行深入研究，最终形成实时传输+Kafka+Spark方式的数据接收与解析技术机制。此种机制加强了实时采集和处理动车组运行数据的能力，保证了数据接收和解析以及展示的实时性。

Kafka；Spark；接收；解析

一、引言

为了高铁更好、更快、更安全的发展，现在已经能够通过车载WTD设备将动车组运行数据传回地面，供地面预测与健康管理系统对列车进行实时监测管理以及故障预测。然而目前动车组的位置、运行状态和报警等数据采集速度和传输效率存在问题，数据传输较慢，不能保障数据实时采集和传输，需要加强数据的实时采集、实时解析和数据存储能力，保障预测与健康管理系统的数据安全性。

针对该问题本论文提出了基于动车组车载WTD设备的数据实时接收和解析技术机制，以下简称为列车运行数据接收处理应用技术，该技术实现列车状态数据的实时采集和处理，对列车状态进行监控和故障快速告警，保障列车的健康安全运行；该技术对车辆运行数据进行沉淀，为故障诊断、分析和运维决策提供稳定、可靠地运营车辆数据服务。

二、基于动车组车载WTD设备的数据实时接收和解析技术机制在PHM中的研究和实际应用

基于动车组车载WTD设备的数据实时接收和解析技术机制具体为：数据采集程序以socket作为底层数据传输协议[1]，实现铁科与四方的实时数据传输,通过多并发处理技术，提高网卡的高利用率，提升整体数据采集效率,实时将采集到数据存储在前置机上；Kafka实时到前置机读取数据并将数据整理为数据流序列，并有序的提供给Spark实时数据处理程序[2]；Spark实时解析流对接收到的数据进行清洗和解析，最终将解析后的数据存储到Hbase中，供PHM系统对列车状态进行实时展现。具体流程如图1所示：

图1 具体流程图

以下将对此机制分步骤进行介绍：

1.原始数据实时接收

数据采集程序，以socket作为底层数据传输协议，实现铁科与四方的实时数据传输；通过多并发处理技术，提高网卡的高利用率，提升整体数据采集效率；采用C语言自编解析程序，进行原始数据解析；解析后数据以socket数据流形式发送给Kafka，Kafka将数据流整理为数据流序列，并有序的提供给后端实时数据处理程序。

(1)从铁科实时采集和接收车地数据和解析后的数据；

(2)车地数据和解析后的数据转成消息以及生成文件；

(3)通过Kafka平台进行消息队列的接收和分发； Spark平台接收消息后，进行实时数据处理，推送给前端，实现数据呈现；

(4)通过FTP对文件进行采集，对文件进行处理，加载到关系型数据库，进行数据校验和、数据分析以及历史数据查询等。

2.数据实时解析

数据解析程序，以spark实时流程序+协议配置的方式对数据进行解析，将数据校验规则、数据过滤规则、数据转换规则、车地通讯协议等形成标准配置化文件，然后供spark流程序加载，最终按照标准的格式将数据解析，如编码E28-310001，E28代表车型，31代表数据接口类型，0001表示对应协议中的1字节。

3.数据实时入库

数据存储程序将解析完的数据存入到Hbase中，一份存入到当前表中，以接口_列号_车号作为rowkey，实时数据会覆盖掉历史数据，供系统参数实时展示使用；一份存入到历史表中，以接口_列号_车号_时间作为rowkey，保留列车全部数据信息，供系统参数历史查询使用。