大数据挖掘技术在数据治理方面的探索与应用

贾焕焕

【摘 要】随着信息化建设逐步完善，新型采油管理区依托生产信息化逐步完善体制机制建设。管理区生产运行以生产指挥中心为枢纽，开展信息化条件下的生产运行、风险管控、应急处置和跟踪评价的综合管理，通过PCS海量数据实时自动采集、系统实时自检、异常预报警信息分专业、分角色、按岗位实时推送，指挥中心综合运行岗、采注监控岗、集输监控岗实时协调处理，并对处理全过程进行自动跟踪考核，生产现场实现了可视化、立体化、智能化管理。

【关键词】新型管理区;大数据挖掘;PCS;实时数据治理

1、数据治理的项目背景

为精准定位采集设备问题点、数据传输流程问题点，并快速解决问题，按照厂领导要求，在全厂管理区开展物联网数据治理工作，在“四化”数据传输、监测、清洗、甄别等方面下功夫，建立“四化”数据清洗池，全面监测甄别异常数据（超出正常值的数据、突然的波动数据）、假数据（空值、问题仪表采集的数据）、哑数据（卡死数据），通过部署物联网实时数据治理系统，实时精准定位采集设备故障，保证物联网设备正常采集率，提高物联网实时数据质量。

1.1仪表类故障问题多、发现难、维修周期长

一是故障发现的流程上存在滞后，由监控中心发现问题到班组问题确认再到问题整改，中间环节多流程长，出现发现之后的现象;二是目前设备故障类型多，容易发现的如网络中断、设备损坏等都可通过数据表征发现，不容易发现的如设备卡死、井场接线乱、油干压倒挂等问题;三是由于现在的问题都是有数据问题体现的，数据报警后人工往往需要分析大量的辅助数据来确认问题，延长了维修周期。

1.2采集设备故障导致数据质量低

在大量的自动化数据中，存在部分错误数据或不能反映实际情况的噪音数据，主要分为异常数据（超出正常值的数据、突然的波动数据）、假数据（空值、问题仪表采集的数据）、哑数据（卡死数据）等错误及噪音数据。此类数据的长期存在，影响正常的工况诊断和生产经营分析，导致大量不实报警和错误诊断。

1.3数据质量制约数据应用分析

目前的油井计产均通过四化数据自动算产，数据不准确带来了功图、生产时间问题，直接影响产量;错误而功图的问题直接影响了对油井工况的判断;流量计问题影响了水井实注水量的准确性;多功能电表设置错误、电参采集错误影响了单设备耗电量的正常计算，为能耗分析、线损治理工作带来大量不实数据，影响正常能效分析提升。

2、数据治理的技术方案与实施

实现“四化”数据传输、监测、清洗、甄别，建立数据“清洗池”，全面监测甄别假数据、哑数据以及异常数据，并进行公示，在各管理区之间开展比学赶超排名。建立数据清洗结果表，对假数据、哑数据以及异常数据进行标记处理;建立噪音数据和错误数据表，将剔除的数据单独存储形成的结果表。

将数据清洗结果进行公示，并对结果进行处理，作为数据质量指标。

2.1问题数据诊断预警思路

在大量的自动化数据中，存在部分错误数据或不能反映实际情况的噪音数据，通过设定判定规则、数据关联分析、极值处理及检查数据的完整性、一致性，滤除异常数据、假数据、哑数据等错误及噪音数据，为生产提供可用性数据。对错误数据进行分析，找到错误原因，进行维护。

针对问题数据诊断可通过对常规生产实时参数的管理和抽油机错误功图的管理两个方面实现。以现场采集实时数据为基础，对油水井设备状态异常原因和对应的数据主要特征状态进行总结并转化为系统知识，提取电流、电压、载荷、冲程、冲次、油压、套压等特征参数，建立典型生产故障特征参数样本库，结合事件识别规则，实现油水井设备状态跟踪监控。

数据治理流程主要分四个步骤，分别是生产状态诊断、智能预警告警、报警情况跟踪、自动消警与状态跟踪。

通过对不同节点故障的特征分析，映射成后端的数据逻辑，建立自动诊断模型。常规实时参数可通过设备故障模型可有效的将问题数据进行利用，结合问题设备的数据规律，建立设备问题检查模型，找到出现损害、断线、失电、卡死等问题的设备，及时告知运维人员进行设备维护，从而提高数据的可用率和准确率。

2.2诊断模型部署

2.2.1自动化设备故障模型

目前基于不同风险检测方法和多节点数据采集对比分析，建立传感器故障、井场连接异常、RTU故障、网络异常等50多种数据异常情况进行智能甄别模型，实现生产物联网设备异常精准报警和数据的智能清洗。

2.2.2工况异常预警模型

通过趋势法、状态法建立工况预警模型，实现近10类油水井工况预警。以泵示功图分析为依据，对异常工况产生原因和对应示功图主要形态特征进行总结，并结合现场专家经验转化为系统知识，提取功图面积、载荷、冲程损失、提前加载量等特征示功图参数，建立典型工况特征参数样本库，结合示功图诊断决策树，实现异常工况判断。系统实时当前最新功图进行错误功图站别，并统计24小时内的错误功图比率。可辅助技术人员及时发现存在的错误功图。系统支持错误功图剔除功能，可对已发现的错误功图进行实时剔除，消除错误功图对功图算产的影响。直接修改掉算产标志，让错误功图不参与每天的日产液量计算，进一步提高功图算产的准确率。

建立了量化诊断的评价因子，有效提高了故障诊断的准确率，同时也提升了单井管柱、分析化验等数据应用的质量。目前在杆断、泵漏失、油管漏失、结蜡、气影响等都有报出，通过技术人员核对分析，准确率在80%以上。

3、数据治理实施后的效果

3.1推进管理区运维模式的转变，提高精细化管理水平

一是将推进管理区运维模式的转变，向着“管控实时、运行一体、分析智能、应急快捷、效率更优”的目标前进了一大步。设备巡检时间、故障发现时长缩短到30分钟以内，故障定位准确率、原因分析正确率提高到95%以上，运维站人员24小时住岗值守，为运维工作有序开展提供数据支撑。

二是工作针对性增强，运维管理成本降低，为提质增效做保障。2019年上半年，仅郝现管理区一家单位通过功图卡死组合预警及时发现异常井功图卡死3井次，2口泵漏井、1口结蜡通过及时治理恢复正常生产，减少作业费用近60万元，提高油井开井时率，减少作业占产，直接创效60余萬元。信息化水平提升，运维管理成本降低15万元，创效6万元。

三是承包商管理加强，为生产信息化建设过程中，产品和集成商评测提供第一手的数据资料。

四是模型研究主要对象为标准化产品库中产品、判断模型具普遍性和通用性，可复制，可推广。

3.2数据质量“比学赶帮超”，提高指标运行管理水平

一是网络监控设备健康评估实时诊断，确保设备上线率，为资源协同应用，安全环保全业务管控、关键生产设施、重点施工环节全程监控，提供全方位监测、全时段守护。准确的温度压力数据为管网穿孔预警模型提供可靠精准的数据支撑，年度发现管网穿孔160余次，规定时间内问题发现及时、处置及时，提高现场安全环保管理水平。

二是随着数据诊断模型的布置使用加深，自动入库率和设备完好率维持在99.9%以上，数据修正率下降4%，各管理区“四化”运行指标稳步提升，采油厂“四化”运行指标由2018年12月份第7名提升至2019年5月份第2名。

4、结语

依托海量自动化仪器仪表数据，通过实时数据治理，从前端设备着手，完善自动化仪器仪表故障诊断预警模型，从源头上治理解决假数据、哑数据、空数据，更好发挥“四化”应用千里眼、顺风耳作用，为构建油藏动态无关化分析、油水井工况智能化预警、管网电网精准化管控提供精准的数据支撑，全力支撑采油厂向精细。集约管理转型升级作保障。