PDCA循环理论在外汇数据质量管理上的应用研究与实践

周强

(中国人民银行 上海总部 外汇管理部， 上海 200120)

PDCA循环理论在外汇数据质量管理上的应用研究与实践

周强

(中国人民银行 上海总部 外汇管理部， 上海 200120)

针对外汇数据质量影响因素多、数据质量管理难、部分业务数据质量水平低等问题，提出了一种基于PDCA循环思想的数据质量管理办法。在计划阶段定义数据质量管理需求，设计数据质量管理业务规则和量化指标，制定了评估规则和指标，在实施阶段确定数据质量水平并进行数据质量监测，在检查阶段实施登记评估，系统流程控制和层级反馈，在行动阶段解决数据质量问题，通报考评并且总结修正。通过4个阶段和12个过程，形成了数据质量管理的闭环和循环改进机制，通过在对外金融资产负债及交易统计数据上一年的实践，数据质量得到显著提升，影响数据质量的内在和外在因素得到了有效抑制。

PDCA； 数据质量； 外汇管理

0 引言

当前，我国政府职能正在加速转变，***总书记和李克强总理多次强调要以“壮士断腕”的决心，全力推进行政改革和简政放权。2009年以来，外汇局坚持以外汇管理“五个转变”为方向，狠抓改革攻坚，大力简政放权，有序推进资本项目可兑换，完善监测预警与事中事后管理，切实防范跨境资本流动冲击，外汇管理服务经济结构调整与转型升级的能力不断提升。

切实履行好外汇管理职责，做到“说得清、管得住、放得下”，离不开高质量的外汇数据，一是为推进简政放权,加快贸易投资便利化提供有力支撑；二是为宏观决策提供可靠的数据基础。然而，从外汇管理内外部环境看，仍然存在较多制约因素，影响外汇数据质量水平。一方面，银行是外汇管理数据的主要来源，其自身业务管控能力和技术水平直接影响到外汇数据质量高低，如其对政策的理解、自身信息化程度、业务操作流程、内控与人员培训都将影响到外汇管理数据质量。另一方面，外汇局在数据质量管理方面进行诸多尝试，积累了一定的经验，但尚未建立一套可操作性强的数据质量管理体系，数据管理水平有待进一步提升。

外汇管理数据有其自身特点，比如自身并不生产数据，而是来源于银行的交易数据和申报数据，外汇数据的产生、采集、传输及应用有一套复杂的机制，数据质量与内外部环境及生命周期各环节均有关。因此，数据质量管理是管理与技术相结合的一项系统工程，通过借鉴国内外质量管理做法和经验，本文提出了基于PDCA循环的数据质量管理办法，并在“对外金融资产负债及交易统计数据”上进行了实践，取得了良好的效果。

1 相关研究

1.1 数据质量评估标准

在不同时期，不同的应用场景下数据质量有不同的概念和标准。如文献[1]定义数据质量的4个指标为一致性、正确性、完整性和最小性，这主要是从技术角度对数据质量进行衡量，然而随着质量含义的不断延伸，对数据质量概念的认识也从狭义向广义转变，准确性不再是衡量数据质量的唯一标准。从用户使用的角度来看，即使准确性相当高的数据，如果时效性差，仍达不到质量的标准。文献[2]指出数据对用户必须是可信和可用的，基本评估指标包括精确性、完整性、一致性、有效性、唯一性、时间性和稳定性。文献[3]定义的数据质量特性有可达性、正确性、完整性、一致性、时效性和相互关系。总的来看，数据质量概念主要包括以下几个方面：一是注重从用户角度来衡量数据质量，强调用户对数据的满意程度；二是数据质量是一个综合性概念，应从多角度来评价数据的好坏；三是不同的数据其质量要素侧重有所不同，如对于外汇管理数据来说，准确性、完整性和及时性是数据质量的最基本要素，而可达性、唯一性等基本不存在问题。

1.2 数据质量管理

数据质量管理源于质量管理。上世纪60年代A.V.Feigenbaun和J.M.Juran率先提出全面质量管理概念[4]。全面质量管理特点体现在“全”字上，是以质量为中心，全面的、全员参与的质量管理，是综合运用多种科学技术手段与技术体系的，多方法的质量管理，使产品质量在整个形成过程中得到控制，实现客户满意度最大化。其核心是全过程的质量管理。2000年由国际标准化组织颁布的第三版IS09000族系列标准吸收了全面质量管理的精华思想，形成了8项质量管理原则:以顾客为关注焦点、领导作用、全员参与、过程方法、管理的系统方法、持续改进、基于事实的决策方法和互利的供方关系。ISO9000:2000版标准鼓励在设计、实施和改进质量管理体系时采用过程方法，其基础是PDCA循环，即“戴明环”，设计并实施“计划-实施-检查—行动”不断周而复始的质量管理体系。PDCA循环最早由休哈特于1930年构想，后来被美国质量管理专家戴明博士在1950年再度挖掘出来，并加以广泛宣传和运用于持续改善产品质量的过程。PDCA循环包括Plan(计划)、Do(实施)、Check(检查)和Adjust(行动)，PDCA循环就是按照既定的顺序进行质量管理，并且循环不止地进行下去的科学程序。

Richard Y. Wang，Veda C. Storey，Christopher P. Firth等利用信息系统环境和制造环境的相似性，建立起数据产品与物质产品的联系。顾客对应用户，原始数据对应原材料，数据加工对应材料加工，数据产品对应物质产品。这样，全面质量管理的原则、方法、指南和技术就可以用于数据质量管理。数据质量管理指借助质量管理方法，对各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，改善和提高组织的管理水平，使得数据质量获得进一步提高[5]。

文献[6]介绍了全面数据质量管理在美国国防部的有效应用。文献[7]介绍了pdca方法在欧洲道路数据管理上的成功应用。

在数据质量管理过程中，核心环节是对数据质量的测量、评估以及清洗，这是目前研究较多的领域之一，然而影响数据质量的因素有很多，包括组织、外部环境等，单从技术层面解决数据质量的效果有限，在实际应用中，只有将管理与技术相结合才能有效实施数据质量管理。因此，利用全面数据质量管理PDCA循环理念是改进外汇数据质量的理想选择。

2 基于PDCA循环的外汇数据质量管理模型

通过借鉴相关研究，我们认为，以PDCA循环理论为指导，从外汇管理数据实际情况出发，结合不同业务数据的特点，有针对性的突出数据质量管理各环节中的重点，建立一套涵盖评估、监控、报告及反馈等全流程的数据质量管理操作流程，明确外汇局各部门、金融机构等所有参与主体职责分工，定义明确的业务需求与数据管理规则，探索数据质量管理规范化、制度化建设，可以有效提高外汇数据质量水平。

按照PDCA循环理论，参考文献[5]中的相关数据质量管理过程，结合外汇管理数据质量现状,我们选择的数据质量管理流程，如图1所示。

图1 数据质量管理PDCA流程图

2.1 计划阶段

在计划阶段，一是选择数据质量维度，定义数据质量要求。二是制定数据质量管理业务规则。三是设计数据质量管理监测指标。四是评估业务规则与指标。

2.1.1 定义数据质量管理需求

数据质量需要满足外汇管理政策的要求，实现特定的业务应用。定义数据质量管理需求首先是基于业务与政策评审，识别与业务政策相关的关键数据，其次选择一组数据质量维度对数据错误及原因进行归类。根据数据质量评估标准的相关研究,我们认为,适合外汇管理的主要质量维度应包括：

(1) 准确性：指数据准确反映其所建模实体的程度。如应如实申报数据的主要要素信息。

(2) 完整性：指数据集全部记录都如实存在。

(3) 一致性：指相关联的数据之间不能有冲突。

(4) 合理性：指数据能够准确反映业务发展水平，若数据出现异常波动，应主动调查是否数据采集出现了问题。

(5) 及时性：指对数据达到可用性标准的时间预期，如在规定时间内申报数据。

(6) 有效性：指数据值符合数据元素属性的定义，如值域范围要求等。

2.1.2 设计数据质量业务规则

数据质量业务规则主要有两个来源，一是源于外汇管理政策与业务操作标准流程。外汇管理政策是交易行为的规范要求，数据是交易行为的抽象表现，应当在政策规定的框架内报送交易数据，如对外金融资产负债及交易统计数据申报规范详细定义了每一类交易编码的含义与使用场景，数据申报必须严格遵守申报要求，体现对外资金交易实质。二是通过接口规范进行定义，如组织机构代码字段长度为9位；外汇账户类型取值应在事先确定的数据字典范围内；数据表主键唯一等。

业务规则应由业务部门共同参与制定，强化业务部门与技术部门的沟通，一方面确保业务规则符合特定的业务需求，潜在的业务用户能够正确理解与运用规则开展后续数据质量监测，另一方面为业务规则向监测指标准确转化奠定基础，减少因规则不清晰造成指标体系不稳定。

2.1.3 设计数据质量监测指标

数据质量监测指标主要由业务规则衍生而来，具有以下特性：一是业务相关性，即每一个指标都应能够准确说明数据质量是否符合业务预期；二是可接受程度，高质量的数质量不等于零错报率，特别是对大数据数据质量监测，需要对指标设定可接受阈值，在阈值之内则表示符合业务预期；三是可控性，监测指标应当能够说明数据质量问题产生的原因。

2.1.4 评估业务规则与监测指标

评估业务规则与监测指标是完善计划阶段成果的必要环节。制定业务规则是从管理制度中选择关键风险点，主要由业务部门负责；设计监测指标是将业务规则转化为数据之间、字段之间勾稽关系，运用计算机语言实现自动化、批量化操作，由技术部门负责。为保证业务规则与监测指标实现高度吻合，需要对这两个环节进行评估。评估的主要方法，一是书面评审，由技术人员与业务人员进行面对面沟通，就业务流程与数据的依赖关系，业务流程如何使用数据，哪些数据元素对于业务应用至关重要等方面达成共识；二是指标试运行测试，分析测试结果，是否能够发现预期的数据质量问题，是否有潜在的数据质量问题无法通过现有的指标监测。

2.2 实施阶段

在实施阶段，按照既定的业务规则与监测指标，确定数据质量水平基准，并将指标投入运行，观察监测情况与预期质量水平的差距，查找出现数据质量问题的原因。

2.2.5 确定数据质量水平

运用数据质量监测指标来测量数据项与业务规则的吻合度，隔离错误数据，分析数据质量问题的根源，评估数据质量水平。可建立数据质量评估模板，模板主要项目包括：所关注的业务项目、关键数据与维度、主要业务规则、与业务规则相关联的监测分析指标、主要监测指标的可接受阈值、数据质量问题反馈机制与处理方案等。

2.2.6 开展数据质量监测

通过自动化处理或人工操作，对全部数据进行扫描或开展抽样检测，测量数据对规则的符合度。监测方法主要包括：在采集环节，利用接口规范对通过接口文件形式批量采集的基础数据进行校验，接口规范中详细指出不同业务类别应当包含的信息内容及内容的规范性，对于不符合规范，校验不通过的文件将不予接收，同时金融机构端接口程序能够接收并准确解析返回的错误信息；在监测环节，主要运用合规性监测指标进行监控，具有较强的刚性，往往能够直接确认数据质量问题；在分析环节，主要运用合理性监测指标，主要包括波动检查，计算指标的同比或环比波动率，然后与经验值或预先确定的阈值进行比较；关联性检查，对两个存在关联关系的指标，如同增、同减等正关联关系，以其中一方为参照物，分析另一方所处水平或变化情况。

2.3 检查阶段

在检查阶段，一是对数据质量开展持续监测，建立常态化的数据质量问题登记评估制度；二是实施流程化控制，对数据质量管理问题登记、跟踪、处理建立控制措施；三是通过适当的形式对内、对外进行反馈，按照数据质量问题的性质、覆盖面等，建立层次性的反馈机制。

2.3.1 登记评估

登记评估是将数据质量问题管理工作标准化。一方面需要将数据质量问题进行标准化分类。不同业务条线产生的数据问题表现千差万别，需要透过现象看本质，把问题的性质通过标准化的概念进行表述，这有利于后续的统计分析与总结报告。另一方面将记录事项标准化。持续性监测需要设定一段较长时间周期，在此期间内对若干机构，或业务类别进行有针对性监测，记录数据质量问题类别、性质、数量、发生的频率，主要涉及金融机构类别、地区或网点分布、初步原因分析，可以采取的处理措施等。

2.3.2 实施流程控制

梳理数据质量管理工作流程，实施流程化控制。一是详细问题记录，记录事项必须准确，无歧义；二是分配人员，根据对问题的诊断以及既定的职责分工，确定负责跟踪处理的人员以及监督人员；三是逐级上报，基于数据质量问题的影响，持续时间，问题的紧迫性等建立清晰的上报体系，通过系统实现并加以控制；四是监控数据质量问题处理进展情况，对逾期未完成的事项进行提示。

2.3.3 建立层级性反馈机制

反馈机制包括对内与对外两个层面。对内，建立不同层级外汇局间、技术部门与业务部门、不同业务部门间的数据质量问题提示与反馈操作程序，对于重大数据质量问题应通过全局性平台进行部门会商。对外，区分不同程度数据质量问题采取不同的反馈措施，对一般性质量问题，可通过接口反馈，邮件告知等方式进行提示；对重大质量问题或频繁发生的数据质量问题，需通过约谈高管、发送风险提示函等给予警示。

2.4 行动阶段

在行动阶段，一是要求金融机构及时处理外汇局发现的数据质量问题；二是实施通报考评，对金融机构数据报送质量水平定期进行考评；三是按照实践情况，对业务规则与监测指标的改进。

2.4.1 解决数据质量问题

金融机构应当及时修正数据，并从源头上查找数据质量问题的原因，纠正错误的数据报送流程，同时举一反三，杜绝相同类型事件的发生。对于数据质量问题严重的金融机构，必要时对其内控、人员、信息系统等进行全面的考核与检查。

2.4.2 实施通报考评

建立通报考评制度，奖惩结合，有效引导金融机构切实抓好数据质量管理工作。对数据质量状况良好的金融机构，适当降低非现场监测频率，减少现场核查的次数，将全面监测转变为抽样监测；对数据质量较差的金融机构，实施严格的数据质量监控，必要时可要求金融机构提供额外足以证明其数据质量符合要求的信息，或要求金融机构报送的数据颗粒度更小，细化程度更高。

2.4.3 总结与改进

通过实践总结，对制定的业务规则与监测指标进行再评估，修正原有的数据质量管理计划与规则，并进入新的循环。

3 FAL数据质量管理实践

我们将基于PDCA循环的外汇数据质量管理模型在对外金融资产负债及交易统计数据(简称FAL，下同)上进行为期一年的实践，取得了良好效果。

3.1 计划阶段

对外金融资产负债及交易统计数据是由境内金融机构、境外金融机构境内主报告行及其他指定机构申报的涵盖对外金融资产负债存量及流量的数据，包含直接投资、证券投资、存贷款等十一类数据，其数据为报表形式，共采集34张报表，根据相关政策规定，申报主体应及时、准确、完整地报送数据，同时考虑其报表统计类数据的特点，将其质量需求定义为准确性、及时性、完整性、有效性、一致性和合理性。相应的业务规则和监测指标(部分)，如表1所示。

表1 FAL业务规则和质量监测指标表

3.2 实施阶段

外汇局对FAL数据差错要求“零容忍”，一经发现申报数据中存在未报、漏报送、错报等问题时，均要求银行立即申报、修改。

在采集环节，对于能在接口端校验的规则(主要是有效性规则)通过接口规范对接口文件批量采集的数据进行有效性校验，对于不符合规范的文件将拒收，将错误信息反馈金融机构，同时在外汇局端记录错误情况，统计错误率，监测金融机构是否及时修正错误，同类错误是否连续出现等情况。

在监测环节，对于已入库数据按照准确性、一致性、完整性等规则进行检测，准确性和一致性规则具有较明确的业务逻辑和易实现性，因此可通过计算机程序进行自动校验，发现可疑错误数据，经外汇局确认后通过系统分发至金融机构端，金融机构可对错误进行修正和反馈，系统监测错误状态并实时统计规则错误数和错误率，以便后续阶段评估和跟踪处理。对于完整性规则，通过与国际收支申报系统、人民银行报表等其他外部数据进行横向比对，确定业务规模偏差程度，对比两者差异，查找差异原因。

在分析环节，主要依靠人工通过环比指标和大额指标结合经验判断数据合理性，并将异常数据发与金融机构确认，核实错误情况。如C01表金融衍生品C0109结算的原始币种选择“黄金”，其计价单位为盎司，而C0110、C0111、C0112等数值字段金额特别巨大时其金额可能错填成美元数量。

3.3 检查阶段

登记方面一是通过采集与管控平台的接口校验情况和核查结果自动记录错误历史信息，主要针对一致性、有效性、准确性等规则，对错误数据进行统计，如某表某规则的错误数、错误比例以及错误的改正情况，对问题进行初步确认，通过系统的交互功能对错误纠正状态进行监测；二是人工对所有错误项目进行登记分类，记录问题类型、描述、原因、处理建议、错误数等要素，从而为问题统计和分类评估提供依据。

在流程控制方面一是分配专人负责相应问题的跟踪处理；二是通过采集与管控平台确保问题的有效交互，通过系统自动化流程和人工确认相结合，使问题得到有效分发；三是监测问题处理进展，对逾期未完成的事项进行提示，核实问题处理效果，确保问题的及时有效解决；四是针对金融机构的反馈对规则进行维护，及时调整、完善核查规则，为下一轮循环奠定基础。

在层级反馈上根据数据质量程度采取不同级别的反馈措施，一是通过接口和管控平台的系统自动化反馈机制，使金融机构可及时看到错误反馈，修正后系统将更新错误状态，从而使外汇局能够跟踪问题处理进展；二是对于管控平台未处理错误采用邮件、电话等反馈形式，主要用于提示、问题交互及确认，例如对于及时性的提醒、对完整性和合理性的确认等，是目前最常要的一种反馈机制；三是对于出现严重质量问题或频繁出现问题且改正不积极的启动高管约谈机制或发出风险提示函。

3.4 行动阶段

金融机构是数据产生的源头，对于外汇局而言解决数据质量问题就是加强对金融机构的监督和指导，通过对接口程序和核查结果的监测，要求金融机构查找原因，改进接口程序、加强内控管理，跟踪问题处理进展，确保问题得到及时有效改正，同时将数据质量较好的金融机构的做法和管理经验进行宣传，促使金融机构更有效的提高数据质量，将数据质量问题尽量解决在金融机构内部。

为约束金融机构做好数据质量，调动其工作积极性，建立评分和通报考核制度，根据数据质量情况和考核评分标准对金融机构进行打分排名，并将考评情况向金融机构通报，引起金融机构重视。

总结与修正是对pdca循环所有步骤的利弊进行评估，是下一轮循环的依据。通过总结，一是将有效的规则、指标和管理方法、机制进行固化；二是发现不足和漏洞，对存疑规则进行修正；三是完善核查方法、提升管理效率，根据pdca循环过程中发现的问题设计新规则、新方法。总结和修正为下一轮循环奠定了基础，使数据质量不断提升。

4 实践效果

通过pdca不断循环，对外金融资产负债及交易统计数据质量得到显著提升，通过数据质量管理,外汇局和金融机构达到了双赢的结果。对于外汇局而言，数据质量管理流程和机制逐步规范化和标准化，人员职责清晰，核查效率提升，业务规则和监测指标不断丰富和完善，形成了良性循环。对银行而言，错误率不断下降并逐步维持在较低水平，一年来总体错误率从最初的30%下降到5%左右。主要是通过数据质量管理工作使影响质量的信息、技术、流程和管理四要素得到了很大改善。例如信息因素方面，通过代码表的及时更新使币种代码在金融机构和外汇局端保持一致，解决了有效性问题；技术因素方面，Z银行由于接口程序升级不当导致6月份接口错误激增，很快被数据采集与管控平台监测到，从而帮助银行找到原因并及时修复；流程因素方面，J银行发现主要问题是在接口人工复核环节未作修正而直接上报导致，因此加强了复核环节的核对和补录，降低了出错率；管理因素方面，金融机构管理水平得到显著提升，人员培训得到加强，从而解决了报送范围不明确、数据质量处理不积极等问题。

5 总结

本文研究了PDCA循环理论在外汇数据质量管理上的应用，定义了PDCA 4个环节的具体活动，通过用于对外金融资产负债及交易统计数据的实践，解决了很多实际问题，不仅数据质量得到提高，数据管理的机制体制也得到进一步加强。同时我们也看到数据质量管理的精度有待提高，很多细节需要进一步研究，如完整性、合理性的核查需要更智能化的方法。下一步我们将继续立足外汇管理实际，加强数据质量管理研究，在提升数据质量管理的同时提升数据质量管理工作效率。

[1] 郭志懋, 周傲英. 数据质量和数据清洗研究综述 [J].软件学报，2002,13(11):2076-2077.

[2] 杨青云,赵培英,杨冬青，等.数据质量评估方法研究[J].计算机工程与应用,2004,40(9):3-4.

[3] 丁海龙,徐宏炳.数据质量分析及应用[J].计算机技术与发展,2007,17(3):236-237.

[4] 张根保. 现代质量工程[M].北京:机械工业出版社,2000: 8-25.

[5] DAMA International.DAMA数据管理知识体系指南[M].马欢,刘晨等，译.北京:清华大学出版社,2012:213-230.

[6] 商广娟.有效的数据质量管理体系—21世纪管理的基石[J].航空标准化与质量, 2005(2):18-22.

[7] T Wiltschko,T Kaufmann.Quality Assured Road Information for ITS-Applications-the Quality Concept of EuroRoadS[C]// World Congress on Intelligent Transport Systems,San Francisco,2005,12:2491-2502.

A PDCA Based Model on the Application and Practice of Foreign Exchange Data Quality Management

Zhou Qiang

(Shanghai Headoffice Foreign Exchange Administration,the People’s Bank of China,Shanghai 200120,China)

There are many factors affect the data quality of foreign exchange, so data quality management is difficult in this area, quality of part business data is at the low level. To solve the problem, a new data quality management approach based on PDCA cycle is presented. In the planning phase,we define quality management needs,design business rules and quantitative indicators of data quality,and evaluate these rules and metrics.In the implementation phase,we determine the level of data quality and imprement to monitor data quality. In the checking phase, we do registration and evaluation of data quality, adopt system flow control and level feedback. In the action phase, we resolve data quality issues, circulate information and take assessment. Finally we summarize and correct all the phases.These four phases and 12 sub-processes form a closed loop and circulation mechanism for improving data quality. Through a year of practice in foreign financial assets, liabilities and transactions statistical data, data quality has been significantly improved, the internal and external factors of data quality have been effectively restrained.

PDCA; Data quality; Foreign exchange administration

周 强(1984-)，男，工程师，研究方向：数据挖掘、信息安全，上海 201203

1007-757X(2017)01-0062-05

TP311

A

2016.05.16)