装备综合保障包评价方法研究

时间：2024-05-04

(1.中国人民解放军92942部队，北京 100000； 2.北京钛航信息技术有限公司，北京 100041)

0 引言

综合保障包(Integrated Support Package,ISP)，也称产品保障包，是所有保障要素信息的综合并具有维修和保障活动的管理功能的一种信息产品，是保障系统的组成部分，保障包是产品保障系统的可交付成果之一，也是合同所要求的可交付成果。研制和交付产品保障包是产品保障分析[1]的目标，通过产品保障分析结果的后勤产品数据产生，并将保障系统各保障要素的有关信息打包，成为产品保障包的信息产品[2]。综合保障包包含了综合保障要素包和可应用的保障功能，是保障要素的可交付形式。它与将要部署的装备配套，作为保障系统的一部分交付。显然，保障包是保障要素的综合，传统的保障要素主要有十项。2011年，美国国防部在原有十项要素[3]的基础上，新增了产品保障管理和持续保障工程要素，形成了新的12项保障要素，如图1所示。

图1 新的综合保障要素及其相互关系

综合保障包(ISP)的研制结果是否符合要求，或者是否能够达到综合保障系统实现保障特性的水平需要进行评估或评价[4、5]。评价的时间贯穿装备的全寿命周期，即装备的论证阶段、装备的研制阶段和装备的使用维护阶段。作为随主装备同步交付的保障产品，需建立综合保障包验收评价方法体系。

通过研究分析综合保障包的评价方法和评价机制，确立保障包的评价时机、评价过程、评价内容、评价方法等关键评价要素的具体构成，从保障要素、保障包特性、保障包数据以及保障包信息系统等几个角度定量和定性的对综合保障包(ISP)的生成过程及成果予以评价，论证并分析保障包评价实施的过程、指标体系、评价模型，最终实现对保障包产品的综合评价和改进[6]。

1 综合保障包评价的一般要求

1.1 综合保障包的评价目标

综合保障包(ISP)是保障系统的数据产品和核心内容，与保障系统的设计、研制和交付同步。保障包的价值在于提供覆盖全部保障要素的信息资源以及保障活动的管理与协调，从另一个层面来看，保障包是装备保障方案的实践内容[7]，因此评价保障包的研制水平等同于评价装备保障方案的设计水平，评价保障包的过程实际上也是在评价装备保障方案的过程。

综合保障包(ISP)的评价是一项复杂的工作，需要组织来自多个层次和领域的专家共同决策。在评价的过程中可能运用定性的分析方法，或者定量分析方法，或者定性定量相结合的方法，也会是基于研讨的多种方法的综合运用。

对综合保障包进行评价，实质上是依据作战保障的理想模式，借助定量评估、定性说明及综合评价等手段，对使用综合保障包进行保障系统核心构建的作用效果进行全面评价，形成评价结论，出具评价报告的过程[8]。

根据作用效果，可以导出综合保障包(ISP)评价的核心目标为三性，即完整性、合理性和有效性。保障包的功能和结构根据保障要素进行设置，完整性评价考察的就是保障要素的覆盖度，合理性和有效性是对保障包对各保障要素进行协调一致和管理活动能力的客观评价。

1.2 综合保障包的评价对象

1.2.1 评价主体

综合保障包(ISP)的评估主体即是解决由谁来评价的问题。评价对象即评估主体，对于任何一个评估主体，由于自身特定的评估视角和认知态度的不同，具有其自身优势，然而不同身份的评估主体都有自身难以克服的评估局限，这些优势和局限性都会对评估效果的有效性产生较大的影响。因此需要多角度选择综合保障包的评估主体。

综合保障包(ISP)的评估主体主要来自3个方面。

1)装备保障主管部门:

即装备保障的管理和业务指导部门，作为评估主体之一能够从宏观上掌握装备综合保障系统和保障包研制的目标和方向，通过亲自开展评估和收集其他相关评估主体的信息反馈，能够取得更全面、真实、有效的信息，更好的发挥指导、监控作用。

2)装备保障实施者:

即装备保障的一线工作人员，包括保障指挥人员、保障管理人员、技术保障人员。装备保障实施者是整个装备保障活动的亲身体验者和直接受益者，作为评估主体，能够准确把握保障系统的使用效果、薄弱环节和关键着力点，是最直接、最客观的评估主体之一。

3)装备保障评估专家:

即院校和科研院所中装备保障方面的专家，他们要参与综合保障包评估的全过程。专家作为评估主体具有独特的优势，具有完全的独立性，不会受到任何的约束和限制，又具有一定的权威性和专业性。

1.2.2 评价客体

评估客体解决的是“评估谁”的问题。装备综合保障包的评估客体是指保障包的研制单位以及为保障包提供产品保障性分析数据的装备研制方。评价的直接对象是保障包的数据产品和信息系统。评价的主要内容是保障包的综合特性、保障包的保障要素、保障包的数据内容以及保障包的信息系统。

1.3 综合保障包评价的一般步骤

在准备对保障包进行评价之前，需要明确保障包的研制过程及阶段形式，如图2所示。

图2 保障包的研制过程

评估的步骤是有效进行评估的保证，一般步骤包括以下几步：

1)明确系统目标，熟悉系统方案；

2)分析系统要素；

3)确定评估指标体系；

4)制定评估结果和评估准则；

5)确定评估方法；

6)系统综合评估。

2 综合保障包的评价内容

2.1 综合保障包的评价流程

综合保障包(ISP)的评价过程是分布在装备的论证、研制和使用等全寿命周期各个阶段的。保障包的评价就是基于装备保障方案、保障系统设计以及保障包研制等相关数据和信息，按预期的评估目标构建评估指标体系，选择适当的评估方法，实现对保障包的综合评估，并对评估结果和各项指标进行具体分析，达到完全认识、改进综合保障包(ISP)总体水平及其发展的要求。

其评价流程如下：

1)明确评估对象；

2)构建保障包(ISP)评估指标体系；

3)建立保障包(ISP)评估模型；

4)保障包(ISP)信息需求分析；

5)保障包(ISP)信息收集与处理；

6)保障包(ISP)评估实施。

2.2 综合保障包的评价范围和内容

综合保障包(ISP)的评价范围包括四个方面：保障包综合评价、保障要素评价、保障包数据准备评价和保障包的信息系统评价方面。采用层次分析法(Analytic Hierarchy Process, AHP)构建保障包的三级指标体系，设置并优化指标权重模型。

保障包综合评价主要是围绕保障包的6个基本特性收集相关数据和信息，使用基础评价方法，建立评价模型，采用定性的方式整体评价综合保障包研制的合理性。保障包的六个特性即：层次性、交付性、覆盖性、功能性、综合性、持续性。

保障要素评价主要是围绕保障包所覆盖的12项保障要素收集相关数据和信息，使用基础评价方法，建立评价模型，采用定性、定量结合的方式评价保障包要素实现的完整性和有效性。保障要素主要分为资源类要素和管理类要素两大类，资源类要素主要包括保障设备、技术资料、训练及训练保障、人力和人员、设施和基础设施、计算机资源；管理类要素主要包括产品保障管理、设计接口、持续保障工程、供应保障、维修规划和管理。

保障包的数据准备评价主要是围绕保障包的数据内容、数据来源以及形成的数据产品成果(纸质或电子)进行相应的评价准备，针对数据的完整性、数据一致性以及数据关联性，采用定性、定量的方式进行完整性和有效性评价。

保障包的信息系统评价主要是把保障包的数据产品看成是一个信息系统，围绕典型信息系统的技术要求(需方)、需求分析(开发方)、功能和性能等内容的构成和设计进行合理性、完整性评价。

2.3 综合保障包评价的指标体系

构建装备综合保障包的评价指标体系，是非常复杂的系统工程，也是具有开创性的工作，可以采用文献总结、调查问卷、因子分析、层次分析等方法构建综合保障包的评价指标体系。

首先，多渠道、多方面从文献和实践中分析装备保障体系的构成要素和主要内容，了解并熟悉装备保障方案和保障系统设计的目标和内容，建立保障包评价的层次模型，提炼保障包评价的一级指标和二级指标，再通过问卷调查和因子分析方法，对二级指标进行分解，形成三级指标(基础指标)，从评估方式、评估要点等方面构建保障包的综合指标体系，分析评估指标的作用机理，最后经过实践和优化形成可推广使用的评估标准体系。

3 综合保障包的评价方法

3.1 采用层次分析法(AHP)实现评价指标综合的方案

在保障包的评价过程中主要采用层次分析法(AHP)[9]进行单指标问题分析和综合评价指标体系的设计工作。

层次分析法 AHP是根据问题的性质和要达到的目标分解出问题的组成因素，并按因素间的相互关系及隶属关系，将因素层次化，组成一个层次结构模型，然后按层次分析，最终获得最低层因素对于最高层的重要性权值，再进行优劣性排序。在AHP中递阶层次思想占据核心地位，通过分析建立一个合理有效的递阶层次结构对于能否成功的解决问题具有决定性意义。

使用层次法AHP进行保障包评价的一般步骤：

1)建立层次结构模型；

2)构造判断矩阵并求其最大特征值和特征向量；

3)单层排序的一致性检验及调整；

4)计算各层元素对系统目标的合成权重并进行排序；

5)总排序一致性检验及调整。

3.2 保障包综合特性评价方法

保障包综合评价主要是围绕保障包的6个基本特性收集相关数据和信息，使用基础评价方法，建立评价模型，采用定性的方式整体评价综合保障包研制的完整性、合理性和有效性。保障包的六个特性即：层次性、交付性、覆盖性、功能性、综合性、持续性[10]。

综合保障包(ISP)综合特性的评价方法主要是从保障的六个基本特性出发，评价其完整性、有效性和合理性。

完整性的评价目标主要是两个方面：一是结构完整性，即保障包的各项要素均已设计，没有缺项；二是内容规范性，即保障包的各项要素设计符合规范的要求。因此，开展保障包综合评价时，可从结构完整和内容规范这两方面入手。在保障包的综合特性评价过程主要是关注功能性特性和覆盖性特性两个属性的完整性。

有效性的评价目的主要是从保障包的运行效果进行评判，在装备论证和研制初期可采用仿真手段来进行评价验证；在装备的使用阶段时，则采用现场的保障互动信息收集和装备状态信息的收集方式进行研制。在保障包的综合特性评价过程主要是关注交付性特性和持续性特性两个属性的有效性。在装备使用阶段，保障包的有效性评价需要使用下图3的评价参数体系。

图3 保障包有效性评价参数体系

合理性的评价目标主要是用于评价保障包的承制单位依据研制要求设计的综合保障包的合理程度、适用程度，即综合保障包是否符合装备保障方案要求，实现保障系统核心需求，并且是否和现有的客户条件能够相适应。装备综合保障包的完整性反映的是要素的齐全，而保障包的合理性是在完整性的基础上判断各要素是否合理。在保障包的综合特性评价过程主要是关注层次性特性和综合性特性两个属性的合理性。

3.3 保障包信息系统评价方法

保障包的信息系统评价主要是把保障包的数据产品看成是一个信息系统，围绕典型信息系统的技术要求(需方)、需求分析(开发方)、功能和性能等内容的构成和设计进行合理性、完整性评价。如下图4为保障包作为信息系统的功能结构和组成。

图4 保障包作为信息系统的功能结构和组成

3.3.1 典型信息系统的评价方法和指标体系

因为对信息系统的评价具有多元化、多视角的特点，所以判断一个信息系统好坏与否，是一个比较难说清的问题。典型对信息系统的评价主要从系统功能、性能、易用性和扩展性等四方面进行考虑[11]。

1)系统功能评价：信息系统的功能和能产生的经济效益对于最终用户来说是最关注的问题。只通过几次功能演示达到让用户全面掌握大型信息系统使用的目的是非常困难的一件事情。但是数据和信息是信息系统需要处理的核心元素，所以可以考虑通过评价数据和信息的存储结构对信息系统进行功能评价。通过存储结构中的基础数据定义来认识系统能大大提高用户掌握信息系统使用的效率。当然，通过基础数据对信息系统功能进行评价只是一个必要条件，并不是一个充分条件，即任何信息系统的功能都离不开基数数据的定义[12]。

2)系统性能评价：稳定性和响应速度是信息系统正式运行后影响用户体验的两个重要指标。稳定性是指信息系统运行过程中发生故障的频率或概率；响应速度是指信息系统运行过程中从用户发出指令到指令动作执行完毕所花费的时间，这个时间越短越好。对信息系统的性能评价主要考虑这两个指标。

3)系统易用性评价：如果信息系统的操作非常繁琐，很容易使用户产生抵触情绪，进而发展为用户不爱用甚至放弃信息系统的情况，最终导致信息系统实施失败，所以信息系统的易用性是决定该系统能否实施成功的关键因素。而对易用性的评价也应从用户操作角度考虑，可以从用户操作频率比较高的几个方面进行考虑。一是用户交互界面，即UI界面，UI界面的设计应充分考虑到用户的个性化需求或偏好，对于用户频繁使用的功能应在系统主菜单或主界面中设计快捷菜单和按钮，尽量减少用户进入该功能需要点击的鼠标次数；二是可操作性，就是信息系统的使用流程是否符合用户的操作习惯，比如对于需要进行数据采集的信息系统在设计时应考虑与其他软件平台(如word、excel)的接口集成功能，这样可以方便用户将其他系统中的数据直接导入到信息系统中，如果数据量大还应考虑批量数据导入功能。总之，对操作性的评价标准就是是否简单、直观、易学易用；三是对专业业务领域的支持力度，即信息系统在设计时对专业业务的考虑是否周到、细致，是否能够提供支撑数据供用户进行决策操作，是否能够提供多种决策方案供用户进行选择，这些决定了用户使用信息系统进行业务处理时的灵活性与方便性。

4)系统可扩展性评价：可扩展性代表了当业务流程发生变化或产生新的业务流程时，信息系统是否能够通过适当调整来适应这些变化的能力，它也可称为系统的柔性。对于业务快速发展或变化较快的客户来说，选择一个可扩展性差的信息系统，后续存在很大的系统改造或重建风险。

以上四方面评价能够帮助用户或评价机构对信息系统整体进行一个评价，从而完成对信息系统的筛选。当然，最终对信息系统的选型还需要用户根据自身的业务需求、管理重点和实施目标，通过信息系统加载用户业务数据进行完整的流程展示后，结合展示过程慎重选择。

3.3.2 保障包的功能模块评价方法

保障包信息系统功能模块的评价过程，结合研制要求、保障系统设计要求，采用上述评估指标体系，评估保障包功能的完整性和有效性。

1)配置管理功能。综合保障包(ISP)应具有完善的配置管理体系，实现保障包全部数据和信息的配置管理功能，能够记录配置信息、控制配置项目的更改及其特性的变化。

2)维修计划和维修管理功能。综合保障包(ISP)应具有维修计划和维修管理功能，能够实现装备全寿命周期维修、保障方案与要求的制定、确立以及管理功能。

3)供应保障计划功能。综合保障包(ISP)应具有供应计划保障管理功能，具有为装备及其保障系统的保障实施确定、获取、接收、存储、转移、发放和处置过程的计划和管理功能。为装备准备和提交备件及用具等各种供应品的初始供应计划，并为后续供应计划的修改提供建议。

4)技术资料管理功能。综合保障包(ISP)应具有技术资料管理功能，具有对纸质文件(A类)、电子文件(B类)、IETM(C类)等不同类型的技术文件和技术图纸进行收集、存储、下载、检索、查询、分析以及版本控制等管理功能。

5)人力资源管理功能。综合保障包(ISP)应具有人力资源管理功能，能够记录和查询装备维修人力资源基本情况和培训考核记录，为安排装备周期计划、季度计划、周计划时选择合适人员的提供依据。在平时和战时装备的使用期内，保障包(ISP)能够根据使用和保障装备系统所要求的技能等级标准，确定人员使用和保障装备所要求的技能等级的能力。

6)训练管理和训练保障功能。综合保障包(ISP)应具有训练管理和训练保障功能，能够实现个人和团队的培训、新设备培训，正式培训和岗位培训，以及训练设备、训练设施的技术状态管理和信息管理功能。

7)大修功能。综合保障包(ISP)应具有大修计划、大修工作管理功能。

8)库存管理功能。综合保障包(ISP)应具有库存管理功能。

9)编码系统功能。综合保障包(ISP)应具有装备编码管理功能。

10)综合保障包(ISP)推荐具有装备IETM的信息接口和数据服务、数据转换服务功能或接口。

11)综合保障包(ISP)推荐具有装备PHM的信息接口和数据服务、数据转换服务功能或接口。

12)综合保障包(ISP)推荐具有产品保障分析功能和保障数据采集功能。

3.3.3 保障包的性能评价方法

保障包信息系统性能的评价过程，结合研制要求、保障系统设计要求，采用上述评估指标体系，评估保障包性能的合理性和可行性。保障包性能方面的指标有：

1)实用性。综合保障包中包含有各类保障要素，应具有其完备的功能，在部队装备日常保障工作和战时装备实时保障中均能发挥重要的作用。

2)易用性。综合保障包在设计时，应充分考虑界面布局的美观大方以及操作导引的清晰准确，相关专业操作人员以和非相关人员都可以轻松驾驭使用。

3)可恢复性。当装备系统软硬件发生故障时，依靠综合保障包所提供的完整的软硬件备份手段，应可以保证系统不间断运行，在一定的时间内将数据恢复到故障发生以前的状态。