露天矿山边坡变形监测的改进型IQR粗差探测方法

时间：2024-07-28

卢楠董元锋郭世泰吴浩王晓丽张祥

（1.武汉理工大学资源与环境工程学院，湖北武汉430070；2.华中师范大学城市与环境科学学院，湖北武汉430079；3.临沂大学物理与电子工程学院山东临沂276005）

由于露天矿山边坡变形监测环境的复杂性，监测设备（GPS、测量机器人等）时常受到多种因素的干扰，导致监测数据序列出现突变的异常值，即粗差［1-3］。为进一步提升变形监测精度，有必要对监测数据序列中的粗差进行有效探测和剔除。目前，常用的粗差探测方法主要有3σ准则法、狄克逊准则法、格拉布斯准则法以及四分位距（inter-quartile range，IQR）准则法［4］。3σ法以数据序列误差服从正态分布为前提，分别计算其平均值和标准差，从而构建粗差判别式进行粗差识别，应用较简单、方便，但粗差的干扰会造成基于贝塞尔公式估算的标准差偏大，导致粗差探测效果不理想［5］；狄克逊准则法也以数据序列误差服从正态分布为前提，根据极差比的大小对粗差进行探测和剔除，对于不同的数据序列，一般会选取不同的极差比进行自适应性计算［6］；格拉布斯准则法对于粗差的判别原理与3σ法类似，但在判别过程中，增加了对数据长度序列的判别因子，计算相对繁琐，并且该方法与狄克逊准则法仅适用于小样本数据的粗差探测［7］；IQR法对数据误差分布无依赖，是一种稳健统计分析方法，其中位值和标准四分位距不易受粗差影响，用两者分别代替统计方法中的平均值和标准偏差对粗差进行总体估计，再通过稳健Z比分数统计量探测数据中的极端异常值（粗差）。IQR法对于偏离假定模型的观测数据具有良好的适应性，但对于离散度较大的观测数据，其四分位距会随之变大，使得稳健Z比分数统计量对于偏离度较小的粗差探测效果不理想［8-11］。为有效探测露天矿山边坡变形监测数据序列中的粗差，本研究将小波分析、3σ法与IQR法相结合，对常规IQR法进行改进，以进一步提高该方法对偏离度较小粗差的探测敏感度。

1 改进IQR法原理

1.1 3σ法

3σ准则在实际应用中是以监测数据序列所包含的误差满足正态分布为前提，并且重复测量次数也应达到一定的数量级［12］。设某一数据序列为Xn={x1,x2,...,xi,...,xn}，其算术平均值为

当|xi->3σ时，则xi为异常值，予以剔除；反之，xi为正常值，予以保留。

1.2 IQR法

对于任意一组离散的观测数据序列，将其由小至大排列后获得一个新的观测数据序列，可采用中位值M和标准化IQR对新序列数据的集中度和离散度进行评价［13］。中位值为新序列的中间值，IQR为低四分位数和高四分位数的差值（低四分位数和高四分位数分别为新序列第25%和75%的数值），即：

式中，Q1、Q3分别为低四分位数和高四分位数。

IQR法的稳健Z比分数计算公式为

式中，xi为新序列中的第i个数据；s为标准化处理后的IQR值，s=0.741 3IQR。

当统计量 ||Z>3时，可认为xi为粗差值。

1.3 改进型IQR粗差探测法

本研究采用小波分析法对常规IQR法进行改进。主要思路是通过小波分解提取低频系数［14-17］，并对其进行重构得到变形趋势；然后根据变形趋势得到监测数据序列的残差序列，在残差序列的基础上利用常规IQR法进行粗差探测（图1）。

2 仿真试验

试验首先通过模拟得到一组噪声标准差为6σ且服从正态分布的随机误差序列，然后将噪声标准差大于3σ的数据加入到不含粗差的原始数据中，最终得到含有粗差的变形监测数据序列。试验数据由MATLAB软件生成，模拟变形监测数据序列的采样间隔为4 h，共1 096个数据，其中粗差数据有80个（图2）。

分别采用3σ法、IQR法及改进型IQR法（小波分解层数为6）对图2所示的数据序列进行处理，结果见图3。由图3可知：3σ法可以探测到变形监测数据序列中的大部分粗差，IQR法仅能探测到少部分粗差，而改进型IQR法几乎可以探测到所有的粗差点。

在上述试验的基础上，分别将变形监测数据序列长度设置为548、1 096、1 644、2 191，对应的粗差污染率分别为8.94%、7.30%、8.70%、6.62%，3种方法的探测效果见图4。由图4可知：3σ法随着变形监测数据序列长度的缩短，粗差探测效果有降低趋势，尤其是在序列长度由1 096缩短至548时，该方法的总体粗差探测率低于80%；IQR法随着变形监测数据序列的缩短，粗差探测效果逐步提升，但总体粗差探测率也低于80%；改进型IQR法不易受到变形监测数据序列长度的影响，总体粗差探测率保持在90%左右。