基于驾驶行为基元的典型驾驶场景识别与提取方法

田浩东， 赵树廉， 古昕昱， 吴思宇， 姚紫阳

（1. 重庆大学 机械与运载工程学院，重庆 400044；2. 清华大学 车辆与运载学院，北京 100084；3. 中国汽车工程研究院股份有限公司，重庆 401122；4. 燕山大学 电气工程学院，河北，秦皇岛 066004）

自动驾驶汽车的运行与具体语境强相关，意味着驾驶场景中包含着具有巨大价值的信息。真实场景中所包含的信息，能支撑智能网联汽车的研发、测试和评价。其中，以大量真实路采数据为基础的场景提取和关键信息的挖掘，有效促进对算法的改进、测试用例的构建等具体研发工作。场景提取及关键信息挖掘包含交通数据获取、驾驶场景提取及驾驶场景关键信息挖掘。场景数据来源是基于场景数据测试方法的基础，其目的为后续提取驾驶场景，分析交通行为特征和场景构建提供数据基础。一般而言，场景数据来源主要分为知识类来源与类来源。其中，知识类场景数据来源主要包括通过不同方式展现出来的抽象信息、国家制定的有关标准规范及现实中的典型案例数据。而数据类场景数据来源主要由场地测试、道路测试和数据采集所得出的实际数据。驾驶场景提取为从大量采集到的数据中提取典型场景和危险场景。场景分析是对提取出来的场景的行为关键特征进行分析，为后续构建危险场景提供要素。

驾驶场景提取的目的是从大量采集到的数据中过滤与安全无关的交通数据，并提取影响安全的典型场景和危险场景。对于驾驶场景提取问题，查仁方等［1］发明了基于车辆的行驶数据帧、目标相对车辆的相对行驶数据帧及根据目标驾驶场景的第一阈值特征和第二阈值特征来确定跟踪目标物的方法。王羽瑾等［2］提出了一种基于匝道区域范围和预设第1时刻第2点位置信息目标物起始终点位置、适用于匝道场景的场景提取方法。叶福恒等［3］提出了一种基于驾驶数据分区序号列和编号，适用于高速自动驾驶功能跟车场景、切入场景和切出场景的提取方法。刘明等［4］提出了一种基于深度学习的危险场景提取方法。王羽瑾等［5］提出了一种基于时刻和阈值的跟车场景的提取方法。崔博非等［6］提出了一种基于视觉SLAM 静态特征的泊车场景提取方法。宁小娟等［7］提出了一种基于点云的室内场景物体提取方法。周景岩等［8］提出了一种上下匝道行为场景数据采集、识别与提取方法。张宇飞等［9］提出了一种基于自然驾驶场景数据特征点的场地测试用例提取方法。邢智超等［10］提出一种跟驰行为场景数据采集、识别、分类提取系统及方法。陆思宇等［11］提出了一种基于信号规则的自动驾驶前车切入场景提取方法。郭洪艳等［12］提出了一种针对人机共驾测试的侧方插入场景提取方法。杜莹等［13］提出了一种车辆循线行驶场景提取方法。李卫兵等［14］提出了一种泊车典型场景的提取方法。陈华等［15］发明了用于智能驾驶系统测试的典型自然驾驶场景识别提取方法。石娟等［16］提出了一种自动驾驶前车切入切出场景提取方法。吴平等［17］发明了一种基于自然驾驶数据的泊车场景提取系统和方法。ZHAO Jinxin等［18］提出针对大量车辆驾驶数据的综合数据聚类框架，解决现有依赖于手工特征场景提取的方法。MEN Jianfeng 等［19］提出驾驶场景补充类平衡网络来解决边缘驾驶场景识别问题。总体来看，国内外的相关研究主要是基于固定预设规则来进行分类场景提取，然而，基于固定预设规则提取方法通常仅限于单一的特定场景提取，很难适配日趋复杂的自动驾驶车辆真实驾驶环境，且不利于后续形成标准化、完整化的场景提取框架。

因此，针对上述问题，本文通过定义6 种典型驾驶场景，并进一步将其解耦为独立的最小驾驶行为单元，同时将其定义为场景基元用来表征整车系统在执行感知-行为-决策这一过程中的状态序列，并将基元建立为特定的数学模型，设定基元的提取规则。从数据集中提取出典型场景，作为后续场景行为分析的基础，完成基于驾驶行为基元的典型驾驶场景识别与提取模型构建。最后结合特征参数分布模型，建立场景关键特征提取与分析的方法框架，并在中国真实路采数据上应用该方法，挖掘中国典型驾驶场景特征以验证该方案的可行性。

1 典型自然驾驶行为建模与提取

典型驾驶场景是具有特定特征，在真实世界中出现频度较高的场景。典型驾驶场景具有高暴露、易捕获、关键性等特点。典型驾驶场景的信息对于构建特定的驾驶策略，优化相应功能系统，提高智能网联汽车安全性和舒适度具有重要意义。

场景是由实体的交互构成的动态序列，驾驶行为是驾驶场景中最关键的动态要素。由于不同的驾驶目标和驾驶习惯，长期的驾驶状态序列呈现复杂多样的情况。然而，在道路法规和物理约束下，短期的驾驶行为具有一些典型的特征和类型。通过对自然驾驶条件下典型驾驶场景的共性行为特征进行分析和挖掘，可以总结出相应的驾驶行为基元，进一步建立典型驾驶场景与驾驶行为基元的数学化与符号化理论模型。根据驾驶行为基元定义，对其关键特征进行分析，提出一种驾驶行为基元提取算法，为后续典型驾驶场景的提取提供算法基础。

本文以典型驾驶场景为核心展开研究，其技术方案如图1所示。

图1 自然驾驶行为场景提取技术路线

1.1 典型自然驾驶行为分析

基于驾驶行为基元的典型驾驶场景识别与提取方法的基础是对典型驾驶场景的行为进行切片分析，挖掘共性行为，从而提炼出驾驶场景基元。此外，典型驾驶行为基元要求能适配多车行为的复杂交互和单车行为的频繁变化，并具有一定的可组合性。从自车视角出发，典型场景通常分为跟车、换道、超车、目标车切入、目标车切出几种。下面总结场景进行分析。

1.1.1 自由行驶

自由行驶为自车前方目标车距离较远或无目标车，自车无明显横向运动变化或特征。将保持在同一车道上沿车道行驶这一行为确定为直行，是一种自由行驶下的运动方式，如图2 所示。其中，考虑弯道情况，进一步将直行扩展为广义直行，即包含在直道与弯道上车辆未发生换道的动态驾驶行为。

图2 自由行驶场景

1.1.2 跟车行驶

目标车与自车在同一车道上沿车道行驶，自车行驶在目标车之后紧随目标车。在跟车过程中，目标车和自车都未发生换道行为，车辆主要行为均为直行，如图3所示。

图3 跟车行驶场景

1.1.3 换道行驶

换道可分为向左换道和向右换道。向左换道时，目标车与自车在同一车道上，行驶在自车前方，一段时间后，自车转向，向左跨越车道线，并行驶在自车左侧相邻车道。其中，车辆主要行为分别为向左跨越车道线行驶与直行，如图4 所示，可拆解为①、②、①。向右换道与向左换道类似，车辆主要行为分别为向右跨越车道线行驶与直行，可拆解为①、③、①。

图4 换道行驶场景

1.1.4 超车行驶

超车可分为向左超车和向右超车。向左超车时，目标车与自车在同一车道上，行驶在自车前方，自车首先执行向左换道动作，在自车超越目标车后，执行向右换道动作。其中，车辆主要行为分别为向左跨越车道线行驶、直行、向右跨越车道线行驶与直行，如图5 所示，可拆解为①、②、①、③、①。向右超车与向左超车类似，车辆主要行为分别包含向右跨越车道线行驶、直行、向左跨越车道线行驶与直行，可拆解为①、③、①、②、①。

图5 超车行驶场景

1.1.5 目标车切出

目标车切出可分为向左切出和向右切出。目标车向左切出时，目标车与自车在同一车道上，行驶在自车前方，自车首先执行跟车行驶动作，随后目标车执行向左换道动作。其中，车辆主要行为分别为直行、向左跨越车道线行驶（目标车）、直行（目标车），如图6 所示，可拆解为①、②、①。目标车向右切出与向左切出类似，车辆主要行为分别包含直行、向右跨越车道线行驶（目标车）、直行（目标车），可拆解为①、③、①。

图6 目标车切出场景

1.1.6 目标车切入

目标车切入可分为从左切入和从右切入。目标车从左切入时，目标车行驶在自车相邻的左侧车道上，位于自车左前方位置，自车首先执行跟车或自由行驶动作，随后目标车执行向右换道动作。其中，车辆主要行为分别为直行、向右跨越车道线行驶（目标车）、直行（目标车），如图7 所示，可拆解为①、③、①。目标车从右切入与从左切入类似车辆主要行为分别包含直行、向左跨越车道线行驶（目标车）、直行（目标车），可拆解为①、②、①。

图7 目标车切入场景

1.2 典型自然驾驶行为基元定义

考虑场景动态的关键要素，典型驾驶场景可通过车辆类型、车辆位置以及驾驶行为基元3 个关键要素进行定义。其中，车辆类型分为主车和目标车，车辆位置可根据主车及目标车的相对位置以及所处车道确定。以主车为中心，对主车产生影响的全部车辆潜在位置划分为8 个区域，如图8 所示，通过纵、横两个方向对其进行数字化，在主车的前方、平行及后方向分别用1、0、-1 表示，主车左车道线、主车车道线以及右车道线分别用-1、0、1表示。驾驶行为基元包含广义直行、向左跨越车道线行驶、向右跨越车道线行驶3个基本行为单元。

图8 驾驶场景区域

则上述不同的典型驾驶场景可表示为：

式中：Ψ为驾驶场景；∨(·)为并集；∧(·)为交集；Cρ在ρ为subject，object 时分别表示车辆类型为主车与目标车；Ωlong为-1、0、1时分别表示相对主车后方、与主车处于同一水平、相对主车前方的3 个不同纵向相对位置；Ωlateral为-1、0、1 时分别表示位于主车所在车道左侧相邻车道、与主车处于同一车道、位于主车所在车道右侧相邻车道3 个不同横向相对位置；Flaterallong表示与主车的纵向、横向相对位置关系；Qϱ在ϱ为Gstraight，Tleft，Tright时分别表示广义直行、向左跨越车道线行驶、向右跨越车道线行驶3 种不同驾驶行为基元；ω为0，1 时分别表示该位置不存在车辆以及存在主车/目标车；iϱ为该场景中对应的目标车类型ρ的iϱ个驾驶行为基元；Iϱ为该场景中目标车类型ρ的总驾驶行为基元数量。

1.3 典型自然驾驶行为基元建模

1.3.1 广义直行基元模型

如图9 所示，考虑到车辆无论在直道或弯道上行驶，在一定时间内，车辆与车道之间的距离dv2l都保持在一个相对不变的状态。同时，对于在直道上的驾驶行为，车辆的航向角与车道线基本保持平行；对于在弯道上的驾驶行为，车辆的航向车道线的切线夹角θv2l基本保持不变。

综上所述，将广义直行定义为一定时间内，车辆与车道线之间的距离变化量，车辆航向角与车道线切线的夹角同时保持在可接受变动范围内（较小范围），其表征函数为：

式中：

为确定驾驶行为为广义直行的最少时间常量；K为距离常量；ε为角度常量。

1.3.2 左跨越车道线基元模型

如图10 所示，向左跨越车道线场基元含有Ps、Pc和Pe三个关键点区域。其中，Ps为左跨越车道线基元的起始区域，在Ps区域中车辆距离车道线的距离dv2l保持在一个相对不变的状态；Pc为车辆跨越车道线区域，在Pc区域中由于车辆所处车道的改变，车辆距车道线的距离dv2l发生跳变；Pe为左跨越车道线基元的终止区域，在Pe区域中车辆距离车道线的距离dv2l保持在一个相对不变的状态。这一特性也适合于向右跨越车道线基元。

图10 向左跨越车道线

因此，可以根据距离车道线的距离跳变来确定是作为跨越车道线的依据。其表征函数为：

同理可得左跨越车道线基元特征：

1.4 典型自然驾驶行为基元提取方法

采集数据包含时序形式下自车和周围环境车辆的状态变量：

基于上述时序状态变量，进行简单运算可以进一步获得包括TTC、THW 等高阶状态信息。结合前述所定义的驾驶场景基元，可以基于基元特征规则化地主动对场景动态信息进行提取、归类或标签。

广义直行驾驶行为基元ϱ=Gstraight时的判定方法如图11所示。其实现过程为：

图11 广义直行判定流程

步骤一：采用宽度为的滑动时间窗从第i帧自然驾驶数据所对应的时间戳ti向后迭代，假设时间窗内的第1 帧为第j帧，最后一帧为第k帧。则有：

式中：tk，tj分别为第k帧、第j帧自然驾驶数据所对应的时间戳。

步骤二：计算时间窗内的距离车道线的距离和车辆航向与车道线切线方向的夹角，若满足：

式中：Ω ={j，…，k}；∩表示同时满足条件；为车辆在第i帧时，车辆航向与车道线切线方向的夹角；εstraight，ϵstraight分别为广义直行基元中的距离阈值与角度阈值。则该基元为广义直行驾驶行为基元，否则，跳转至步骤一，并有：

根据跨越车道线行为基元特征来判断车辆是否该行为跨越车道线，向左跨越车道线行驶、向右跨越车道线行驶两种驾驶行为基元ϱ=Tleft，Tright时的建模方法如图12所示，具体步骤为：

图12 跨越车道线模型判定流程

步骤一：假设从第i帧开始，计算相邻两帧自然驾驶数据对应的时间戳之间的时间差值Δt。

式中：ti为第i帧自然驾驶数据所对应的时间戳。

步骤二：判断是否满足Δt＜Tthreshold，若满足则转至步骤三，否则i=i+ 1，并重复步骤一。其中，Tthreshold为最小时间差判断阈值。

步骤三：计算相邻两帧车辆距离左侧车道线的距离变化量Δd。其中，车道线的相关信息以摄像头传感器所在位置为坐标系原点根据左手定则建立直角坐标系进行。

式中：v2l为车辆与车道线的关系；为车辆在i帧时到车道线之间的距离。转至步骤四。

步骤四：判断是否满足|Δd| ＞D，若满足就进行下一步，否则i=i+ 1，并重复步骤一。其中，D为车道宽度判断阈值。

步骤五：采用宽度为Tchangewidth的滑动时间窗从第i帧的时间戳ti向前回溯，假设时间窗内的第1 帧为第j帧，最后一帧为第k帧，则有：

式中：tk、tj分别为第k帧、第j帧自然驾驶数据所对应的时间戳。

步骤六：计算时间窗内的距离车道线的距离和车辆航向与车道线切线方向的夹角，并判断是否满足式（15）。

式中：Ω ={j，…，k}；∩表示同时满足条件；为车辆在第i帧时，车辆航向与车道线切线方向的夹角；εchange，ϵchange分别为向左跨越车道线行驶、向右跨越车道线行驶两种驾驶行为基元中的距离阈值与角度阈值。若满足式（15），则判断该行为为跨越车道线行为。其中，第k帧对应的时间为跨越车道线起点。同理，从ti向后推导判断跨越车道线终止点。

步骤七：判断是否满足Δd＞D，若满足则判断为向右跨越车道线驾驶行为基元；否则判断是否满足Δd＜-D，若满足则判断为向左跨越车道线驾驶行为基元；若均不满足，则跳转至步骤五，并有：

2 试验验证与分析

由于不同国家历史传统和地域特征存在差异，驾驶法规和行为习惯也有所区别。我国幅员辽阔，不同地区有不同的驾驶行为习惯，因此，需要去挖掘具有中国特色的驾驶行为特征。本文以文献［20］所述的多源信息采集为基础，通过试验、分析和总结对前述所提场景特征提取方案进行实践验证。

2.1 数据集基础

为支持本文的研究，利用文献［20］介绍的数据采集平台车采集具有中国地域特色的自然驾驶交通数据。本研究累计完成100 万公里的道路数据采集。采集区域涵盖东北、华北、华东、华西、华中、西南、华南等区域。如图13 所示，采集道路分布为高速公路43.3%，城市道路30.9%，国道省道23.6%，其他道路2.2%。自然驾驶数据涉及多种地形，构成了多样化自然驾驶数据库。

图13 数据集采集类别概况

参与自然驾驶数据采集的驾驶员数量超过60人，由于要进行长时间全国区域驾驶数据采集，因此，驾驶员以男性为主（96.61%）。驾驶员的年龄为20～55 岁，在确保驾驶安全的情况下，参与采集的驾驶员均具有不同的驾驶经验，在一定程度上覆盖了中国驾驶员可能经历的各种驾驶场景，以保证采集的驾驶数据更加全面，尽可能广泛地涵盖不同驾驶员所触发的驾驶场景。

2.2 行为基元提取试验验证

为了验证基于驾驶行为基元的识别与提取方法的准确性，本研究定义了评价指标。对于数据挖掘方法而言，常用的模型评价指标主要有：

1）准确率，表示被提取或分类正确的样本数量占全部样本数量的比例；

2）精确率，表示提取或分类正确的正样本个数占提取模型判定为正样本个数的比例；

3）召回率，是指提取或分类正确的正样本个数占真实正样本个数的比例；

4）错误率，与准确率相反，描述被提取或分类算法分错的比率。在计算上述指标之前，首先对基本混淆矩阵进行定义。

表1 基本混淆矩阵

因此，上述指标可以分别表示为：

准确率（Raccuracy）：

精确率（Rprecision）：

召回率（Rrecall）：

错误率（Rerror）：

基于上述指标，将本文所述基于驾驶行为基元的典型驾驶场景识别与提取方法在中国汽研的场景提取生成云平台软件i-STAR 中作为模块实现，通过对10 000个场景数据进行建模分析，并与实际场景进行对比验证，其准确率见表2。

表2 驾驶行为基元试验结果

3 结论

考虑到驾驶场景识别和提取是高效分析基于自然驾驶数据的驾驶行为的基础，在实现场景高效准确提取的关键问题中，本文基于大量自然驾驶数据自动识别典型驾驶场景展开研究，借助典型驾驶场景分析、驾驶行为基元建模、驾驶行为基元组合、驾驶场景提取等关键技术手段实现了面向自动驾驶车辆功能开发与测试的典型驾驶场景自动化识别与提取，最终提出了一种具有多场景覆盖且通用程度高的基于驾驶行为基元的典型驾驶场景自动识别与提取方法。该方法将驾驶场景分解为车辆类型、车辆位置和驾驶行为基元三大要素，并基于三大要素对典型驾驶场景建立了数学模型，从而实现了驾驶场景和驾驶行为基元的通用化描述，使复杂场景简单化。此外，该方法面向自动驾驶车辆研发与测试的全生命周期，通过驾驶行为基元的特征分析，研发了基于规则的驾驶行为基元提取算法和基于要素组合的驾驶场景识别方法，实现对自然驾驶场景高效快速的自动化提取，从而有效促进自动驾驶车辆的大规模仿真与道路测试应用落地。