高速公路交通状态识别模型

0引言

高速公路交通状态的精准识别是提升其运行效率的关键，早期的研究集中于双指数平滑法、McMaster和贝叶斯算法等数理统计算法[1-3]，后集中于模糊聚类、人工神经网络、支持向量机等机器学习方法[4-6]，以上研究多为利用单一参数或同等对待多元参数，但高速公路交通流时空分布不均使不同参数的影响程度不同[7]，如纯主线路段干扰少，速度参数影响程度高；而匝道附近路段分、合流使车辆加减速频繁，则流量参数的影响程度高，若不加以区分，会使状态识别结果存在一定误差。为区分多元交通流参数影响差异性，如李晓璐等[7]和余庆等[8]引入熵权法区分参数的影响权重以改进模糊聚类算法并建立相应的高速公路交通状态识别模型。但熵权法需要人为设置评价指标阈值以供其计算参数指标权重，这使其存在一定主观因素，且聚类算法参数设置敏感可能会出现特征提取遗漏问题，使多元参数特征不能有效融合，无法提供更多有效信息，状态识别准确性有待提升。而考虑多元交通流参数的状态识别算法关键在于特征的有效提取和融合。Transformer模型利用自注意力机制强大的学习和表示能力能够自主给予多元参数以合适权重，使其在特征提取过程中信息损失减少，精准性高[9-12]，同时并行化处理也可节约时间，近年来成为图像、文本分类的最新方法；且增强序列模型（EnhancedSequentialInferenceModel,ESIM）可以强化多元参数特征的相似性和差异性，进一步加强了信息的有效融合，提高了分类效率[13]，但其不涉及多元交通流参数的高速公路状态分类识别研究。基于此，本文考虑多元交通流参数对于交通状态影响差异性，基于Transformer-ESIM模型强大的自适应学习能力给予多元交通参数以合适权重并实现有效融合，建立高速公路交通状态分类识别模型，通过实际交通流数据予以验证。

1状态识别系统结构

1.1系统结构

本文构建的多元交通流参数高速公路状态分类识别系统结构如图1所示。其中描述交通流特性的参数指标包括车流量、平均速度和占有率。

1.2系统原理

基本原理如下：（1）信息采集子系统采集的流量、速度和占有率等参数数据存储在数据库中，并对数据进行预处理以满足交通状态分类识别和其他交通管理控制的需要。（2）将处理后的多元交通流参数输入到Transformer编码层并行化提取有效特征，其中编码层主要由多头注意力机制层和前馈神经网络层组成。（3）将编码后的序列输入到交叉注意力层，基于ESIM强化各交通流参数特征的相似性和差异性，缓解由于直接融合参数特征而忽略参数彼此间影响的问题。（4）将经过池化的有效信息特征输入到分类层中完成交通状态的分类识别。

2基于Transformer-ESIM交通状态分类识别模型

2.1Transformer编码层

为实现多元交通流参数数据的并行化特征的有效提取，减少训练时间，本文通过构建Transformer编码层解决。Transformer编码层由多头自注意力机制层和前馈神经网络层组成。2.1.1多头注意力机制。多头注意力机制利用自注意力操作可以给予不同特征以不同的权重来有效获取信息，流程如下：（1）输入经过预处理的流量、速度和占有率序列Xnn=(1,2,3)，第n类序列经学习矩阵WQH、WKH、WVH完成线性变换见式（1）至式（3），生成一组Qn、Kn、Vn权重向量并进行自注意力操作见式（4）。Qn=Xn•WHQ其中：SoftMax()•为非线性函数；dk为Kn的维度。（2）对第m个注意力头进行自注意力操作，见式（5），每个头对输入的交通流序列数据信息的关注程度存在差异，学习到的关系不同，待各头注意力计算完成后进行多头拼接可防止过拟合现象如式（6）所示，对比简单加权平均准确性更高。其中：Attention()•为自注意力机制计算函数；WmQn、WmKn、WmVn分别为Q、K、V线性变换后的权重矩阵；Wno为多头注意力机制的权重系数矩阵；h为自注意力头的数量；Concat()•为拼接多头的函数。（3）使用残差网络并进行层归一化来加快收敛速度，减少训练时间，见式（7）。其中：LayerNorm()•为归一化函数，Res()•为残差网络函数，yn为输入序列，fyn()为映射关系，Yn为完成层残差和归一化的序列数据。2.1.2前馈神经网络层。由于前馈神经网络层的输入和输出不存在依赖关系，其一般由全连接层和激活函数层组成，全连接层增加模型的线性学习能力，激活函数增加非线性学习能力，将经过多注意力机制处理后的向量Yn输入到前馈神经网络层，见式（8），并进行层残差和归一化完成最终编码，见式（9），以避免过拟合现象。其中：SoftMax()•为全连接层所用函数，Relu()•为激活函数层所用函数，W1、W2为前馈神经网络层的权重矩阵，b1、b2为前馈神经网络层的偏置。

2.2ESIM-交叉注意力层

多元交通流参数融合可提高状态识别准确性。但现有研究主要是对多元交通流参数分别提取特征再输入到一个特征融合层进行直接融合，而忽略多元交通流参数间的状态影响差和彼此间的相互作用。而ESIM交叉注意力机制可以强化不同交通流参数间的相似性和差异性，其流程如下：（1）相似性计算。计算不同交通流参数数据特征的相似度矩阵，获取多元参数间的相似信息如式（10）至式（15）。其中：ai、bj、ck分别为流量、速度和占有率经过多头注意力机制和前馈神经网络处理后得到的特征向量；eij、eik、ejk分别为流量和速度、流量和占有率、速度和占有率的相似度矩阵；ai、bj、ck分别为利用注意力机制获取的流量与速度和占有率的相似信息、速度与流量和占有率的相似信息以及占有率与流量和占有率的相似信息；l为向量内元素的个数；αa、αb、αc分别为流量、速度和占有率向量的自适应权重系数。（2）差异化增强。获取流量、速度和占有率之间的差异特征，通过对<ai,ai>、<bj,bj>、<ck,ck>进行差异操作和点积操作后拼接到原始向量后增强信息的差异性如式（16）至式（18）。其中：za、zb、zc分别后经过信息差异化增强的流量、速度和占有率的特征。（3）池化操作。对增强后的流量、速度和占有率序列数据进行池化操作来完成特征融合以提升模型鲁棒性，见式（19）。由于拼接后可能会存在对序列长度敏感，适应能力降低，因此，对三个序列进行平均池化和最大池化，并将最后的结果放入一组定长向量中来获得更好的效果。其中：pa,average、pb,average、pc,average分别为流量、速度和占有率的平均池化向量；pa,max、pb,max、pc,max分别为流量、速度和占有率的最大池化向量。

2.3分类层

充分考虑多元参数间差异性，在完成流量、速度和占有率的特征信息加强后进行畅通、稳定、拥堵和拥塞4种交通状态分类识别，采用SoftMax分类器输出特征融合数据pi每个状态类别的概率值，最后选择其中数值最大者的对应类别为预测的状态类别，见式（20）。其中：si为模型预测类别的输出概率；W3为全连接层的权重矩阵；b3为全连接层的偏置。选择交叉熵为损失函数如式（21），来完成模型参数训练及动态更新。其中：θ为模型要学习的所有参数；T为训练数据集大小，C为状态类别；gji为第i个样本所对应的第j个类别的实际输出概率值，sji为第i个样本所对应的第j个类别的预测输出概率值；所有参数由Adam优化器[14]完成。

3实验分析

3.1实验背景及设置

以京港澳高速保定互通→清苑为实验路段，该路段含5对出入口匝道和2座与其它高速互通立交桥，主线单向4车道，小、大车限速值分别为120km/h、100km/h，该路段为保定市绕城高速东环段，人们出行频繁，有明显高峰期特征，能呈现各种交通状态。利用河北高速公路公司预处理后提供的2019年10月的流量、速度和占有率数据进行实验。选择每周一到周五6:00~21:00其中2周的交通流参数数据，数据采集时间间隔为5min，参数数据正常，无异常点，利用成熟的状态评价体系，构成由畅通、稳定、拥堵和拥塞组成的4种状态数据库[15]，每种类别交通流参数包含1800条数据，共包含5400条数据，其中各类别数据分布情况如表1所示，并将数据集按4:1分为训练集和测试集。实验基于TensorFlow1.15框架完成，Anaconda版本为5.1.1，Python版本为3.8，CUDA版本为11.3，Keras版本为2.1，设置学习率为0.001，Dropout为0.5，迭代100次。本文选择正确率Accuracy作为模型的评价指标，见式（22）。

3.2实验结果及分析

为验证本文提出的状态识别模型的有效性，将多元交通流参数进行有效融合后的状态识别结果和利用不同参数融合后进行状态识别的结果进行对比，结果如表2所示。基于本模型，利用流量数据进行实验为情景1，利用流量、占有率数据为情景2，利用流量、速度与占有率数据为情景3，得到不同情景下的损失曲线变化情况如图2所示。由表2和图2可以看出：（1）不同类型的交通流参数对于状态影响程度存在差异性。识别精度占有率最高，流量其次，速度最低。这是因为在一定的时间间隔内，相对流量和占有率而言，速度的波动情况较频繁，对于模型的学习能力产生一定干扰，但识别准确性均在合理范围内，表明了方法的有效性。（2）随着融合交通流参数的类别增加，模型的准确性也在逐渐增加，对比单一参数数据，多元参数数据能够给予模型更多的有效信息，而Transformer模型利用多头注意力机制给予合适权重实现并行化提取多元参数的特征信息，且多元参数的特征进行相似性和差异性增强后，特征信息实现了有效融合，状态识别的准确性得以提升。（3）三种情景下，迭代开始时，损失函数值迅速下降，达到一定代数，损失函数下降速度变缓，最后趋于稳定，达到收敛，这表示本模型在不同情景下均有效，表明了模型的适应能力较强；情景1收敛速度最慢，约于50代实现收敛，期间波动次数较多，情景2收敛速度适中，情景3收敛速度最快，约于40代收敛，波动次数少，这是因为多元参数能提供更多有效信息给予模型，且本方法充分考虑到不同交通流参数的相似性和差异性，信息特征能够得到充分利用，因而能迅速达到收敛，减少了训练时间，这进一步证明了本方法的有效性。

3.3与其他方法对比分析

为进一步验证本方法的有效性，本文基于上述设置的三种情景，分别利用不同的方法进行分类识别。其中方法1为模糊聚类算法；方法2为BP神经网络算法；方法3为支持向量机算法；方法4为本方法未进行信息增强仅简单拼接；方法5为本方法。表3为不同情景下不同方法的状态识别准确率。由表3可以发现：（1）在不同情景下，随着交通流参数类别增加，不同方法的交通状态的识别准确度呈现增加趋势，这是因为随着交通流参数类别增加，各方法获取更多有效信息的机会增加，机器学习的能力得以进一步发挥，各方法能够更充分理解不同交通流参数数据中的特征信息，有利于得出精准的判别。（2）在不同情景下，对比模糊聚类、BP神经网络和支持向量机等传统的机器学习算法，基于深度学习的Transformer模型的状态识别精度较高，充分体现了Transformer模型的优越性，其所用的注意力机制给予不同特征以合适权重使得信息传递的过程产生的损耗较少，学习能力更强，并行化处理使更多有效信息被利用，训练时间更短，能够满足工程实际的需要。（3）对比方法4和方法5可以发现，将多元交通流参数进行简单拼接的状态识别效果稍差，这是因为不同类别的交通流参数的影响程度并不同，若仅是简单拼接，虽然模型接收的信息量增加，但不能使模型接收到的有效信息量增加，Transformer模型处理非线性问题的强大能力没有得到充分发挥，而经过ESIM交叉注意力层进行信息相似性和差异性增强后进行有效融合后使得该问题得以解决。

4结束语

利用实际的多元交通流参数数据进行实验，本文提出基于Transformer-ESIM的高速公路交通状态识别模型，实验结果表明：（1）在不同交通需求情景下，本方法的识别准确性均在有效范围内，特别是融合流量、速度和占有率后的准确性最高，充分体现了本方法能够充分利用多元交通流参数对状态影响的差异性；（2）在不同交通需求情景下，对比其他传统机器学习方法，本方法充分发挥Transformer对于非线性数据的处理能力，状态识别的精准度最高，充分体现了本方法的优越性，能够满足工程实际需要。本研究仅是初步研究，对大规模高速公路网络的状态预判以提升运行效率有待进一步研究。

作者:薛相全 庞明宝 单位:河北工业大学 土木与交通学院