近几年，深度学习在电力系统巡检领域成为了研究热点，原因是深度学习可以有效地用于图像生成和图像分割。然而用深度学习来检测物理对象的输出结果并不够直观。
目前增强现实（augmented reality，AR）技术能提供直观的可视化交互结果。本文针对传统可穿戴AR技术在态势感知任务辅助方面存在的有效支持不足的问题，提出了一种基于深度学习和AR技术辅助的智能故障检测方法。通过扇叶图像检测扇叶是否存在缺陷，验证本文所提方法的有效性。
1
基于深度学习的可穿戴AR智能任务辅助
将基于深度学习的目标检测和实例分割技术与可穿戴AR技术相结合，在实现空间定位和绘制周围物理环境的同时，为用户提供以自我为中心的高效任务辅助。
态势感知在任务辅助方面发挥着重要作用，可穿戴AR技术在任务辅助方面具体工作如下：
用户佩戴AR智能眼镜（HoloLens）在真实环境中行走，并查看与任务相关的风电设备，HoloLens捕捉物理视频图像自动发送到深度学习服务器进行图像处理。
由于AR智能眼镜的硬件和软件限制，深度学习服务器单独安装，使用图形处理器进行实时的目标检测和实例分割，最后将对应的三维模型在AR智能眼镜中展示出来。
风机部件的1:1内置三维模型如图1所示。
图1. 风机部件内置三维模型图
1.2.1 Mask R-CNN图像处理
Mask R-CNN采用两个阶段进行实例分割。
第一阶段为扫描图像并生成建议框。
第二阶段为对建议框进行分类并创建边界框和掩码。
Mask R-CNN为每个采样区域定义了多任务损失函数。
①交叉熵损失函数 Lcls(p,u)：
式中：pi表示感兴趣区域是目标的概率预测值，pi*表示感兴趣区域不是目标的真实值。
②box_reg损失函数Lbox_reg：
式中：ti*为目标边界框的4个顶点坐标，ti为ti*的预测值。
③掩码损失函数LMask：
式中：Lbee为二元交叉熵损失函数，xi为预测出的掩码，xi*为真实的掩码。
图2展示了在训练任务辅助数据集完成后，如何在深度学习服务器上高效利用MaskR-CNN算法，对AR智能眼镜捕捉的图像进行精确物理物体检测并细致分割其对应区域的过程。
图2. MaskR-CNN架构框图
1.2.2 YOLOv7 图像处理
全卷积定义式为：
式中：z(u,v)为卷积核在位置(u,v)的卷积结果，u、v为卷积核的长和宽；xi,j为输入图像在位置(i,j)处的像素点；ku-i,v-j为像素点对应的权值；n为卷积核的维度。
将卷积核矩阵K旋转180°得到Krot，代入全卷积定义式得到有效值卷积的定义式：
式中：xi+u,j+v为输入图像在位置(i+u,j+v) 处的像素点，kroti,j为像素点对应的权值。
通过正向传播计算激活值，假定输入层是第(l-1)层，它的输入特征图是Xl-1(m x m)，特征对应的卷积核是Kl(n x n)，给每一个输出加上一个偏置单元bl，得到卷积层的输出为：
在实际应用中，通常需要用归一化层规范卷积层的输出特征，即归一化处理，这不仅有助于加速网络的收敛速度，还能在一定程度上增强模型的泛化能力，确保模型在各种场景下都能表现出稳定的性能。归一化处理的公式为：
式中：x为输入特征图的特征值；y为卷积输出值；γ和β分别为尺度和偏移参数；μ为当前层特征值的平均值；σ为当前层特征值的方差，用于将特征值数据进行缩放，使其具有单位方差。
YOLOv7是一种基于单阶段检测的目标检测算法，其实现思路如图3所示。
图3. YOLOv7实现思路
在目标检测任务中，YOLOv7使用CIoU作为划分正负样本的依据，进而计算损失函数，CIoU的计算公式为：
式中：IoU为预测框和真实框的交并比；α为权重系数；d为两个边界框的宽度和高度之差的平方的标准化项；b为预测中心坐标；bgt为真实目标边界框的中心坐标；c为两个矩形的最小外接矩形对角线长度；p为b和bgt之间的欧氏距离。基于CIoU指标的损失函数LCIoU定义为：
YOLOv7的损失函数采用平方和误差（sum-squared error）整合定位误差（边界框坐标误差）和分类误差，如果定位误差和分类误差的权重相等，可能会导致模型训练不稳定，甚至发散。因此，在计算损失函数时，需要增加定位误差的权重，同时降低未包含目标的边界框置信度损失的权重，以便提升模型训练的稳定性并确保模型性能最优化。
2
为了验证本文所提方法的正确性和有效性，对风电扇叶进行图像检测实验。在可穿戴AR环境下，使用基准标记对所提方法与传统可穿戴AR方法进行比较。较评价
2.1.1 实验设计
硬件方面，采用Intel Core i5处理器，搭配8GB的RAM和256GB的SSD以及NVIDIA GTX 1060图形处理器。操作系统为Windows 8.1或更高版本的64位操作系统。
软件方面，采用.NET framework 4.0，Microsoft Visual C++ 2017、Java 9。
要求受试者使用两种不同的方法将虚拟物体与实物进行匹配：
1）通过可穿戴AR眼镜扫描对应设备的二维码，查看相应设备的功能及相关信息；
2）直接现场扫描相应设备即可查看该设备的相关信息。
在扫描二维码查看设备信息的实验中，首先将所需查看的设备进行统一建模，然后生成对应的二维码录入可穿戴AR眼镜中，用户可以通过AR眼镜扫描设备上的二维码，即可查看相应设备的模型和数据信息，如图4所示。
图4. 设备统一建模映射关系图
当用户在现场查看实物时，系统可以展示扫描的实物模型及相关信息。首先，用户使用可穿戴AR眼镜在现场扫描相应的设备，获取设备图像。
然后，使用MaskR-CNN对图像进行分割处理，实现对目标物体的检测。
最后，根据录入的实物照片，系统展示设备对应的3D虚拟模型，使得3D虚拟模型在匹配的实际物体位置上得到强化。
此外，用户还可以通过平移和旋转操作微调虚拟物体模型，如图5所示。
图5. AR系统生成对应设备模型图
2.1.2 实验分析结果
在二维码标记方法中，受试者在执行任务前，会花费大量时间在可穿戴AR中搜索物体上的二维码。而采用本文所提方法，受试者不需要完成这个步骤，因为物体的位置会自动扫描和学习，并不断地被记录下来。
借助深度学习方法可以很容易地搜索到物体的位置，在对应生成设备模型方面更加快速和智能。因此，本文所提方法比现有方法能更有效地降低认知负荷，为远程工作者提供更加便利的操作，以虚实结合的方式实现作业的智能指导。
2.2.1 制作风电扇叶表面缺陷数据集
图像数据：通过搜索引擎、图像库以及拍摄图片收集与目标类别相关的图像，确保收集到的图像具有一定的多样性和代表性。共收集3584张风电扇叶表面缺陷图像，全为.jpg格式，其中各个类别情况为：Oil-Leakage(漏油)753个，Dirt(污秽物)846个，Paint(掉漆)2455个，LE-Erosion(侵蚀)617个，PU-tape(异物黏附)700个。
图像标注：使用标注工具LabelImg对收集到的图像进行标注，添加目标框和类别标签，在每张图像上标注所有目标框，并为每个目标框指定相应的类别，将标注好的图像及其对应的标签信息整理成一定的格式。
YOLOv7需要以VOC标签作为标注的数据集，VOC标签通常采用XML格式进行存储，每个XML文件对应一张图像，包含了图像路径、图像尺寸、目标框的位置和类别等信息。
2.2.2 训练深度学习神经网络模型
将制作好的数据集进行随机分组，得到训练集train有2688张图像，测试集val有448张图像，预测集predict有448张图像，训练集、测试集、预测集的比例为6:1:1。
在使用训练集训练的过程中，同步采用测试集数据进行周期性的测试与比较，对模型性能进行检验并不断更新权重，训练完成后确定最佳的权重，将这些权重代入YOLOv7模型中，最终得到一个训练好的、具备良好泛化能力的模型。训练过程如图6所示。
图6. 训练过程
2.2.3 预测结果
将训练好的YOLOv7模型用于风电扇叶表面缺陷预测，结果如图7所示。
图7. 预测结果
图中，根据预测结果框选出叶片缺陷区域，给出预测结果为Oil Leakage，置信度为0.96。查找图片对应的VOC标签——XML文件，图片中存在的缺陷为Oil Leakage，表明预测结果正确。
对测试集predict中的671张图片进行表面缺陷预测，预测结果见表1，各类别预测正确率都在90%以上，总体预测正确率达95%，表明训练的YOLOV7模型能够准确辨识风电扇叶图像的故障类型，可实现对风电扇叶表面缺陷类别的识别检测。
表1. 预测结果
来源：《机械设计与制造工程》（作者：金声超；黄榜；吴文宝；黄晓宏；谢海龙）
