风电机组捕风的关键是叶片，但长时间在风吹、雨淋等恶劣环境中高速运行，会对其表面涂层、内部结构等产生不同程度的损伤，如叶片前缘材料的腐蚀、叶片的裂缝。这些会影响风机叶片的空气动力学性能，降低风机发电的效率。研究显示，叶片受损可造成风场1.5%~4%的发电量损失，因此，风机叶片巡检一直是风电后市场服务的重点领域之一。
传统风机叶片使用人工吊篮、望远镜、手动操控无人机的方式进行巡检，存在巡检难度大、巡检效率低、拍摄数据规范性差等问题。为此，提出了一种在无人机平台上基于LiDAR与可见光融合的风机叶片自动化巡检的方法。
1｜风机叶片巡检现状
风电场往往地处偏远，风机排布分散，传统的风机叶片巡检方式主要依靠巡检人员利用手持望远镜查看、地面高倍望远镜拍照，这种在地面观测的拍摄方式观测角度受限，对于风机叶片各方位进行完整观测存在较大难度，且该方式依赖现场人员的主观判断，不利于后续校验巡检结果，也无法形成有效的数据支撑来长期跟踪和观察叶片的健康状态。
此外，还有吊篮或蜘蛛人登高检查的方式。该方式存在较大安全风险，人工成本高、巡检效率低，也同样依赖现场人员的主观判断，无法形成完整的叶片数据跟踪叶片健康状态。
无人机技术的快速发展给风机叶片巡检带来了新的方向。新型的无人机机身轻巧、结构紧凑、性能卓越，使用不受地理条件的限制，特别适合在复杂的环境执行任务。具备防风、防雨功能的无人机可不受恶劣天气影响，随时巡航，有利于加大重点区域的巡检力度。
目前，基于离线建模并固定航点飞行的无人机在电力巡线领域已得到了较广泛的应用，但风机因每次停机的朝向及角度不固定，通过离线建图的方式很难满足现场实际实用的需求。另外，通过手动操作无人机的方式巡检风机叶片，操作难度大、拍摄距离和拍摄角度很难规范和统一，这些极大地影响了无人机巡检的效率和叶片照片的拍摄质量，且存在一定的安全风险。
近年来，许多学者在无人机自动巡检、路径规划方面进行了大量卓有成效的工作，包括自动导航、视觉定位、路径规划等。另外，无人机搭载雷达和红外相机后的工程应用也有相应研究。无人机在电力线路巡检中也已得到了广泛应用，取得了良好的效果，也为无人机在其他相关领域的巡检工作提供了经验。
目前，针对无人机自主巡检风机叶片方法的工作较少，其包括基于纯可见光方式进行风机状态感知和自主巡检。该方式易受光照等周围背景的干扰，在户外实际作业的过程中存在不稳定的隐患。有研究学者将挂载相机与LiDAR进行融合感知，但该方式限制了挂载相机的使用范围，不利于风机叶片巡检的灵活性和可拓展性。
本文采用LiDAR与可见光融合的风机叶片自主巡检的方法。该方法不依赖无人机挂载，可实现无人机挂载的灵活更换。其主要包含基于可见光相机和LiDAR对风机状态的智能感知、风机叶片位置的实时感知和路径规划，实现了对叶片的定距、仿叶片形状的飞行巡检，极大地优化了无人机巡检的拍摄角度，提高了叶片的拍摄质量。通过控制无人机相机进行定时或定距拍摄，实现了高重叠率的叶片图像数据采集，便于后续积累和算法分析叶片缺陷的数据，还能将巡检人员从繁杂的工作中解放，大大提高工作效率。
2｜工作设备和方法
巡检设备主要由大疆M300RTK无人机、激光雷达、机载计算单元构成。
使用M300RTK无人机自身的FPV相机作为该融合方案的可见光数据来源，如图1所示，激光雷达和机载计算单元固定在无人机机体上方。
图1 工作设备示意图 实际巡检中，风机停机的状态具有一定的随机性，如图2所示。主要变化参数包含风机的停机角、风机的朝向角以及轮毂的位置。另外，叶片本身的形状从叶根至叶尖存在一定弯曲，处于不同位置的叶片在重力影响下，叶片的弯曲程度也会有较大区别。 图2 风机停机状态示意图 鉴于风机停机的随机性及不同位置叶片完全程度的差异，本文提出一种由粗到细的风机叶片状态感知方法。 机载计算单元通过获取LiDAR与可见光的数据初步感知风机的停机角、朝向角、风机轮毂的位置。在实际飞行过程中，机载计算单元基于LiDAR和可见光的数据实时计算叶片位置并规划无人机的路径。在巡检过程中，机载计算单元会自动控制无人机挂载并进行拍照，以实现对风机叶片自动、高效的数据收集。具体算法流程如图3所示。 图3 算法流程图 2.1 相关坐标系说明 由于该方案中涉及较多的坐标系，为便于陈述和说明方案，以下将详细阐述各坐标系。 风机坐标系：以轮毂中心在风机平面的投影为中心点，中心点指向风机机舱方向为X轴，垂直地面且指向地面的方向为Z轴（与X轴和Z轴方向垂直），指向风机右侧的方向为Y轴。 LiDAR坐标系：LiDAR中心为LiDAR坐标系的中心点，沿LiDAR方向指向前方的为X轴，与X轴垂直且指向LiDAR上方的为Z轴(与X轴和Z轴方向垂直），指向LiDAR右侧的方向为Y轴。 相机坐标系：相平面的中心为相机坐标系的中心点，垂直于相平面指向平面前方的为Z轴，沿相平面水平方向指向右侧的为X轴，沿相平面垂直方向指向下方的为Y轴。 像素坐标系：像素坐标系为二维平面的坐标系，其中心点为左上角的像素，X轴方向沿相平面水平方向指向右侧，Y轴沿相平面垂直方向指向下方。 NED坐标系：以无人机自身位置为中心点，X轴指向北方，Y轴指向东方，Z轴与地面垂直且指向地面。 无人机机体坐标系：以无人机自身位置为中心点，沿机头方向指向前方的为X轴，垂直于机头方向指向下方的为Z轴，垂直于X轴和Z轴且指向机身右侧的为Y轴。 其中，风机坐标系是该方案对风机状态感知后输出的结果，LiDAR到相机坐标系基于LiDAR和相机外参标定的结果变换坐标系；相机到像素坐标系基于相机内参标定的结果进行变换。无人机机体坐标系到NED坐标系基于无人机自身的俯仰、横滚、偏航的角度得到旋转矩阵进行坐标系变换。 另外，为简化计算，假定无人机机体坐标系与相机坐标系中心重合，旋转矩阵固定（无需额外标定）。以下将说明相机内参和LiDAR、相机的外参标定。 2.2 激光雷达与可见光标定 该方案使用的传感器主要为可见光相机和激光雷达，这2种传感器各有优劣。 光相机可获取物体较丰富的信息，如物体的轮廓、颜色、表面的纹理等，在目标识别与跟踪等方面具有优势，但在距离感知、三维位置信息获取方面不够直接，且易受外界环境的干扰。 激光雷达受光照和天气因素影响较小，测量精度高，通过三维点云可直接测量目标位置等相关三维信息，但无法获取目标的颜色纹理，目标识别方面存在一定难度。 因此，需融合这2种传感器的数据，以达到准确识别风机和获取三维空间状态的目的。 为融合激光雷达与可见光的数据，需将二者的数据统一到同一坐标系下，即需要标定激光雷达和可见光的外参（激光雷达和可见光的相对旋转和平移）。此外，在外参标定前需标定相机的内参（如相机焦距、中心点坐标的位置、畸变系数）。 相机内参的标定需采用棋盘格的方式进行，得到的fxfy为沿x轴和y轴的焦距；cx、cy为图像中心沿x轴和y轴的像素坐标；k1、k2、k3为径向畸变系数；P1、P2为切向畸变系数，如相机坐标系下三维坐标（Xc，Yc，Zc），通过式(1)~式(7)可得到相机坐标系下的像素坐标u、v。 估计相机和雷达的外参（R∈R3x3，T∈R3x1），采用不同位置的Aruco的矩形标定板，通过单应性矩阵得到标定板的矩形角点在相机坐标系下的坐标，然后通过平面估计、边缘提取等操作得到矩形角点在雷达坐标系下的坐标。 通过3D-ICP的方式计算雷达与相机坐标系的相对旋转R、相对平移量T，对于雷达坐标系中的点（X1，Y1，Z1），可通过式(8)转换到相机坐标系。 2.3 风机状态粗感知 本文方案使用无人机巡检风机叶片，无需人工干预，可全自动完成外观检测任务。 启动前，将无人机放置到风机轮毂前方的地面，检查就绪后，通过遥控器一键起飞，可见光相机会自动识别和跟踪风机的轮毂，结合LiDAR的点云数据可获取风机的平面法向量和轮毂中心相对于无人机的位置， 然后通过无人机自身的GPS位置以及俯仰、横滚、偏航等角度转换得到风机的偏航角、俯仰角、停机角以及轮毂中心的GPS位置等信息，并建立相应的风机坐标系，具体如下。 近年来，对于可见光对风机轮毂的识别，深度学习算法在各领域已取得了长足进步。深度学习网络可结合不同层次图像的感知信息，通过数据标注、学习训练、实际、模型迭代的方法进行识别，在不同环境下对于不同设备均取得了较好的效果。通过采集风机的实际数据，标注图片中轮毂的区域，然后设计深度学习网络，基于标注的数据训练模型，训练结束会得到对应的网络模型。将改网络模型部署到机载计算单元，在飞机一键起飞过程中启动该网络检测风机的轮毂，在检测的轮毂后基于图像跟踪算法可以持续跟踪风机的轮毂。在轮毂识别和风机状态智能感知中（见图4），方框为通过深度学习网络检测的轮毂位置。 图4 轮毂识别和风机状态智能感知 将LiDAR点云转换到像素坐标系，基于轮毂检测跟踪的结果，划分LiDAR点云，可通过的轮毂区域及其他区域。对于轮毂区域的点云，可通过计算得到在LiDAR坐标系下轮毂中心的位置信息，对于其他区域，可通过平面拟合等方法得到风机平面的法向量和对应的风机停机角度。 在图4的轮毂识别和风机状态智能感知中，通过深度学习找到轮毂区域，再通过LiDAR点云找到3个叶片的位置，则可计算风机的相关参数。 通过坐标变换关系可将LiDAR坐标系下获取的风机信息转换到无人机机体坐标系，同时结合无人机自身的姿态和GPS位置信息可得到风机的相关参数，如轮毂中心的GPS坐标、风机的朝向、风机的停机角度等，至此完成了对风机状态的粗感知。 2.4 叶片位置估计及无人机航线 路径自动规划 在该方案中，无人机能全面准确地巡检叶片，针对每个叶片按不同角度的3个叶片、4个面、12条路径飞行，实现360°叶片全覆盖。通过机载单元控制无人机挂载并拍摄风机叶片数据，无人机拍摄的图像数据精度可支持辨认1mmx3mm的裂缝。 得到风机的相关信息后，风机拍摄的初始点位即可确定，具体包含风机正前方的拍摄点位、风机根部的初始点位。但由于每个叶片的形状在重力影响下会存在一定差异，在具体风机巡检的过程中需实时估计风机叶片的状态。 对于风机叶片信息的实时估计，主要使用激光LiDAR点云的数据。 在飞行过程中，通过三维空间滤波的方法获取无人机前方叶片的三维点云信息，然后计算得到在LiDAR坐标系下叶片的位置信息。通过坐标变换关系，计算得到NED坐标系下叶片的位置信息。基于该信息修正初始的无人机巡检路径，以达到无人机定距和仿叶片形状飞行的目的。 针对叶片不同的表面类型（TE、LE、PS、SS），需调整无人机不同的朝向角度和航线路径，以实现最佳拍摄角度。 在无人机智能路径规划中（见图5），可以看到无人机在仿叶片飞行中的航线路径，其中，细线代表LiDAR实时估计的叶片位置，粗线代表无人机的飞行路径，为增强叶尖部位的拍摄效果，叶尖部分调整了距离叶片的拍摄距离。 图5 无人机智能路径规划 采用无人机智能路径规划技术全自动巡检风机叶片，可以不限风机机型、偏航角度，降低对风机停机角度的限制及现场作业的难度，15~25min即可完成1台风机的巡检工作，与传统人工巡检方式相比，其效率提升将近10倍。
3｜实验验证
在实际环境下验证本文算法，实验方法如下：
通过协调对某风场的某风机进行停机巡检操作，停机时通过中控及塔基控制箱的状态显示设备获取风机停机时叶片的停机角、朝向角、风机轮毂高度等信息。
然后自动化巡检无人机，在此过程中，无人机首先粗估计风机状态，巡检过程中实时估计叶片位置并控制无人机的飞行路径。粗估计得到的参数与中控得到的参数对比如表1所列。
表1 算法粗估计结果与实际结果对比表 其中，风机停机角以倒Y为0°，顺时针旋转为正，逆时针旋转为负，范围正负60°；风机朝向角为NED下的航向角，范围正负180°；轮毂高度为相对于塔基地面的高度。最终拍摄画面示例如图6所示。 图6 拍摄画面示意图
结语
随着无人机技术及计算机视觉技术的不断发展，通过无人机智能巡检风机，智能诊断风机故障已成为趋势。
通过无人机替代以往的人工巡检，并采用自动风机状态识别和自动巡检路径规划技术，不但风险小、适用性强、效率高、诊断率高，还可以在极大程度上减少风机的损坏，延长设备的使用寿命。
