引言
近年来，各种传感器被用于监测和识别风机叶片缺陷，通过对其采集信号的分析，可以判断缺陷的位置和类型；但需额外增加传感器，对已建成的风场改造成本较高，且数据还需大量分析和处理才能用于诊断。部署无人机检查风机叶片的缺陷与传统的检测方法相比，具有以下优点：降低高空作业风险，减轻劳动强度；提高检测效率，大大减少停机时间；减少检查盲区，提高精度；避免了安装各种传感器对叶片运行的影响，降低了测试成本；还能有效避免风电场中各种不利因素干扰检测的情况。 本文团队探索无人机在风机叶片检测中的应用，旨在研究一种基于计算机视觉的风机叶片表面缺陷无损检测方法。利用无人机（UAV）采集图像，对图像细节进行增强和滤波处理，通过构建风电叶片表面损伤识别算法，从而实现典型叶片表面缺陷的准确检测。
1叶片图像采集与缺陷分析
引起风力发电机叶片故障或缺陷的因素很多：
偏远位置长距离运输可能产生划痕；
恶劣环境中的风沙雨雪雷电侵蚀导致叶片受损；
高频度的交变负载也会引起叶片的疲劳损伤等。
对叶片长期检测结果的统计发现，叶片缺陷主要表现为：表面涂层脱落、砂眼、裂纹、边缘腐蚀、开裂、褶皱、雷击、结冰等，以裂纹、雷击、破损、砂眼为主。
叶片损坏也是维修成本最高的损坏类型之一，叶片约占风机总成本的20%～30%。图1所示为叶片几种常见缺陷。
图1. 叶片常见缺陷图
考虑到风力机体型越来越大且工作在风速高、温度高、环境恶劣环境，无人机需满足一定条件：如具有一定的抗风能力、飞行时长、搭载相机分辨率具有高分辨率并且相机分辨率至少要达到1000万像素才能满足采集要求，文章叶片缺陷图像基于大疆经纬M300RTK无人机采集获得。
无人机风机叶片巡检过程中，除了风向、风速和光线对无人机取像的影响外，影响无人机数据采集的因素还包括：
无人机高空飞行产生的机身抖动以及与叶片之间的相对运动会影响捕获图像的质量；
除风电场恶劣环境所产生的噪声外，各种电子设备产生的噪声以及在成像中短暂停留所产生的噪声难以避免；
需要针对无人机巡检的图像特征设计叶片缺陷检测算法。
2
叶片缺陷检测算法设计
针对无人机采集的图像数据，文章综合应用多种图像处理算法检测风机叶片缺陷，检测算法流程如图2所示。
图2. 图像处理流程图
首先对于无人机采集到的叶片缺陷图像进行灰度特征处理；
针对采集过程中缺陷图像可能产生的一系列噪声干扰情况，应用中值滤波方法改善缺陷图像质量问题；
随后，提出限制对比度自适应直方图均衡化算法实现图像细节的增强；
最后应用形态学处理修复弱化图像边缘和细节，突出并标记图像中的缺陷区域。
2.1
图像灰度化处理
无人机采集的RGB格式彩色原始图像，数据量大，直接使用处理时间长，效率低。而灰度图像中的三个颜色分量R、G、B取值相等，灰度值在0~255的范围内变化，只包含亮度信息但不包含颜色信息。
对于叶片缺陷检测，相较于彩色图像，灰度图像更具优势，基于人眼对颜色的感知习惯，文中使用加权平均值法先对原始图像进行灰度处理，其计算公式如下：
使用加权平均值法不仅能对RGB三种颜色分量进行加权平均处理，还可以在不同的情况下调节权重因子对图像进行关键处理，在视觉的感知情况下人眼对绿色最强，红色次之，蓝色最弱，所以在A2>A1>A3时将能够得灰度特征更好的图像。
经过试验，当加权系数A1=0.299，A2=0.587，A3=0.114时对叶片图像进行灰度处理得到的图像效果更佳，如图3所示。由于不同背景、光线的影响，造成图中叶片主体颜色变化，当叶片与背景颜色变化时，调整加权系数，可以更加突出检测主体。
图3. 灰度处理结果图
2.2
图像降噪处理
无人机采集的图像因为诸多因素（抖动噪声，相机热噪声以及电磁干扰噪声）包含大量噪声时，图像中就会出现斑点、线等不规则图案影响图片质量，为图像处理带来一定难度；另外，由于数字图像的生成机理，存储的图像在一定程度上都有噪声的存在；这些噪声可能导致检测时对叶片的状态判断错误。
噪声可能在电路传输或者温度不适宜的情况下产生，其实质是原始影像中某些像素点上所叠加的不确定性灰度值。噪声一般可表示为：
因此根据图像处理的过程中降噪和保护图像细节的要求，这里采用中值滤波算法进行降噪中值滤波运算简洁且效率较高，可以高效地减少噪声并保留图像的边缘细节，避免图像模糊适用于细小缺陷检测。
中值滤波算法使用了二维滑动模板的技术，根据像素值的高低在模板内进行排列，从而得到单调地向上（或下降）的二维图像序列，其二维中值滤波输出结果如下：
图4所示，采用中值滤波去除椒盐噪声的效果，对比可以看到含有噪点的图像已被消除干净，且图像细节没有缺失。
图4. 叶片滤波降噪图像
2.3
图像增强系统
风力发电机工作环境恶劣，叶片表面易积存油污、水渍、污渍等；无人机在采集图像的过程中受到天气、光照等因素的影响，图像质量受到影响。文章中介绍了一个既能保留图片细节，又能提高色彩均衡的图像增强算法，以此实现了提高图片视觉效果的目的。该方案通过采用HIS色彩模型限制对比度自适应直方图均衡化算法实现了图像增强。
传统的图像增强算法实际上是一种全局图像增强算法，又称为直方图均衡化（histogram equalization，HE）是空间域的一种点运算，其主要思路是通过重新分配每一副图像的像素值，并进行对图像的非线性拉伸，以提高图像的对比度。直方图均衡化（HE）算法实现过程如下：
①统计原始输入图像各灰度级的像素数目ni。
②计算原始图像直方图，即各灰度等级的概率密度为：
③计算累计分布函数：
④确定映射关系，根据累计分布函数结果进行像素映射计算获得输出图像。
然而传统的图像增强算法进行的是全局增强，没有考虑局部图像区域，尽管该方法提升了对比度，但是缺点明显增强以后的图像噪声被放大，变得清晰可见并会损失图像细节信息。
针对以上问题，在传统增强算法的基础上，文章提出改进的图像增强算法，增加了自适应过程，引入了对比度限制法。自适应的过程就是在增强图像的过程中计算局部区域窗口内的直方图分布构建映射函数f()，并重新分配了亮度来改善图像；引入对比度限制法设置直方图分布的阈值，如图5所示，将超过该阈值的部分“均匀”分散至概率密度分布上，能够限制累计直方图的增幅。
该算法是限制对比度自适应直方图均衡增强算法（contrastlimited adaptive histogram equalization，CLAHE）。算法利用限制局部直方图的高度来实现限制噪声的放大和局部对比度的增强。
图5. 阅值均匀分布图
改进后的CLAHE算法实现方法如下：
①将图像切分进行分块处理，如图6所示，均匀地分成5×5个大小一样的矩形块，黑色方块表示为每个矩形块的子块。
②计算每个块的直方图、累积分布函数及对应的变换。
③对于分割成块的图像按照像素分布可以分为三种情况处理：位于角点处的红色区域部分的像素直接使用所在子块的变换函数来映射；位于边界处的绿色区域部分的像素则以两个相邻子块变换函数后线性插值得到；位于中心区域的蓝色部分的像素则以周围四个子块变换函数后双线性插值得到。
图6中，给定两个值A和B，求目标点P，则P点的线性插值可表示为P(t)=A+(B-A)*t=A*(1-t)+B*t，这个函数又称做lerp，P点的线性插值又可以表示为P(t)=lerp(A,B,t)。
图6. CLAHE算法原理图
双线性插值是利用两个变量的插值函数在两个方向上做线性插值。图6中可以看出，在A、B、C、D四个点的范围内P1处有插值，若是在目标点P1处做双线性插值，需要在Δx方向上AB两点做一次线性插值，记作P2；在CD两端做一次线性插值，记作P3；求得P2、P3后在Δy方向上做线性插值即可得到P1处值。根据上述lerp函数可知：
图7为采用CLAHE算法与传统HE算法的图像增强效果。可以看到图7(c)中采用HE算法的图像部分区域亮度过高，图像信息存在较多失真；而采用所提出的CLAHE算法，图7(b)中的图像得到增强的同时，又能保留图像核心信息。
图7. 图像效果图
图8对比了两种不同算法下的图像的灰度分布情况，通过跟原始图像对比，可见应用CLAHE算法得到的图8(b)中灰度分布情况比较均匀，进一步验证了上述算法的有效性。
图8. 灰度分布情况图
2.4
故障缺陷提取
在前文缺陷图像处理的前提下，本小节在叶片前景分割提取的基础上采用自定义阈值与迭代阈值结合的方法对缺陷图像进行分割；提取出缺陷区域，并结合形态学开闭运算去除噪声及填充缺陷连接断裂部分，达到检测缺陷的目的。
自定义阈值与迭代阈值结合的二值化处理算法
无人机在采集风机叶片图像的时候不能确保采集到的全是近景的缺陷图像，通常也会引入复杂的背景，这些图像给叶片检测带来了极大的困难。为了提高叶片缺陷检测的准确性，根据叶片缺陷及背景的特点，文中对增强后的图像先采用前景分割提取的方法提取叶片信息。叶片提取效果如图9所示。
图9. 叶片前景分割提取效果
对叶片分割提取后的图像采用自定义阈值法和迭代阈值法相结合的方式进行图像二值化（Binarization）处理；因叶片提取后的图像去掉了复杂的背景只保留了叶片和缺陷信息，所以在此基础上采用该方法能够有效保留叶片的积核特征，能够较好地反映图像整体和局部特征，从而达到分割出缺陷目标。该算法实现步骤：
①选取一个初始值G,G=(Gmin+Gmax)/2，式中Gmin为缺陷图像最小灰度值；Gmax为缺陷图像最大灰度值。
er5根据阈值G把给定图像分割成两组图像，记为R1和R2；R1由灰度值大于G的所有像素组成，R2由灰度值小于等于G的所有像素组成。
③计算R1和R2均值μ1和μ2；计算出新的阈值G1，且G1=(μ1+μ2)/2；
④若G1不再变化，则G1即为阈值；否则转至步骤②重新计算，直至连续迭代中G的差值小于预定值为止。
该算法流程如图10所示。
图10. 图像分割算法流程图
形态学算法
图11(a)为基于迭代阈值分割法得到了二值图像，可以看到，该算法可有效对叶片缺陷进行提取。二值图像在特征提取后可能仍会出现一些细小的噪点，边缘出现不相干的信息，影响判断的准确性。因此进一步引入形态学方法来解决以上问题，形态学分为膨胀与腐蚀、开运算与闭运算。
①膨胀和腐蚀
膨胀的主要作用是消除二值图像中提取的特征区域中的噪声，填补有用信息之间的空白，使特征区域的线条更加平滑，数学表达式为：
腐蚀的主要作用是将特征区域外的背景去除无用信息，只保留有效特征，数学表达式为：
②开运算与闭运算
开运算即是对图像先进行腐蚀后再膨胀的过程，用以消除毛刺、假边。其表达式为：
闭运算是对图像先膨胀再腐蚀的过程，能够闭合狭窄间隙，填充小孔。其表达式为：
本节图像处理的目的就是为了剔除无用信息，突出缺陷部分并提取缺陷；针对阈值分割后的图像中出现的噪点以及边缘的干扰信息，使用上述形态学方法中的开、闭运算进行处理。
从图11中可以看出，应用形态学处理后的缺陷特征图像，一些小的无用点被过滤掉，特征区域的信息变得更加丰富，缺陷的位置变得更加突出，形成了完善的缺陷区域。
经过阈值分割和形态学处理后的图像已经可以分离出叶片相应缺陷区域，如图11(b)。
最后根据叶片缺陷区域的特征信息通过连通域标记提取缺陷的像素点获取相关属性，并映射到原始图像中对缺陷进行框取，如图11(c)所示；说明该算法可以有效分离提取出缺陷区域。
图11. 缺陷检测提取结果
2.5
缺陷特征检测
经过对叶片缺陷的分割提取，要实现缺陷检测，首先需要对砂眼、裂纹等缺陷特征进行尺度测量和区分其类别。研究以像素个数作为选择特征用形状选择算子，由特定值选取图像缺陷区域，定义砂眼类型缺陷为50~300像素，破损类型缺陷为200~4000像素、裂纹类型缺陷为400~5000像素。
在无人机采集的叶片图像中筛选出含有砂眼、裂纹、破损的典型缺陷图像各60张进行缺陷区域检测。如表1所示，在本次缺陷检测结果中可以看出虽然较小缺陷检测结果不如较大缺陷精确，但是对于叶片缺陷的检测仍能达到较高的准确率。
表1. 叶片缺陷检测结果
3
实验与结果分析
为进一步验证所提算法对不同类型缺陷的有效性，文章对采集的120张图像进行验证，其中100张图像含有不同的缺陷，20张为正常图像，其缺陷图像用白色矩形框标记出缺陷位置并预估大小，用以验证所提出算法对于叶片表面缺陷检测的准确程度。记录下不同类型缺陷的总个数并对缺陷检测个数进行预测，统计准确检测出缺陷的个数。
为计算检测准确率与误识别率，引入性能评价指标MIoU（平均交并比），平均交并比计算公式为：
该计算为缺陷检测框取标记与原标记缺陷框的交集与并集的比值，计算结果用来表示检测缺陷定位的准确程度，其数值越大，则准确率越高。应用文章算法检测叶片缺陷的正确性指标结果见表2，其中MloU达到0.853；标记出的部分叶片缺陷图像如图12所示。
表2. 叶片表面缺陷检测结果
图12. 叶片缺陷标记图像示例
如表2所示，文中所提出的叶片缺陷图像检测方法能够达到了较好的检测效果，可以准确地检测出典型的叶片缺陷。
结语
本文根据无人机对风机叶片采集图像的特点，针对当前叶片缺陷检测中存在的准确程度低、效率低等问题，提出检测和提取风机叶片表面缺陷的方法。
（1）采用中值滤波算法对无人机采集图像上的混合噪声进行降噪处理；
（2）提出限制对比度的图像增强算法（CLAHE），能在限制图像对比度的前提下有效的提升图像质量，效果优于传统图像增强方法；
（3）提出自定义阈值法和迭代阈值法相结合的方式处理图像二值化问题，实现图像前景分割；
（4）应用形态学处理的方法修复弱化图像边缘和细节，突出图像中的缺陷区域进行分离提取。
经过实验测试，文中所提算法可以实现叶砂眼、裂纹和破损等缺陷的检测，缺陷标记检测结果的平均交并比可达0.85，总体缺陷检测的准确率可达到90%以上，对风机叶片的检测和后期运维起到良好的作用。
来源：《电测与仪表》（作者：谭兴国；张高明）
