基于K-means++聚类算法和SSIM指标的金属板材腐蚀区域识别

doi:10.11902/1005.4537.2023.112

基于K-means++聚类算法和SSIM指标的金属板材腐蚀区域识别

龙梦翔, 付桂翠, 万博^,, 张钟庆

北京航空航天大学可靠性与系统工程学院北京 100191

Corrosion Area Identification of Sheet Metal Based on K-means++ Clustering Algorithm and SSIM Index

LONG Mengxiang, FU Guicui, WAN Bo^,, ZHANG Zhongqing

School of Reliability and Systems Engineering, Beihang University, Beijing 100191, China

通讯作者: 万博，E-mail:wanbo@buaa.edu.cn，研究方向为元器件可靠性

收稿日期: 2023-04-14 修回日期: 2023-05-30

Corresponding authors: WAN Bo, E-mail:wanbo@buaa.edu.cn

Received: 2023-04-14 Revised: 2023-05-30

作者简介 About authors

龙梦翔，男，2000年生，硕士生

摘要

材料腐蚀后会在表面产生锈斑、裂纹和鼓泡等多种腐蚀特征现象，通过观察腐蚀特征现象可判断材料腐蚀程度。目前主要通过人工目测的方式对材料的腐蚀情况进行判断，但其存在结果无法量化、效率低下等不足。本文采用K-means++聚类算法对金属板材图像像素RGB值进行聚类，分离腐蚀区域和未腐蚀区域；采用图像结构相似性指标(SSIM)判断聚类各区域是否发生腐蚀。结果表明：将K-means++聚类中心数量k设定为5，可有效根据图像颜色分布划分出各聚类区域；相比峰值信噪比PSNR和均方误差MSE，结构相似性指标SSIM与图像是否发生腐蚀具有较强相关性，将SSIM指标阈值设定为0.95，可根据SSIM指标有效判断各聚类区域是否发生腐蚀；本文所用方法相比人为根据像素颜色划分腐蚀区域，具有更高的识别效率，且准确率不低于90%。本研究可用于金属板材环境试验后防腐性能自动化评价。

关键词： 腐蚀评估 ; 图像处理 ; K-means++算法 ; 聚类 ; 图像相似度 ; 智能诊断 ; 腐蚀面积

Abstract

Various corrosion characteristics such as rust spots and cracks will appear on the surface of metal plates after corrosion. Their corrosion degree can be determined by corrosion characteristics. At present, the corrosion degree of metal plates is mainly judged by manual visual inspection. But it has many non-ignorable shortcomings such as low consistency and low efficiency etc. In this paper, the RGB values of image pixels of corroded metal sheets were collected and then clustered by means of K-means++ clustering algorithm, afterwards the relevant corroded- and uncorroded-regions were separated. Whether corrosion occurred or not was judged in each cluster area by means of image structural similarity index SSIM. The results show that setting the number of clustering centers ‘k’ to 5 can effectively delineate each clustering area based on the image color distribution. Compared to peak signal-to-noise ratio and mean square error, the structural similarity index SSIM is strongly correlated with the occurrence of erosion. Setting the SSIM index threshold at 0.95 can effectively judge whether erosion occurred in each cluster area. Compared to manually dividing corrosion areas based on pixel color, our method had a higher identification efficiency and an accuracy of not less than 90%. This research can be applied to automate the evaluation of the corrosion degree of metal sheets after environmental testing.

Keywords： corrosion evaluation ; image processing ; K-means++ algorithm ; clustering ; image similarity ; intelligent diagnosis ; corrosion area

PDF (9730KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

龙梦翔, 付桂翠, 万博, 张钟庆. 基于K-means++聚类算法和SSIM指标的金属板材腐蚀区域识别. 中国腐蚀与防护学报[J], 2024, 44(2): 437-444 DOI:10.11902/1005.4537.2023.112

LONG Mengxiang, FU Guicui, WAN Bo, ZHANG Zhongqing. Corrosion Area Identification of Sheet Metal Based on K-means++ Clustering Algorithm and SSIM Index. Journal of Chinese Society for Corrosion and Protection[J], 2024, 44(2): 437-444 DOI:10.11902/1005.4537.2023.112

材料腐蚀是指材料在外界环境的影响下发生的材料损坏现象。材料腐蚀性质不仅和材料自身特性相关，还与周围环境息息相关，材料腐蚀具有普遍性和广泛性。其危害遍及航空航天、电力、建筑和基础措施等所有行业，严重影响了各个国家的经济发展及国民经济建设^{[1, 2]}。而根据英美等工业发达国家的腐蚀调查报告显示：每年由于腐蚀导致的国家经济损失占各国国民生产总值的1%~5%，且其中大约三成是可以通过提升材料腐蚀性能或采取防腐措施来避免的^[3]。环境介质的作用下，材料会出现腐蚀的情况，在材料表面随机出现锈斑、裂纹开口、涂层脱落和涂层鼓泡等多种腐蚀特征现象。腐蚀特征现象的面积大小、分布情况和呈现颜色作为腐蚀特征信息可以作为判断材料腐蚀程度和评价腐蚀等级的重要依据。

目前，对材料腐蚀程度的判断和评级主要是通过人工目测评价的方式进行的，这种方式存在检测速率较慢，检测人员工作量较大的弊端。除此之外，人工目测具有很强的主观性，导致结果存在一致性较差、置信度较低的问题。因此，随着材料腐蚀研究的深入，逐渐出现了腐蚀图像处理技术，通过采集材料腐蚀图像后，将图像信号转换为数据信号，并利用计算机相关算法进行处理，从而获取材料腐蚀面积、腐蚀颜色等特征信息，帮助识别并评价材料腐蚀程度^{[4, 5]}。

腐蚀区域识别的正确性是腐蚀图像处理最重要的指标，国内外许多学者基于传统图像处理算法对腐蚀图像进行研究^[6~10]。南翠红^[11]利用开路电位等测试技术探究腐蚀时间对材料产物膜性能的影响和其腐蚀特性的变化，并结合图像处理算法，如灰度变换增强图像、图像二值处理、小波分析及分形几何学理论，建立腐蚀损伤图像识别模型，基于腐蚀区域特征对材料腐蚀的微观行为模式进行定量化分析。Huang等^[12]提出一种基于图像处理的阻尼器锈蚀状态识别方法，首先基于局部差分处理各向异性的边缘强度映射和阻尼区域的特征增强融合，突出阻尼器区域，然后基于阈值分割和形态学处理完成阻尼器的图像分割，最后定义两个参数生锈面积比(RAR)和色度指数(CSI)评价阻尼器的锈蚀程度。结果表明，该方法可以完成生锈阻尼器的分割和准确识别，即便在复杂背景下生锈阻尼器的总识别率可以达到93%。

而随着深度学习算法的不断进步，也有部分学者结合深度学习对腐蚀区域进行定位^[13~16]。Rahman等^[17]为了解决在边界检测腐蚀时无法将腐蚀元素精确分割成不规则的边界图形而很难定量评估腐蚀区域面积和腐蚀程度的问题，提出了一种基于深度学习的语义分割和图像标记方法，可生成大量深度学习训练数据集，实现有效分割并识别图像中的腐蚀区域，该方法可用于多种工业设施和民用设施的腐蚀评估。

传统图像处理算法主要运用二值处理、阈值分割等简单图像处理方法，针对复杂环境下的腐蚀样件图像，存在不易定位样件或泛用性不强的缺点；而结合深度学习的腐蚀图像处理需要大量腐蚀图像输入，无法在缺少大量腐蚀样件图像的情况下完成对腐蚀图像的识别。除此之外，腐蚀图像处理算法在应用中仍然存在图像质量易受环境光线影响、腐蚀试样多样性造成的区域分割及对象识别错误等问题。

本文利用无监督聚类算法和相似度指标针对环境试验后的金属板材腐蚀图像，首先采用K-means++聚类算法对分离出来的金属板材图像像素RGB值进行聚类，区分腐蚀区域和未腐蚀区域；然后采用图像结构相似性指标SSIM从亮度相似性、对比相似性和结构相似性3个角度判断聚类各区域是否发生腐蚀，识别出完整的腐蚀区域，实现金属板材腐蚀面积等腐蚀特征参数的快速客观测量。

1 基于K-means++算法的腐蚀图像区域聚类

1.1 K-means聚类算法

K-means算法是在1967年由J. MacQueen第一次提出，拥有十分悠久的历史，但因其原理简单，效果优异等特性仍广泛应用于目前的机器学习和数据分析等领域^[18]。但K-means聚类效果对初始值选取较为敏感，例如簇的个数k，初始中心点位置的选取等。K-means聚类是一种迭代性的聚类算法，通过多次迭代调整簇中心位置，直至簇中心不再改变，把相似程度较大，差异较小的样本数据聚为一类，最终将全样本数据聚类为多个簇^[19]。K-means聚类算法在迭代过程中使用欧氏距离作为距离度量依据，因此需在K-means聚类前对多维数据归一化处理，但高维下的欧氏距离无实际意义，因此主要适用于低纬度样本数据聚类。

K-means算法的输入为簇类中心数量k和样本数据集合 $S = {x^{(1)}, x^{(2)}, \dots, x^{(m)}}$ ，其中， $x^{(i)} \in R^{n}$ ， $\forall i \in m$ ，输出为k个满足条件的簇类。K-means算法的具体流程如下：

步骤一：数据各维度进行归一化。

步骤二：随机选取k个簇中心 ${μ^{(1)}, μ^{(2)}, \dots, μ^{(k)}}$ ，其中 $μ^{(i)} \in R^{n}, \forall i \in k$ 。

步骤三：根据欧式距离最小原则，计算每个样本 $x^{(i)}$ 属于的簇类，其中计算准则如下：

a^{(i)} = a r g m i n_{j} ‖x^{(i)} - μ^{(j)}‖ {}^{2}, \forall i \in m, \forall j \in k

(1)

其中 $x^{(i)}$ 为第 $i$ 个样本数据， $μ^{(j)}$ 为第 $j$ 个簇中心， $a^{(i)}$ 为 $i$ 个样本数据所属簇中心。

步骤四：对于每一簇，重新计算其簇中心：

μ^{(j)} = \frac{\sum_{i = 1}^{m} I {a (i) = j} x^{(i)}}{\sum_{i = 1}^{m} I {a (i) = j}}

(2)

若产生了新的簇中心，则从重复步骤二到步骤四，直至簇中心不再改变。

K-means算法的流程图如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 K-means聚类算法流程图

Fig.1 Flow chart of K-means clustering algorithm

1.2 K-means++聚类算法

K-means聚类效果对初始值选取较为敏感，例如簇的个数k，初始中心点的选取等，初始中心点的不规范选取易导致多次聚类效果不具有一致性，在极端情况也易陷入局部最优解无法完成正确聚类^[20]。改进的中心思想为距离已有簇中心越远的点有更大的概率被选取为下一个簇中心。

本文选用K-means++改进算法以减少初始中心点随机位置对聚类结果的影响，K-means++聚类算法选取簇中心点的准则为初始簇中心的相对距离尽可能远^[21]。其确定初始簇中心的具体步骤为：

步骤一：在样本数据中随机确定一个簇中心 $μ^{(1)}$ ；

步骤二：对每一个剩余样本数据，计算其与最近簇中心的距离 $d_{i j}$ ， $i \in m$ ， $j \in k$ ；

步骤三：根据加权概率公式， $d_{i j}$ 越大的点作为新的簇中心的概率越大，选取 $d_{i j}$ 最大的点作为新的簇中心；

步骤四：重复步骤二和步骤三直至已选择k个簇中心点。

K-means++算法确定初始簇中心的流程图如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 K-means++聚类算法初始簇中心确定流程图

Fig.2 Flow chart for determining initial cluster center of K-means++ clustering algorithm

1.3 金属板材腐蚀图像腐蚀区域聚类

K-means聚类算法结果容易受到簇中心数量k和簇中心随机初始化的影响造成结果不具有一致性，K-means++可以解决簇中心随机初始化带来的不足，而簇中心数量k也有许多判别方法判断最佳簇中心数量，例如肘部elbow法^[22]、轮廓系数法^[23]、Gap Statistic法^[24]、信息论方法^[25]等等。除此之外，还可根据样本数据的物理意义进行k值的选取。

本文针对金属板材腐蚀图像像素的RGB值进行K-means++聚类。RGB模型是生活中最常见的模型，通过改变红、绿、蓝 3种颜色的亮度定量表示各种颜色，常用于显示屏等发光物体的显示^[26]。RGB模型中R、G、B 3个维度的参数范围均为0~255，量纲统一，因此无需对像素数据归一化处理即可直接进行K-means++聚类。

对于一张500 × 500像素的金属板材腐蚀图像，其共有250000个像素点，且像素RGB值分布较为广泛，因此采用elbow法、Gap Statistic等方法确定的簇类中心数量k值会因样本数据量大而偏大，不利于后续的样本分析，也不符合样本数据聚类的物理意义。而材料经过环境的腐蚀后主要存在一到两种腐蚀类型，即图像中存在两到三种主要颜色，每种腐蚀类型根据腐蚀程度的轻重也会呈现不同的颜色，因此考虑实际腐蚀的颜色种类及同种腐蚀的颜色色差，确定簇类中心数量k=5。

本文金属板材腐蚀前后的图像如图3所示。对图3金属板材腐蚀后图像像素的RGB值进行K-means++聚类，簇中心数量k = 5，聚类的结果图像如图4所示。从腐蚀后图像聚类结果可以看出，经过K-means++算法的聚类后，依据像素RGB值不同颜色对应的区域被有效的区分为5个区域，其中偏灰色的区域是材料未经腐蚀的颜色区域，如图4b和d，相较金属板材腐蚀前颜色未发生较明显颜色变化；而偏红褐色的区域是材料经腐蚀产生铁锈后的颜色区域，如图4a、c和e，腐蚀后发生了较为明显的颜色变化。从上述结果可知，对金属板材腐蚀图像RGB值进行K-means++聚类，可以有效区分出发生腐蚀的区域和未发生腐蚀的区域。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 金属板材腐蚀前后图像

Fig.3 Surface images of the metal sheet before (a) and after (b) corrosion

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 各聚类区域图像

Fig.4 Images of cluster areas 1 (a), 2 (b), 3 (c), 4 (d) and 5 (e)

2 基于结构相似性指标SSIM的腐蚀图像区域识别

当腐蚀后图像像素经过K-means++聚类后可有效分离出腐蚀区域和未腐蚀区域，需要利用算法自动判断聚类各区域是否为腐蚀区域。材料在腐蚀后往往会产生腐蚀产物，腐蚀产物的颜色通常与材料本身的颜色不一致。因此本文主要通过判断金属板材腐蚀前后各区域的颜色是否发生较为明显的变化从而判断各聚类区域是否发生腐蚀。

在图像相似性比较指标中最简单也是运用最广泛的是均方误差(MSE)和峰值信噪比(PSNR)，但这两种评价指标均未考虑到人眼对图像相似性判断的视觉特性，例如未考虑到人眼对图像区域的相似性判断会受到其周围区域图像的影响等，因此常出现评价结果与人眼感知不同的情况^{[27, 28]}。

2.1 结构相似性指标SSIM

结构相似性指数(SSIM)是一种衡量两幅图像相似性的指标，分别从图像的亮度、对比度和结构3方面综合度量两幅图像之间的相似程度，从而得到符合人眼感知的客观相似性评价^[28]。

在SSIM中亮度相似性指标定义为：

l (x, y) = \frac{2 μ_{x} μ_{y} + C_{1}}{{μ_{x}}^{2} + {μ_{y}}^{2} + C_{1}}

(3)

其中， $μ_{x} = \frac{1}{N} \sum_{i = 1}^{N} x_{i}$ ，为图像一的像素均值； $μ_{y} = \frac{1}{N} \sum_{i = 1}^{N} y_{i}$ ，为图像二的像素均值；并引入小常数 $C_{1}$ 避免分母为零导致不可解。

在SSIM中对比相似性指标定义为：

c (x, y) = \frac{2 σ_{x} σ_{y} + C_{2}}{{σ_{x}}^{2} + {σ_{y}}^{2} + C_{2}}

(4)

其中， $σ_{x} = {(\frac{1}{N - 1} \sum_{i = 1}^{N} (x_{i} - μ_{x})^{2})}^{\frac{1}{2}}$ 为图像一的像素标准差； $σ_{y} = {(\frac{1}{N - 1} \sum_{i = 1}^{N} (y_{i} - μ_{y})^{2})}^{\frac{1}{2}}$ 为图像二的像素标准差，引入小常数 $C_{2}$ 避免分母为零。

在SSIM中结构相似性指标定义为：

s (x, y) = \frac{σ_{x y} + C_{3}}{σ_{x} σ_{y} + C_{3}}

(5)

其中， $σ_{x y} = \frac{1}{N - 1} \sum_{i = 1}^{N} (x_{i} - μ_{x}) (y_{i} - μ_{y})$ 为两幅图像的像素协方差，引入小常数 $C_{3}$ 避免分母为零。

将亮度相似性指标(3)式、对比相似性指标(4)式和结构相似性指标(5)式相乘即得到SSIM指标表达式：

S S I M (x, y) = \frac{(2 μ_{x} μ_{y} + C_{1}) (2 σ_{x y} + C_{2})}{({μ_{x}}^{2} + {μ_{y}}^{2} + C_{1}) ({σ_{x}}^{2} + {σ_{y}}^{2} + C_{2})}

(6)

其中，SSIM指标的的取值范围为 $[0, 1]$ ，SSIM越接近1则说明两幅图像结构上越相似^[28]。基于此特性可以设定相似性指标阈值，当各聚类区域腐蚀前后的图像SSIM指标大于等于该阈值时，则认为腐蚀前后该聚类区域颜色未发生明显变化，即属于未发生腐蚀区域；当各聚类区域腐蚀前后的图像SSIM指标小于该阈值时，则认为腐蚀前后该聚类区域颜色发生明显变化，即属于发生腐蚀区域。

2.2 基于SSIM指标的聚类区域腐蚀判别

本文通过计算相同区域腐蚀前后图像的SSIM指标，结合SSIM指标大小判断不同聚类区域是否发生较为明显的颜色变化，以判断该区域是否是发生腐蚀区域。通常情况下，当两幅图像的SSIM指标大于等于0.999时，则认为两幅图像之间没有任何差异。但本文采集腐蚀前后的金属板材图像进行对比，两次图像采集易受环境光线等因素影响，导致两幅图像间会存在一定差异，未发生腐蚀的区域其SSIM指标也无法接近0.999。因此，本文降低SSIM指标阈值，考虑环境光线和图像采集操作等外界因素的影响下，认为SSIM大于0.95时，该区域腐蚀前后图像颜色并无较大区别。其中，聚类区域一的腐蚀前后图像对比如图5所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 金属板材聚类区域1腐蚀前后图像对比

Fig.5 Images of the cluster area 1 of the metal sheet before (a) and after (b) corrosion

聚类区域一的SSIM指标计算得0.7598，远小于阈值0.95，因此认为腐蚀前后该区域发生较明显颜色变化，即发生腐蚀，该结果也符合人眼的感知结果，该区域颜色从腐蚀前的灰色转变为腐蚀后的红褐色。同理，对其他4个区域进行图片相似性指标计算，得到的结果如表1所示。

表1 聚类区域图片相似性指标计算结果

Table 1 Calculation results of image similarity index of clustering area

Index	Area 1	Area 2	Area 3	Area 4	Area 5
MSE	129.8346	89.7365	74.3930	95.6090	49.1007
PSNR	26.9969	28.6011	29.4155	28.3258	31.2199
SSIM	0.7598	0.9551	0.8884	0.9884	0.8162
Corrosion	yes	no	yes	no	yes

新窗口打开| 下载CSV

由表1的结果可知，MSE和PSNR两种图片相似性指标与区域是否发生腐蚀无较强相关性，无法准确分别出发生腐蚀区域的图片和未发生腐蚀区域的图片，因此无法根据MSE和PSNR指标的数值判断各区域是否发生腐蚀。而结构相似性指标SSIM与区域是否发生腐蚀具有很强的相关性，可以吻合人眼的视觉判断。当区域发生腐蚀后，该区域的颜色发生变化，其SSIM指标也显著小于0.95；当区域并未发生腐蚀时，该区域的颜色并无明显变化，但考虑成像光线等外界因素的影响，其SSIM指标不会十分接近1，但仍大于0.95。因此可通过SSIM指标判断各区域在试验前后是否发生腐蚀。

从金属板材腐蚀区域识别结果图6可以看出，通过K-means++聚类及SSIM相似性指标评价后，可以有效地区分开发生腐蚀的区域和未发生腐蚀的区域，便于后续对腐蚀程度进行自动化评价，其中该金属板材腐蚀区域的占比为36.71%。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 金属板材腐蚀区域识别结果

Fig.6 Corrosion area image recognition results of the metal sheet before (a) and after (b) corrosion

人工目测判断腐蚀程度具有无法量化和主观性较强等缺点，但结合“数格子”法可以避免这些缺点，利用Photoshop软件根据像素点颜色手动划分出发生腐蚀的区域，可以获得更精细的腐蚀区域结果和更准确的腐蚀占比，但花费时间较长，在较高精度下每张图需花费数十分钟。利用本文的图像识别算法，针对金属板材环境试验前后的图像，仅需几秒便可快速判断金属板材腐蚀区域和腐蚀占比等特征参数。不同金属板材的腐蚀区域图像识别结果和人工目测识别结果如图7所示。针对图7所示4类金属板材，本文采用的图像识别算法测得的腐蚀区域占比分别为36.71%、38.03%、48.36%和48.98%，人工“数格子”识别结果分别为38.79%、35.60%、46.71%和52.29%。本文采用的图像识别算法结果相对人工“数格子”识别结果误差为5.67%、-6.39%、-3.41%和6.76%。相比人工“数格子”划分腐蚀区域，本文的图像识别算法相对误差小于10%，在节省大量时间的基础上仍有较高的准确率。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 金属板材腐蚀区域图像识别结果与人工“数格子”识别结果对比

Fig.7 Raw images (a1-d1), image recognition results (a2-d2) and manual “number grid” recognition results (a3-d3) of the corrosion area of the metal sheet

3 结论

(1) 对金属板材腐蚀图像RGB值进行K-means++聚类，簇类中心数量k设置为5，可以有效区分出发生腐蚀的区域和未发生腐蚀的区域。

(2) MSE和PSNR两种图片相似性指标与区域是否发生腐蚀无较强相关性，无法准确区分出发生腐蚀区域的图片和未发生腐蚀区域的图片。

(3) 结构相似性指标SSIM与区域是否发生腐蚀具有很强的相关性，符合人眼的视觉判断。考虑成像光线等外界因素的影响，将SSIM指标阈值设定为0.95，根据各区域SSIM是否大于0.95，可判断各区域是否发生腐蚀。

(4) 本文的图像处理算法可针对金属板材环境试验前后的图像，快读识别出金属板材的腐蚀区域和腐蚀占比等特征参数。相比人为根据像素颜色划分腐蚀区域，本文方法相对误差小于10%，具有较高准确性。本文的方法可用于对材料防腐性能的定量评估。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Cao

X L

. Investigation of atmospheric corrosivity with ACM technology[D]. Wuhan: Academy of Machinery Science & Technology, 2005