基于深度学习方法的N5/NiCrAlY涂层图像识别的研究

doi:10.11902/1005.4537.2021.234

基于深度学习方法的N5/NiCrAlY涂层图像识别的研究

王明好¹, 王欢², 刘叡¹, 孟凡帝¹, 刘莉^,¹, 王福会¹

1.东北大学沈阳材料科学国家研究中心沈阳 110819

2.东北大学信息科学与工程学院沈阳 110169

Research on Image Recognition for NiCrAlY Coating/N5 High-temperature Alloy System Based on Deep Learning Method

WANG Minghao¹, WANG Huan², LIU Rui¹, MENG Fandi¹, LIU Li^,¹, WANG Fuhui¹

1.Shenyang National Laboratory for Materials Science, Northeasten University, Shenyang 110819, China

2.College of Information Science and Engineering, Northeastern University, Shenyang 110169, China

通讯作者: 刘莉,E-mail：liuli@mail.neu.edu.cn,研究方向为深海极端环境金属的腐蚀与防护

收稿日期: 2021-09-05 修回日期: 2021-09-13

基金资助:

国家重点研发计划. 2017YFB0702303

Corresponding authors: LIU Li, E-mail:liuli@mail.neu.edu.cn

Received: 2021-09-05 Revised: 2021-09-13

Fund supported:

National Key R&D Program of China. 2017YFB0702303

作者简介 About authors

王明好,女,1995年生,硕士生

摘要

利用深度学习方法,将图像处理技术运用于NiCrAlY涂层/Ni基高温合金服役过程中微观形貌的图像特征信息识别和检索。以NiCrAlY涂层/N5合金为研究对象,基于获取的3600张64×64像素的截面特征图像数据集,采用深度学习技术搭建对基体的TCP相、基体与涂层的界面、氧化层这三类特征进行分类识别。分别训练有二、三层卷积层的卷积神经网络实现这三类特征的分类识别与滑动窗口检索定位。选用RMSProp优化器,配合二、三层卷积层的神经网络的测试集识别准确率分别为98%、90.67%。利用Adam优化器训练三层卷积层的卷积神经网络的测试集识别准确率为99.17%,并且此网络在检索1024×943像素图像的三大特征时表现最佳,检索正确率达到100%。

关键词： N5/NiCrAlY ; 卷积神经网络 ; 图像识别 ; 高温氧化腐蚀

Abstract

The evolution of micro-morphology for the couple of NiCrAlY coating/N5 high-temperature alloy system during service at high temperature, namely the precipitated TCP-phases within the substrate, the interface of coating/substrate, and the formed oxide scale etc., was studied by means of image processing technology, aiming to acquire the information related with their characteristics for the identification and retrieval of the relevant features of coating/alloy systems. Based on the acquired date-sets from 3600 frames of cross-sectional feature images of 64×64 pixels, a convolutional neural network (CNN) was established for classification and identification of the TCP phase, the interface of coating/substrate, and the oxide scale via a deep learning technique. The convolutional neural networks with two or three convolutional layers were respectively trained, so that the classification and identification of these three kinds of features, as well as the sliding window retrieval positioning are realized, thereby, the test set accuracy was 98% or 90.67%, respectively, for the neural network of two or three convolution layers coupled with the RMSProp optimizer. The test set accuracy for the convolutional neural network with three convolutional layers coupled with the Adam optimizer was 99.17%. This network performs best in retrieving the desired three features for images of 1024×943 pixel, correspondingly, the retrieval accuracy even can reach 100%.

Keywords： N5/NiCrAlY ; convolutional neural networks ; image recognition ; high temperature corrosion

PDF (4543KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

王明好, 王欢, 刘叡, 孟凡帝, 刘莉, 王福会. 基于深度学习方法的N5/NiCrAlY涂层图像识别的研究. 中国腐蚀与防护学报[J], 2022, 42(4): 583-589 DOI:10.11902/1005.4537.2021.234

WANG Minghao, WANG Huan, LIU Rui, MENG Fandi, LIU Li, WANG Fuhui. Research on Image Recognition for NiCrAlY Coating/N5 High-temperature Alloy System Based on Deep Learning Method. Journal of Chinese Society for Corrosion and Protection[J], 2022, 42(4): 583-589 DOI:10.11902/1005.4537.2021.234

图像是人类直接获取信息的重要方式之一。如今,图像识别技术已广泛应用于多个领域,如生物医学、人脸识别、无人车驾驶、军事遥感等。然而,传统的机器学习算法在训练模型的过程中容易出现过拟合、特征难以提取,建立的模型泛化能力差、准确度低的问题。随着计算机技术的飞速发展和大数据时代的来临,深度学习技术开始发展。用深度学习算法训练的卷积神经网络在图片识别、特征提取方面表现优良。卷积神经网络较传统神经网络加入了卷积层和池化层处理,使得其在处理图片时有着得天独厚的优势。包揽ILSVRC比赛历届冠亚军的LeNet、AleXNet、GoogLeNet、VGGNet等卷积神经网络模型在图像分类、图像识别方面均有着很高的准确率^[1]。

在材料领域,有学者将BP神经网络用于在役管线腐蚀故障的识别^[2],识别出圆形孔洞、长条形缺陷等；有学者用全卷积神经网络用于焊缝特征的提取,提高自动焊接过程的准确度。有望经过图片获取、图片处理再到图片识别^[3],准确识别材料的类型,有效评估材料的物理属性或力学性能。

本文将图像识别应用在高温镍基合金MCrAlY涂层上,这种材料广泛应用于燃气涡轮发动机导向及涡轮叶片等^[4]。燃气涡轮发动机的效率与涡轮承受温度成正比,叶片是涡轮发动机的关键部件,由镍基高温合金为基体合金,覆之涂层加以保护。MCrAlY (M=Ni、Co) 型涂层具有优良的抗氧化性能和抗热腐蚀性能。20世纪70年代,MCrAlY作为包覆涂层被广泛研究,上世纪80年代,MCrAlY作为粘结层,结合等离子喷涂 (LPPS或VPS) 和电子束物理气相沉积 (EB-PVD) 技术沉积陶瓷表层,制备出隔热性能更好的热障涂层^[5-8]。Wen等^[9]利用Photoluminescence Piezospectroscopy测量热障涂层应力的手段,使用回归和人工神经网络的方法预测热障涂层的剩余寿命。本文基于Keras框架下搭建卷积神经网络,将影响N5/NiCrAlY涂层服役性能的材料的针状析出相、界面以及氧化物特征提取出来。本工作强调将计算机的图像识别技术应用到高温涂层材料学上,为建立材料微观组织结构与性能之间的联系做了初步探索,为实现基于图像特征进行智能寿命预测的方法打下基础。

1 实验方法

1.1 实验方法

采用 $ϕ$ 15×2.0 mm的N5镍基单晶合金作为基体材料,其成分 (质量分数,%) 为：Cr 7.00,Co 7.50,Al 6.20,Ta 6.50,Mo 1.50,W 5.00,Re 0.03,Ni余量,合金表面用1000#SiC砂纸打磨后,进行喷丸处理以增大涂层与基体之间的结合能力。随后,样品在丙酮和酒精的混合溶液中超声清洗,吹干备用。采用电弧离子镀技术,在真空度为7.0×10^-3 Pa以下,Ar气偏压0.2 Pa 时,在N5基体表面制备NiCrAlY涂层,其名义成分 (质量分数,%) 为：Ni-27Cr-11Al-0.5Y,涂层厚度为45 μm。在真空热处理炉中进行1000 ℃、4 h退火得到热处理后样品。

将装有样品的坩埚置于马弗炉 (Muffle furnace) 内进行恒温氧化,实验温度为850、900、950和1000 ℃,恒温氧化时间分别为10、20、50、80、100、150、200、500和1000 h。在氧化一定时间后,将装有样品的坩埚一并取出,利用电子天平测量其整体的重量变化,每组3个平行试样减小实验误差。利用扫描电镜 (SEM,Inspect F50,FEI) 观察在不同恒温氧化温度、不同恒温氧化时间的试样截面微观组织形貌,其中在1000 ℃氧化500和1000 h的样品背散射截面形貌,如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 经过第一个卷积层得到的针状相特征图

Fig.1 Needle phase feature maps obtained after the first convolutional layer

1.2 卷神经网络的搭建

卷积神经网络被大量应用于计算机视觉。卷积神经网络由输入层、卷积层、池化层、全连接层以及输出层组成。在本文中,32个卷积核在输入的针状相的图片上滑动,得到的32个特征像素图像如图1所示。在得到特征图像后,采用最大池化方法,利用2×2的滑动滤波器在图像矩阵上滑动,取滑动范围内的像素最大值,以减少待处理的数据量,提高数据处理的效率。经池化层处理后得到具有图像特征信息的像素照片如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 经过第一个池化层得到的针状相池化图

Fig.2 Needle phase pooling maps after the first max pooling layer

连接层中的每个神经元与上层中所有神经元相连。本文在全连接层中使用正则化Dropout随机神经元失活,以一定概率舍弃部分神经元,从而增加网络的抗干扰能力,减少过拟合。采用SoftMax分类器进行分类, 其函数形式如公式 (1)：

S_{i} = \frac{e^{z_{j}}}{\sum_{k = 1}^{K} e^{z_{k}}}

(1)

其中,S_i 为第i个神经元的输出,z_j 为第j个输入神经元。激活函数为ReLU分段函数,损失函数为多分类交叉熵代价函数,函数形式如公式 (2)：

C = - \frac{1}{n} \sum_{i = 1}^{C} y_{i} l g f_{i} (x)

(2)

其中,C为分类数,y_i 是真实值标签,f_i (x) 是预测值,n为样本数。

本模型中,输入层为采用RGB通道的64×64像素的图片。分别选用三、四个卷积层训练,每一个卷积层后跟随一个池化层,训练次数为100次,Batch的大小为20,学习率为0.001,正则化系数为0.5,优化器为Adam,激励函数为ReLU。损失函数为Categorical Crossentropy,采用交叉验证的方式训练网络。在Keras深度学习框架上提取图片信息特征,CPU主频是2.90 GHz。下面以使用Adam优化器的四层卷积神经网络为例,给出该网络的结构参数如表1所示。

表1 网络的结构参数

Table 1 Parameters of the nework

Layer	Connection type	Output shape	Param
Input layer		(64, 64, 3)	64×64×3
Conv layer_1	ReLU	(62, 62, 32)	(3×3, 32)
Pooling layer_1		(31, 31, 32)	MaxPooling, stride=2
Conv layer_2	ReLU	(29, 29, 64)	(3×3, 32)
Pooling layer_2		(14, 14, 64)	MaxPooling, stride=2
Conv layer_3	ReLU	(12, 12, 64)	(3×3, 64)
Pooling layer_3		(6, 6, 64)	MaxPooling, stride=2
Full connected layer		2304	Full
Output layer		3	SoftMax

新窗口打开| 下载CSV

1.3 数据集准备

本次实验的数据集是从原始截面图中截取3600张64×64像素的图片。针状析出相、界面以及氧化物三类特征各1000张,共3000张作为训练集,600张作为测试集。数据集部分图片展示如图3所示。通过ImageDataGenerato图片处理器对图像进行水平偏移、竖直偏移、随机转动等处理后继续增加训练图片数量。一张64×64的界面图片经过上述参数化后生成的多张界面图片如图4所示。在图像分析前,进行图像预处理,在经过非局部均值滤波、自适应直方图均衡化、冲击滤波得到预处理后图像。统一数据格式,精炼数据内容,提高特征识别的可靠性。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 卷积神经网络数据集中部分图像展示

Fig.3 Partial pictures in convolutional neural network data set

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 Image Data Generator图像处理器处理效果图

Fig.4 Characteristic pictures produced by image Data Generator image processor

2 结果与分析

图5为在1000 ℃氧化500和1000 h的样品背散射截面形貌。图5中,金属基体中的白色针状相为TCP相,其形态、分布和数量会影响基体的性能^[10]。在涂层/基体界面处可观察到微孔,该缺陷会降低涂层结合力,是涂层从基体剥落和热应力产生的源头^[11],这比涂层内部缺陷对涂层性能的影响更严重。对于热障涂层而言,通常由最外部的陶瓷层 (TC层)、热生长氧化物层 (TGO层)、粘结层 (BC层) 和基体构成。NiCrAlY涂层作为热障涂层中的BC层,对整个热障涂层寿命的影响也被学者广泛研究。由于涂层之间热膨胀不匹配,在TGO层逐渐长大时会产生内应力,这种内应力是由于TGO层在氧化过程中会由致密的Al₂O₃转变为Ni、Cr为主的尖晶石氧化物导致的^[12-15]。因此这种变化图像中表现为氧化层出现弯曲起伏、厚薄不均匀,内部镶嵌有白色颗粒甚至出现裂纹的特征。其中,文献[16]中DeMaSI通过疲劳损伤累计理论,建立了基于疲劳的涂层寿命模型,用 TGO的厚度来表征涂层的氧化失效。NiCrAlY涂层中Al和Cr是涂层中的保护性元素,Al主要存在于β相中。当涂层中的Al含量达到临界含量以上时,主要形成Al₂O₃膜,具有优良的抗氧化性能。Al₂O₃在扫描电镜的背散射模式下呈黑色。Cr稳定的氧化物只有Cr₂O₃,Cr₂O₃生长缓慢,同Al₂O₃一起被认为是最具抗性的氧化物。因此通过计算机识别这些氧化物的形貌和分布是实现涂层的智能化检测的关键。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 多弧离子镀NiCrAlY涂层的微观形貌

Fig.5 Micro-morphology of multi-arc ion plating NiCrAlY coating: (a) 1000 ℃/500 h, (b) 1000 ℃/1000 h

在基体针状相、界面以及氧化物这三类特征的识别中,界面的识别难度最大,这是因为在涂层中一些类似的孔洞缺陷会干扰神经网络的判断,同理,当涂层中存在内氧化的区域时,就会干扰氧化层的识别。需要不断更新训练集,保留数据集中特征明显的图片来减少神经网络的误判；或者适当增加卷积神经网络的深度,降低神经网络的错误率。本文进行的5组实验的卷积层数以及测试准确率如表2所示：优化器选择RMSProp方法时,将卷积层数从两层增加至4层,测试集的正确率均在90%之上,其中含有4层卷积层的神经网络的测试集的争取率最高为99.17%。优化器选择Adam方法时,3层与4层卷积层的神经网络测试集的正确率均在95%以上。在后续传入1024×943的原始大图进行滑动窗口标记特征的过程中,1、2、3、5号网络分别在识别界面、氧化物、界面、界面位置时出错,而使用Adam优化器的含有三个卷积层和池化层的卷积神经网络表现良好,图片特征全部识别成功。其中4号网络识别成功的部分图片结果如图6所示。可以看到,含有3层卷积层的Adam优化器训练的神经网络具有很高的准确性,即使是氧化层具有一定的弯曲起伏,也不影响氧化层的识别。将训练集的损失率、训练集的正确率、测试集的损失率以及测试集的正确率绘制在一张图上,标号1到5的神经网络的图像如图7所示。其中RMSProp_conv2代表使用RMSProp优化器,且含有两个卷积层的神经网络。可以看出,使用Adam优化器的神经网络由于损失函数的曲线下降的比较平稳,所以相对来说网络表现的更加平稳。

表2 模型参数设置与准确率

Table 2 Model parameter setting and accuracy

Number	Conv number	Optimizer	Test Accuracy
1	2	RMSProp	0.9800
2	3	RMSProp	0.9067
3	4	RMSProp	0.9917
4	3	Adam	0.9917
5	4	Adam	0.9833

新窗口打开| 下载CSV

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 8层卷积神经网络 (Adam) 对不同氧化条件下界面的识别结果

Fig.6 Recognition results of 8-layers convolutional neural network (Adam) for the interface after different oxidation environments: (a) 950 ℃/100 h, (b) 950 ℃/500 h, (c) 1000 ℃/1000 h, (d) 1000 ℃/500 h

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 各卷积神经网络的正确率和损失率变化曲线图

Fig.7 Accuracy and loss rate curves of 6-layer convolutional neural network (a), 8-layer convolutional neural network (RMSProp) (b), 10-layer convolutional neural network (RMSProp) (c), 8-layer convolutional neural network (Adam) (d) and 10-layer convolutional neural network (Adam) with iterations the 8-layers convolutional neural network (RMSProp) with iterations (e)

3 结论

本文在理解神经网路的结构的基础上,提出了一种将N5/NiCrAlY涂层特征进行识别的方法,由于针状相、基体与涂层的界面以及呈保护性的氧化层会影响涂层的服役性能。因此利用卷积神经网络自动提取图片这三类特征,将图片上的信息最大化利用,建立NiCrAlY涂层数据库,便于学习和检索。

(1) 基于keras搭建的卷积神经网络进行针状相、界面以及氧化物三类特征的识别训练时,具有两层、三层和四层卷积层神经网络的测试集的正确率都在90%以上。

(2) 采用Adam优化器和RMSProp优化器的神经网络相比,采用Adam优化器的神经网络的损失函数图像下降的更为平稳,说明采用Adam优化器的神经网络比RMSProp优化器的神经网络更稳定。

(3) 当输入测试的大图时,使用Adam优化器的3层卷积层的神经网络表现最好,所有图片的特征均识别成功并标记出正确的位置,说明网络具有较好的精度。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Yang

Z Z

, Kuang

, Fan

, et al.

Review of image classification algorithms based on convolutional neural networks

[J]. J. Sign. Process., 2018, 34: 1474