高精度針孔檢測(cè)設(shè)備
More >>
您所在的位置：精質(zhì)視覺 > 新聞中心> 基于深度學(xué)習(xí)的化纖外觀缺陷語(yǔ)義分割
2022-09-18 20:00:00 精質(zhì)視覺
針對(duì)化纖外觀缺陷檢測(cè)使用基于深度學(xué)習(xí)的語(yǔ)義分割方法，總結(jié)了自以來基于深度學(xué)習(xí)的典型語(yǔ)義分割方法，并在此基礎(chǔ)上應(yīng)用到化纖外觀檢測(cè)項(xiàng)目上，取得了不錯(cuò)的效果。
01 化纖外觀缺陷檢測(cè)背景
化纖作為紡織制造的原料，由化纖生產(chǎn)企業(yè)進(jìn)入下游紡織企業(yè)前會(huì)收卷形成絲餅，但在絲餅生產(chǎn)中會(huì)有不同程度的損傷，如產(chǎn)生油污、毛絲、絆絲、斷絲等表面缺陷，這些缺陷會(huì)直接造成下游紡織企業(yè)生產(chǎn)的產(chǎn)品質(zhì)量不高。油污會(huì)影響織物的外觀以及上色;毛絲會(huì)使織造效率降低，同時(shí)使織物表面產(chǎn)生瑕疵;絆絲不僅會(huì)影響化纖的包裝外觀，而且在化纖后續(xù)加工容易產(chǎn)生斷頭和毛絲;而斷絲則直接導(dǎo)致化纖的不連續(xù)。因此需要對(duì)化纖絲餅進(jìn)行影響織物質(zhì)量的表面缺陷檢測(cè)，以確?；w出廠質(zhì)量。目前大部分生產(chǎn)廠家通過人工來檢測(cè)化纖外觀缺陷，既費(fèi)時(shí)費(fèi)力又不能保證質(zhì)量，使用機(jī)器視覺代替人工檢測(cè)對(duì)化纖生產(chǎn)企業(yè)是迫切需要的。
化纖外觀缺陷主要包括油污、碰毛、紙管破損、絆絲、毛絲、斷絲等，部分典型缺陷如圖1，這些缺陷大部分使用語(yǔ)義分割的方法來進(jìn)行。語(yǔ)義分割融合了圖像分割和目標(biāo)識(shí)別兩大技術(shù)，將圖像分割成幾組具有特定語(yǔ)義類別的區(qū)域，屬于像素級(jí)別的密集分類問題。早期一般使用直方圖閾值化、混合化特征空間聚類、區(qū)域生長(zhǎng)法以及基于SVM的方法等進(jìn)行圖像目標(biāo)語(yǔ)義分割，這些方法受缺陷和圖像本身影響較大，導(dǎo)致漏檢和誤檢比較嚴(yán)重，如油污檢測(cè)中使用直方圖閾值化容易導(dǎo)致顏色較淡的油污漏檢，以及絲線紋理誤檢為油污。
圖1. 化纖外觀典型缺陷
02 基于深度學(xué)習(xí)的語(yǔ)義分割
深度學(xué)習(xí)的概念自2006年提出以來，因其在圖像分類、檢測(cè)等基礎(chǔ)領(lǐng)域的優(yōu)秀表現(xiàn)，取得了顯著的發(fā)展，特別是2012年Alex Krizhevsky等設(shè)計(jì)了AlexNet模型在ImageNet圖像分類挑戰(zhàn)賽上以領(lǐng)(ling)先第二名傳統(tǒng)方法10%的準(zhǔn)確率奪得冠(guan)軍，使得深度學(xué)習(xí)受到廣泛關(guān)注。此后，包括語(yǔ)義分割在內(nèi)的許多計(jì)算機(jī)視覺問題都開始使用深度學(xué)習(xí)算法，識(shí)別精度在部分領(lǐng)域甚至超過了人工識(shí)別精度?；谏疃葘W(xué)習(xí)的語(yǔ)義分割，一般有基于*的方法、基于信息融合的方法、基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的方法以及基于對(duì)抗生成網(wǎng)絡(luò)的方法等。
2.1 基于*的方法
，Shelhamer等提出了基于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)的語(yǔ)義分割方法，F(xiàn)CN作為圖像語(yǔ)義分割的先河，實(shí)現(xiàn)像素級(jí)別的分類，為后續(xù)使用CNN作為基礎(chǔ)的圖像語(yǔ)義分割模型提供重要基礎(chǔ)。如圖2所示，它將CNN 中的全連接層替換為卷積層，建立全卷積網(wǎng)絡(luò)，輸入任意尺寸的圖像后，經(jīng)過學(xué)習(xí)以及處理產(chǎn)生相應(yīng)尺寸的輸出，然后對(duì)每個(gè)像素進(jìn)行分類，這個(gè)流程稱為編碼器;在分類完成后通過上采樣將分類結(jié)果映射到原圖像尺寸，得到密集的像素級(jí)別的標(biāo)簽，即語(yǔ)義分割結(jié)果，這部分流程被稱為*。FCN融合了多分辨率的信息，將不同大小的特征圖進(jìn)行上采樣并進(jìn)行融合，取得了較為精確的分割效果。
但是，F(xiàn)CN在解碼階段進(jìn)行上采樣時(shí)易丟失像素的位置信息而影響分割精度，如何巧妙設(shè)計(jì)*對(duì)分割結(jié)果至關(guān)重要，如2017年，由Badrinarayanan等提出的SegNet算法，SegNet的每個(gè)編碼器層都對(duì)應(yīng)一個(gè)*層，*的輸出被送入分類器獨(dú)立為每個(gè)像素產(chǎn)生類概率，特征圖中的空間位置能準(zhǔn)確地反映射到其初始位置，相較FCN能準(zhǔn)確地恢復(fù)圖像邊界信息，分割效果更好。
圖2. 全卷積神經(jīng)網(wǎng)絡(luò)(FCN)語(yǔ)義分割模型結(jié)構(gòu)
2.2 基于信息融合的方法
為了使語(yǔ)義分割效果更好，充分利用分割目標(biāo)的空間信息，于是對(duì)不同層次的信息進(jìn)行融合，一般來說有如下信息融合方式：像素級(jí)特征融合、多特征圖和多尺度融合。
圖3. 金字塔型空洞池化(ASPP)模塊
像素級(jí)特征融合方法中，如，Google研究團(tuán)隊(duì)的Chen L C等提出DeepLab V1模型，該模型引入了條件隨機(jī)場(chǎng)(CRF) 作為后處理模塊，將圖像中每個(gè)像素與CRF模型中的某個(gè)節(jié)點(diǎn)一一對(duì)應(yīng)，衡量任意像素之間的聯(lián)(lian)系，實(shí)現(xiàn)底層圖像信息像素間的融合，實(shí)現(xiàn)了分割細(xì)節(jié)增強(qiáng);2016年，DeepLab V2在DeepLab V1的基礎(chǔ)上引入了金字塔型空洞池化(ASPP)模塊，選擇不同采樣率的帶孔卷積處理特征圖，提高了分割精度;2017年，DeepLab V3在DeepLab V2的基礎(chǔ)上繼續(xù)優(yōu)化ASPP結(jié)構(gòu)，通過級(jí)聯(lián)多個(gè)空洞卷積結(jié)構(gòu)，有效地提取了表現(xiàn)力強(qiáng)的特征;2018年，DeepLab V3+把DeepLabv3作為編碼器，骨干網(wǎng)絡(luò)使用了Xception模型，提高了語(yǔ)義分割的健壯性和運(yùn)行速率。
多特征圖和多尺度融合方法中，如2015年，Liu W等提出金字塔場(chǎng)景解析網(wǎng)絡(luò)(ParseNet)將全局特征圖轉(zhuǎn)化為與局部特征圖相同的尺寸，不同類型的處理模塊側(cè)重于激活的不同區(qū)域的特征圖，合并后輸入下一層或用于學(xué)習(xí)分類器，有效地利用了前面層所提供的上下文信息，取得了比FCN 跳躍結(jié)構(gòu)更好的分割效果。2020年，Ho Kei Cheng等提出CascadePSP，采用一幅圖像和多個(gè)不同尺度的不完美分割掩模來生成細(xì)化的分割，多尺度輸入使模型捕獲不同層次的結(jié)構(gòu)和邊界信息，自適應(yīng)地融合不同的掩模(mo)特征，所有低分辨率的輸入分段都被雙線性向上采樣到相同的大小，并與RGB圖像連接;CascadePSP是一種通用的級(jí)聯(lián)分割細(xì)化模型，它可以細(xì)化任何給定的輸入分割，在不進(jìn)行微調(diào)的情況下提高現(xiàn)有分割模型的性能。
2.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法
循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是一種基于記憶的網(wǎng)絡(luò)模型，它從連續(xù)數(shù)據(jù)中學(xué)習(xí)長(zhǎng)期依賴關(guān)系的能力和保持記憶的能力，具有周期性的連接和通過對(duì)圖像的長(zhǎng)期語(yǔ)義依賴進(jìn)行建模來捕獲圖像中的上下文的能力，成功應(yīng)用于語(yǔ)義分割。如2015年，Visin F基于用于圖像分類的ReNet提出了ReSeg語(yǔ)義分割，該模型中每個(gè)ReNet層由4個(gè)RNN組成(水平、豎直掃描圖像)，將激活信息或圖塊編碼并生成相應(yīng)的全局特征，ReNet層堆疊在預(yù)訓(xùn)練的卷積結(jié)構(gòu)上，生成一般局部特征，通過全局特征和局部特征上采樣得到分割圖。
2.4 基于對(duì)抗生成網(wǎng)絡(luò)的方法
2016年，Pauline Luc等在文獻(xiàn)《Semantic Segmentation using Adversarial Networks》*將對(duì)抗生成網(wǎng)絡(luò)(GAN)應(yīng)用到語(yǔ)義分割中，他們使用判別器識(shí)別真實(shí)標(biāo)簽與分割圖像，縮小標(biāo)簽與分割圖像之間的高次不一致性。該網(wǎng)絡(luò)模型由一個(gè)分割器(即普通的分割網(wǎng)絡(luò)模型)作為生(sheng)成器，其后添加一個(gè)判別網(wǎng)絡(luò)結(jié)構(gòu)，通過GAN 產(chǎn)生高質(zhì)量的生成圖像來改進(jìn)像素分類，該方法分割效果一般，是對(duì)抗生成網(wǎng)絡(luò)(GAN)應(yīng)用到語(yǔ)義分割一次有效的嘗試。后續(xù)基于對(duì)抗生成網(wǎng)絡(luò)的半監(jiān)督語(yǔ)義分割有一定發(fā)展，如2017年的《An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks》。
03 語(yǔ)義分割對(duì)化纖外觀缺陷的檢測(cè)
對(duì)化纖外觀缺陷中的油污、碰毛以及紙管破損進(jìn)行了分析，采用基于深度學(xué)習(xí)語(yǔ)義分割的方法，對(duì)正負(fù)缺陷樣本極不平衡的情況進(jìn)行了處理，設(shè)計(jì)了使用本項(xiàng)目的損失函數(shù)，同時(shí)對(duì)油污、碰毛以及紙管破損的特征進(jìn)行分析，對(duì)缺陷得到了較好的分割效果，得到了客戶的認(rèn)可，具體效果見圖4。
