基于深度學習的化纖外觀缺陷語義分割

2022-09-18 20:00:00 精質(zhì)視覺

　　針對化纖外觀缺陷檢測使用基于深度學習的語義分割方法，總結(jié)了自以來基于深度學習的典型語義分割方法，并在此基礎(chǔ)上應用到化纖外觀檢測項目上，取得了不錯的效果。

　　01 化纖外觀缺陷檢測背景

化纖作為紡織制造的原料，由化纖生產(chǎn)企業(yè)進入下游紡織企業(yè)前會收卷形成絲餅，但在絲餅生產(chǎn)中會有不同程度的損傷，如產(chǎn)生油污、毛絲、絆絲、斷絲等表面缺陷，這些缺陷會直接造成下游紡織企業(yè)生產(chǎn)的產(chǎn)品質(zhì)量不高。油污會影響織物的外觀以及上色;毛絲會使織造效率降低，同時使織物表面產(chǎn)生瑕疵;絆絲不僅會影響化纖的包裝外觀，而且在化纖后續(xù)加工容易產(chǎn)生斷頭和毛絲;而斷絲則直接導致化纖的不連續(xù)。因此需要對化纖絲餅進行影響織物質(zhì)量的表面缺陷檢測，以確?；w出廠質(zhì)量。目前大部分生產(chǎn)廠家通過人工來檢測化纖外觀缺陷，既費時費力又不能保證質(zhì)量，使用機器視覺代替人工檢測對化纖生產(chǎn)企業(yè)是迫切需要的。

　　化纖外觀缺陷主要包括油污、碰毛、紙管破損、絆絲、毛絲、斷絲等，部分典型缺陷如圖1，這些缺陷大部分使用語義分割的方法來進行。語義分割融合了圖像分割和目標識別兩大技術(shù)，將圖像分割成幾組具有特定語義類別的區(qū)域，屬于像素級別的密集分類問題。早期一般使用直方圖閾值化、混合化特征空間聚類、區(qū)域生長法以及基于SVM的方法等進行圖像目標語義分割，這些方法受缺陷和圖像本身影響較大，導致漏檢和誤檢比較嚴重，如油污檢測中使用直方圖閾值化容易導致顏色較淡的油污漏檢，以及絲線紋理誤檢為油污。

　　圖1. 化纖外觀典型缺陷

　　02 基于深度學習的語義分割

　　深度學習的概念自2006年提出以來，因其在圖像分類、檢測等基礎(chǔ)領(lǐng)域的優(yōu)秀表現(xiàn)，取得了顯著的發(fā)展，特別是2012年Alex Krizhevsky等設計了AlexNet模型在ImageNet圖像分類挑戰(zhàn)賽上以領(lǐng)(ling)先第二名傳統(tǒng)方法10%的準確率奪得冠(guan)軍，使得深度學習受到廣泛關(guān)注。此后，包括語義分割在內(nèi)的許多計算機視覺問題都開始使用深度學習算法，識別精度在部分領(lǐng)域甚至超過了人工識別精度?；谏疃葘W習的語義分割，一般有基于*的方法、基于信息融合的方法、基于循環(huán)神經(jīng)網(wǎng)絡(RNN)的方法以及基于對抗生成網(wǎng)絡的方法等。

　　2.1 基于*的方法

　　，Shelhamer等提出了基于全卷積神經(jīng)網(wǎng)絡(FCN)的語義分割方法，F(xiàn)CN作為圖像語義分割的先河，實現(xiàn)像素級別的分類，為后續(xù)使用CNN作為基礎(chǔ)的圖像語義分割模型提供重要基礎(chǔ)。如圖2所示，它將CNN 中的全連接層替換為卷積層，建立全卷積網(wǎng)絡，輸入任意尺寸的圖像后，經(jīng)過學習以及處理產(chǎn)生相應尺寸的輸出，然后對每個像素進行分類，這個流程稱為編碼器;在分類完成后通過上采樣將分類結(jié)果映射到原圖像尺寸，得到密集的像素級別的標簽，即語義分割結(jié)果，這部分流程被稱為*。FCN融合了多分辨率的信息，將不同大小的特征圖進行上采樣并進行融合，取得了較為精確的分割效果。

　　但是，F(xiàn)CN在解碼階段進行上采樣時易丟失像素的位置信息而影響分割精度，如何巧妙設計*對分割結(jié)果至關(guān)重要，如2017年，由Badrinarayanan等提出的SegNet算法，SegNet的每個編碼器層都對應一個*層，*的輸出被送入分類器獨立為每個像素產(chǎn)生類概率，特征圖中的空間位置能準確地反映射到其初始位置，相較FCN能準確地恢復圖像邊界信息，分割效果更好。

　　圖2. 全卷積神經(jīng)網(wǎng)絡(FCN)語義分割模型結(jié)構(gòu)

　　2.2 基于信息融合的方法

　　為了使語義分割效果更好，充分利用分割目標的空間信息，于是對不同層次的信息進行融合，一般來說有如下信息融合方式：像素級特征融合、多特征圖和多尺度融合。

　　圖3. 金字塔型空洞池化(ASPP)模塊

　　像素級特征融合方法中，如，Google研究團隊的Chen L C等提出DeepLab V1模型，該模型引入了條件隨機場(CRF) 作為后處理模塊，將圖像中每個像素與CRF模型中的某個節(jié)點一一對應，衡量任意像素之間的聯(lián)(lian)系，實現(xiàn)底層圖像信息像素間的融合，實現(xiàn)了分割細節(jié)增強;2016年，DeepLab V2在DeepLab V1的基礎(chǔ)上引入了金字塔型空洞池化(ASPP)模塊，選擇不同采樣率的帶孔卷積處理特征圖，提高了分割精度;2017年，DeepLab V3在DeepLab V2的基礎(chǔ)上繼續(xù)優(yōu)化ASPP結(jié)構(gòu)，通過級聯(lián)多個空洞卷積結(jié)構(gòu)，有效地提取了表現(xiàn)力強的特征;2018年，DeepLab V3+把DeepLabv3作為編碼器，骨干網(wǎng)絡使用了Xception模型，提高了語義分割的健壯性和運行速率。

　　多特征圖和多尺度融合方法中，如2015年，Liu W等提出金字塔場景解析網(wǎng)絡(ParseNet)將全局特征圖轉(zhuǎn)化為與局部特征圖相同的尺寸，不同類型的處理模塊側(cè)重于激活的不同區(qū)域的特征圖，合并后輸入下一層或用于學習分類器，有效地利用了前面層所提供的上下文信息，取得了比FCN 跳躍結(jié)構(gòu)更好的分割效果。2020年，Ho Kei Cheng等提出CascadePSP，采用一幅圖像和多個不同尺度的不完美分割掩模來生成細化的分割，多尺度輸入使模型捕獲不同層次的結(jié)構(gòu)和邊界信息，自適應地融合不同的掩模(mo)特征，所有低分辨率的輸入分段都被雙線性向上采樣到相同的大小，并與RGB圖像連接;CascadePSP是一種通用的級聯(lián)分割細化模型，它可以細化任何給定的輸入分割，在不進行微調(diào)的情況下提高現(xiàn)有分割模型的性能。

　　2.3 基于循環(huán)神經(jīng)網(wǎng)絡的方法

　　循環(huán)神經(jīng)網(wǎng)絡(RNN)是一種基于記憶的網(wǎng)絡模型，它從連續(xù)數(shù)據(jù)中學習長期依賴關(guān)系的能力和保持記憶的能力，具有周期性的連接和通過對圖像的長期語義依賴進行建模來捕獲圖像中的上下文的能力，成功應用于語義分割。如2015年，Visin F基于用于圖像分類的ReNet提出了ReSeg語義分割，該模型中每個ReNet層由4個RNN組成(水平、豎直掃描圖像)，將激活信息或圖塊編碼并生成相應的全局特征，ReNet層堆疊在預訓練的卷積結(jié)構(gòu)上，生成一般局部特征，通過全局特征和局部特征上采樣得到分割圖。

　　2.4 基于對抗生成網(wǎng)絡的方法

　　2016年，Pauline Luc等在文獻《Semantic Segmentation using Adversarial Networks》*將對抗生成網(wǎng)絡(GAN)應用到語義分割中，他們使用判別器識別真實標簽與分割圖像，縮小標簽與分割圖像之間的高次不一致性。該網(wǎng)絡模型由一個分割器(即普通的分割網(wǎng)絡模型)作為生(sheng)成器，其后添加一個判別網(wǎng)絡結(jié)構(gòu)，通過GAN 產(chǎn)生高質(zhì)量的生成圖像來改進像素分類，該方法分割效果一般，是對抗生成網(wǎng)絡(GAN)應用到語義分割一次有效的嘗試。后續(xù)基于對抗生成網(wǎng)絡的半監(jiān)督語義分割有一定發(fā)展，如2017年的《An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks》。

　　03 語義分割對化纖外觀缺陷的檢測

　　對化纖外觀缺陷中的油污、碰毛以及紙管破損進行了分析，采用基于深度學習語義分割的方法，對正負缺陷樣本極不平衡的情況進行了處理，設計了使用本項目的損失函數(shù)，同時對油污、碰毛以及紙管破損的特征進行分析，對缺陷得到了較好的分割效果，得到了客戶的認可，具體效果見圖4。