基於機器視覺與深度學習的面板切割缺陷檢測
Machine Vision and Deep Learning Based Scribe Defect Detection for LCD
近年來資通訊產品需求增加導致 TFT-LCD 面板產業的蓬勃發展，但 TFT-LCD 面板的製程檢測仍然仰賴人工目測檢查，而人為評估瑕疵質量通常是主觀的且不穩定的，因此導入自動光學檢測 (automated optical inspection, AOI) 取代人工檢測是一項重要的自動化課題，且不同表面特性的材料需對應不同的取像照明方式，若取像照明方法不穩定會影響缺陷檢測過程中的整體穩定性。為此本研究開發一套用於 TFT-LCD 面板線上的即時自動光學檢測系統，利用影像辨識基板切割後耳料是否脫離正常，避免 TFT-LCD 面板因切割不良未檢出並流入後段製程，導致面板破裂或後端機台損毀，幫助提升製程良率，減少設備損毀之不良影響，最後加入深度學習來提升瑕疵檢測的效率，結果顯示加入深度學習的影像預測速度效率相比傳統方法提高了 38%，並達到 100% 的預測準確率。
In recent years, the demand for information and communication products has increased, leading to a thriving TFT-LCD panel industry. However, the process of inspecting TFT-LCD panels still heavily relies on manual visual inspection, which can often be subjective and unreliable. Therefore, replacing manual inspection with automated optical inspection (AOI) is an important issue. Since different materials with varying surface characteristics require different illumination methods, unstable illumination can affect the overall stability of the defect detection process. In this study, we developed a real-time automatic optical inspection system for TFT-LCD panels. The system uses images to identify whether the material is abnormal after the TFT-LCD substrate is cut, preventing poorly cut TFT-LCD panels from entering the back-end process, which can result in panel breakage or damage to the back-end machinery. The system helps to improve process yields and reduce equipment damage. The results show that the deep learning image prediction speed is 38% more efficient than the traditional method, and the prediction accuracy reached 100%.
一、前言
受益於半導體製程的蓬勃發展，各類資通訊產品需求大增，薄膜電晶體液晶顯示器 (thin film transistor-liquid crystal display, TFT-LCD) 在通訊產品中扮演重要的溝通媒介，導致 TFT-LCD 顯示面板需求量增加，目前面板產業逐漸以輕薄化與曲面為導向(1)，由於 TFT-LCD 面板為玻璃製品，在瑕疵檢測上一直存在許多的障礙，有需多瑕疵難以檢出，例如亮度不均 (mura)(2) 或切割缺陷(3) 等，過去有不少團隊提出了針對切割缺陷檢測的研究，范明榮等人(4) 使用獨立成份分析 (independent component analysis, ICA) 搜尋瑕疵區域後進行一系列的分析與檢測，實現 TFT-LCD 之檢測應用，洪崇祐等人(5) 透過傅立葉轉 (Fourier transform) 換方式找出各類型的表面瑕疵位置，運用深度學習輔助瑕疵檢測近年來也有許多探討及應用(6, 7)。
綜觀上述論文(1-7)，所提出之瑕疵解決方案運行良好，但在結合現場產線複雜情況與速度議題上的研究較少被討論，本論文提出的方法克服了原始設備環境不可控的問題，在不干涉原始輸送系統的情況下達成瑕疵檢測，並透過自製之長型光源與高角度的打光方式，結合分段檢查機制與深度學習應用，提出一應用於面板製程生產線上的即時瑕疵檢測系統，對於大型且透明的樣本之檢測具有高度的檢測強健性與高檢查速度。
二、背景介紹
耳殘瑕疵如圖 1 所示，其發生的原因為 TFT-LCD 面板生產後需要進行分離切割， 在切割的過程中可能會因為切割刀具的衰退(8) 或是面板入料角度異常而未完全切割，未切割完全的 TFT-LCD 面板流入後續製程將會導致後段設備的損毀與破裂。而切割後的玻璃若是掉入面板上，則稱為掉落物瑕疵，掉落物瑕疵如圖 2 所示，掉落物瑕疵流入後段製程會刮傷 TFT 面板的主要顯示區，而 TFT 面板的刮傷都會降低透光度進而影響最後成像，因此耳殘瑕疵與掉落物的瑕疵檢查在切割製程中，扮演重要的角色。
圖 1. 耳殘瑕疵影像。
圖 2. 掉落物瑕疵影像。
圖 3. 正常面板。
近年來瑕疵檢測逐漸應用於各種製程上，但不同材質製品之間的照明強化方法差異甚大，對於像是耳殘瑕疵這種透明殘料的打光方法仍有許多進步空間，常常會因為光源穿透材料導致檢測影像上的對比度不足，使得後續演算法檢測失效，或者強健性下降等問題，因此對於 TFT-LCD 面板這種玻璃製品來說，挑選合適的打光方式是執行自動光學檢測上不可或缺的研究。
TFT-LCD 面板除了具有打光方式的問題外，也因為尺寸巨大而在挑選光源上備受挑戰，尤其是光源的選擇，雖然說大型物件的工業檢查並不罕見，但需要對大型物件進行針對性的打光強化卻是罕見的應用，以本研究所使用的 32 吋 (尺寸，710 × 640) TFT-LCD 面板來說，市售的商用光源並未找到如此大型之光源設備，在打光強化 32 吋 TFT 面板的瑕疵時面臨不少挑戰，因此挑選光源也是 TFT-LCD 面板瑕疵檢測上所需克服的困難點。
三、實驗規劃與系統架設
面對透明玻璃殘料的檢測，本研究實驗了三種不同的光源，圖 4、圖 5、圖 6 顯示了三種光源的照明結果，分別為背向光源 (圖 4)，同軸光源 (圖 5)，正向條形光 (圖 6)。因耳殘瑕疵為透明玻璃的關係，背向光線會穿透材料而使得整體對比度不足，而對比度不足又會使得殘料瑕疵與輸送機構影像融合於一起，導致最終難以分辨。雖然同軸光源強化了 TFT-LCD 面板電路區與顯示區的顏色差異，但仍然不具備足夠強健的對比度。透過正向打光的方式，本研究發現了使用條形光並以接近平行光軸的照射方式打光，能夠有效的分離出耳殘瑕疵，具有維持高度對比，後端演算法分割容易等優點，因此本研究最終選擇採用長條型光源，以強化耳殘瑕疵和掉落物與顯示區的對比度，達到最終檢測之效果。
圖 4. 背向光源。
圖 5. 同軸光源。
圖 6. 正向條形光。
面板屬於大型物件，且在輸送過程中的速度極快，若是將取得之影像進行疊合檢測會導致檢測速度大幅降低，本研究為了符合產線上實際生產時所運行之速度需求，採用了分段檢查的機制，不需要取得完整影像即可進行單條影像的檢測，除了達到即時檢查的效果外，也一併解決視野不足與光源大小不足之問題。分段影像運行於演算法之流程如圖 7 所示，工業相機取像後，可直接對瑕疵進行連通域分析，透過閾值分割與形態學之強化，最終可以根據設定之閾值檢測出切割製程中產生之不良瑕疵，並傳送至使用者介面顯示。
圖 7. 演算法運行流程。
雖然透過正向條形光可以即時的檢測到耳殘瑕疵，但在高速運送的過程中，對於 TFT-LCD 面板上的主要區域掉落物檢查仍有不穩定之情形，使用多重條件閾值分割與較多的連通域分析可提高檢查的穩定度，但卻犧牲了檢測的速度，因此本研究導入了深度學習於線上瑕疵檢測中，如圖 8 所示，本研究使用的神經網路係以殘差網絡(9) (residual neural network, ResNet) 作為骨幹網路，所搭建的 U 型卷積網路(10) (U-net convolutional network)，共有四層下採樣網路與四層上採樣網路，最後一層網路將會輸出分割結果的影像。本研究所用之資料集為自行蒐集拍攝之資料集，資料圖像共有 1,140 張影像，測試瑕疵圖像有 19 張影像，測試良品圖像有 90 張，合計 109 張測試影像，每張影像大小為長度 64 像素、寬度 64 像素，詳細網路參數如下表 1 所示，深度學習模型推論速度每秒可預測 35.72 張影像，相比於傳統演算法每秒可分割出 25.64 張影像的速度，在預測速度上提高了 38%，且在分段檢查的機制上運作良好。
圖 8. 本研究採用之網路架構圖。
表 1. 網路訓練參數。
整體光機系統架構如圖 9 所示，系統架構包含了工業相機、工業電腦、光源、紅外線處發開關。因設計成外掛式的探頭，檢測模組並不依賴於原始傳送設備，不僅將其他自動化設備的影響性降至最小，還能在不干涉原始輸送設備的情況下達成線上即時檢測。如圖 10 所示，本文所開發之系統也具備使用者介面，因採用分段檢查的機制，在最終的影像呈現上不同於一般介面設計，採用了面板瑕疵地圖 (panel defect map, PDM) 的設計，在不執行循環影像拼接的情況下，仍然能快速的看出瑕疵的所在位置，並提醒使用者作後續處理。
圖 9. 光機系統架構圖。
圖 10. 使用者介面設計示意圖。
本研究實際運行於產線的架設情況如圖 11 所示，現場環境並不像實驗室或整機設備一樣具有可控制的環境，除了工廠內有許多的雜亂環境光外，原始輸送設備的內部充滿不同的機構件與金屬材質，控制上也無法進行同步操作，這對於自動光學檢測來說是一個挑戰，本研究採用上述之照明方式並結合深度學習進行瑕疵檢測，仍維持高度的強健性，並可實際運用於產線上之線上即時瑕疵檢測系統。
圖 11. 架設於實際產線影像。
四、結果與討論
深度學習檢測模型的學習曲線如下圖 13 所示，在迭代了 10 次後逐步達到收斂，雖 IOU 僅有 0.7，但分割模型的 70% 重合率經過閾值分割後作為檢測使用已能達到高度的準確率，模型預測的瑕疵影像與基準真相之差異如圖 12 所示，該預測結果可以整合在耳殘瑕疵演算法中的連通域分析中，根據使用者所設定欲檢出之耳殘瑕疵大小進行檢測，並將結果整合至瑕疵地圖影像中，圖 12 為多張 64 × 64 像素預測瑕疵圖拼接出的瑕疵拼接示意圖，中紅色線框出位置為深度卷積神經網路預測之瑕疵影像範圍，在 70% 信心水平預測下，可見其預測重合度相當高，同時推論速度每秒可預測 35.72 張影像，相比多重閾值分割每秒可分割出 25.64 張影像的速度，深度學習檢測大幅領先傳統多重分割演算方法，資料集中的測試結果，經計算後的混淆矩陣 (confusion matrix) 如表 2 所示，針對測試的 19 張瑕疵影像均能檢出，達到 100% 的檢出率，上述結果表明導入深度學習檢測模型除了有高預測速度的優勢外，也具備高準確度的優點。
圖 12. 模型預測影像。
圖 13. 模型訓練－驗證曲線。
表 2. 掉落物測試資料集檢測混淆矩陣。
運行檢測演算法後的結果如圖 14、圖 15 所示，圖 14 顯示上方耳殘瑕疵與其檢測結果，圖 15 顯示右方耳殘瑕疵與其檢測結果，可以看到檢測出的耳殘瑕疵寬度、高度，並判斷是否為瑕疵，連結至使用者介面上的面板瑕疵地圖如圖 16 所示，系統介面也提供了影像循環拼接的功能，在需要的時候才拼接影像，用以了解實際取得之影像結果。
圖 14. 上方耳殘檢測結果影像。
圖 15. 右方耳殘檢測結果影像。
圖 16. 實際使用者介面顯示狀況。
五、結論
本研究所需檢測之樣品為透明材料且尺寸巨大，因此具備高對比度的照明方式與高速檢查策略顯得格外重要，本研究透過正向高角度之打光方法，克服實際場域之限制，實現了對於透明類型的瑕疵進行檢測，對於速度之議題，提出了分段檢查策略並結合深度學習瑕疵檢測，最終檢測速度為 38 ms，成功的開發出一套針對大型透明物件之線上即時瑕疵檢測系統。