類神經網路視覺對位演算法之光學檢測於基於全面性摺疊測試的軟性顯示器
Optical Inspection of Neural Network Vision Alignment Algorithm for Flexible Displays Based on Whole-folding Test
為了檢測光學檢測軟性顯示器的耐用性，本研究創建了一個自動光學檢測系統 (optical detection system, ODS)，該系統包括一個類神經網路作為對準控制演算法，可在 XYZ 平台和一個帶有可旋轉平台四個自由度上的影像擷取儀進行軟性顯示器的光學影像量測。此外，本文提出了一種自動全面性摺疊測試系統 (automatic whole-folding testing system, AWTS)，可以為整個樣本的摺疊或彎曲操作調整摺疊或彎曲半徑。在軟性顯示器的全面性摺疊測試期間，軟性顯示器在不同尺寸下需要軟性顯示器的相應旋轉角度以進行垂直法線方向之光學檢測。根據 AWTS 上不同尺寸大小的軟性顯示器的光學影像量測，本研究利用 ODS 進行正交對準，並通過類神經網路視覺對準演算法自動將軟性顯示器對齊到顯示面的中心進行光學自動化檢測。最後，本研究利用類神經網路來控制四個自由度之 ODS，其最大控制誤差百分比為 2%。此外，本研究還針對軟性膽固醇液晶顯示器進行了全面性摺疊測試。結果發現衰減光學特性隨著摺疊次數的增加而增加，並且在全面性摺疊測試之後此軟性膽固醇液晶顯示器的部分區域光學灰度值的最大衰減百分比為 10%。因此，根據本研究之量測結果和本研究所創建的類神經網路視覺對位演算法之自動光學檢測方法，其適用於基於全面性摺疊測試來評估軟性顯示器的性能，以提供改善軟性顯示器的軟性特性。
In order to inspect the durability of flexible displays, this study creates an automatic optical detection system (ODS), which includes a neural network as an alignment control algorithm, an XYZ platform with a rotatable stage, and the image capture instrument performed optical image measurement of flexible displays in four degrees of freedom. In addition, this study creates an automatic whole-folding testing system (AWTS), which can adjust the folding or bending radii for the whole sample folding or bending operation. During the whole-folding test of the flexible display, the flexible display requires the corresponding rotation angle of the flexible display in different sizes to perform the optical inspection in the vertical normal direction. According to the optical image measurement of flexible displays based on different sizes on the AWTS, this study uses ODS for orthogonal alignment, and automatically aligns the flexible display to the center of the display surface by using a neural network vision alignment algorithm for automatic optical inspection. Finally, this study uses a neural network to control the ODS of four degrees of freedom, and the maximum control error percentage is 2%. In addition, this study measures the optical characteristics of the flexible cholesteric liquid crystal display for a whole-folding test. As a result, it is found that the attenuation optical characteristics increased as the number of folds increased, and the maximum attenuation percentage of the optical gray value in some local areas after the whole-folding test is 10%. Therefore, based on the measurement results of this study and the neural network vision alignment algorithm created by this study, the automatic optical inspection method is suitable for evaluating the performance of flexible displays based on whole-folding tests to provide the improved flexible characteristics of flexible displays.
一、前言
根據顯示技術的發展與市面場摺疊手機的販賣，具有摺疊特性的軟性顯示器已逐漸成為下一代顯示器的趨勢。由於其可彎曲和摺疊的特性，它可以實現剛性的顯示器無法實現的目標，然後發展成為各種產品，例如可穿戴設備、便攜式摺疊式螢幕，甚至用於照明設備與技術。因此，目前各大研究單位與顯示器大廠，都如火如荼地在研究和討論軟性顯示器的摺疊特性及其產品壽命時，通過重複摺疊動作來測試顯示器的特性變化是一種相對直觀和參考的方法。觀察摺疊測試後變化的常用方法有兩種：一種是在顯示器上測量簡單電路的電阻，摺疊前後的電阻變化值定義了軟性顯示器的損耗。另一種是以量測軟性顯示器的顯示影像，並對影像進行光學分析，以解釋軟性顯示器的衰減特性。自動光學檢測是一種利用機械視覺做為檢測標準的技術，以改良傳統以人力操作光學儀器進行檢測的缺點，有自動化、高精度、高效率、即時、非接觸檢測等優點特性。通常光學檢測是以光學儀器獲得被檢測物的光學特性狀態，之後以電腦軟體的影像處理技術對被檢測物的影像進行分析後檢測出被檢測物的瑕疵或損耗。因此，光學檢測對於軟性顯示器的摺疊破壞是非常適合的量測方法。根據許多軟性電子或顯示器測試平台的文獻，由於機構的結構，系統只能執行局部徑向彎曲或有限的彎曲角度，從而導致較差的彎曲或折疊效果(1-5)。例如有上述文獻藉由大小不同半徑的滾子設計一滾子型測試機構，但此設計對於全面性的摺疊特性檢測能力較差，而滾子與軟性顯示器間的摩擦力亦會使軟性顯示器造成額外的傷害，對摺疊特性的檢測會造成額外的誤差。甚至上述有些文獻的彎曲測試設計，在彎曲或摺疊測試前必須有一個初始曲率半徑，使軟性顯示器可能在夾持動作時不小心損壞或是在初始彎曲半徑下就造成軟性顯示器的毀壞。此外，在上述設計中，只能測試樣品的一部分區域，因此它們不適用於整個樣品的軟韌性或可摺疊性測試。所以本文提出了一種自動全面性摺疊測試系統 (automatic whole-folding testing system, AWTS)，可以為整個樣本的摺疊和彎曲操作調整摺疊或彎曲半徑。對於軟性顯示器測試，對所測試的軟性顯示器的顯示影像進行光學分析也是重要的檢測方法。為了光學檢測軟性顯示器的耐用性，本研究創建了一個基於類神經網路作為對準控制算法的自動光學檢測系統 (optical detection system, ODS)。最後，本研究利用類神經網路視覺對位演算法來控制四個自由度之影像擷取平台。最終，本研究還完成測量了可撓性膽固醇液晶顯示器 (cholesteric liquid crystal display, ChLCD) 的整體摺疊性能。因此，根據量測結果和本研究所創建的類神經網路視覺對位演算法之自動光學檢測方法，其適用於基於全面性摺疊測試來評估軟性顯示器的性能，以提供其製程改善依據。
二、全面摺疊測試系統
AWTS 包括一個螺桿式機構、在螺桿式機構上移動平台與一個固定平台，該螺桿式機構使用螺桿控制移動平台的來回運動。並且在移動平台與固定平台上，都具有一個夾持試片機構。執行全面摺疊測試時，首先將軟性測試試片緊緊地放在兩端夾持試片機構上，如圖 1 所示。其中，由於每次軟性待測試片的尺寸大小與測試之全面性摺疊測試的摺疊半徑都在不同條件狀態下，試片的初始試片平面外法向量 (out-of-plane normal) 會與 AWTS 的移動平台之夾持式片機構產生一個逆時鐘的角度。
圖 1. AWTS 上軟性測試試片的初始平坦狀態。
其次，透過馬達驅動螺桿式機構將移動平台往固定平台方向移動，同時固定與移動平台之試片隨著旋轉馬達的推壓並被迫緩慢拱起，同步旋轉移動平台慢慢形成固定與移動平台上之夾持試片形成平行狀態。當移動與固定平台在最小距離時，其之間的距離即是軟性測試試片的摺疊半徑。接著，馬達繼續驅動移動平台繼續往前移動，致使軟性測試試片緩慢拉開直至完全壓平，以完成整個全面性摺疊過程的一半。最後，馬達反向驅動旋轉，使移動平台向後移動，將樣品摺回到其原始位置，從而完成整個摺疊過程。圖 2 展示了 AWTS 如何以 20 mm 的摺疊半徑完成整個摺疊過程。
圖 2. AWTS 在一個完整全面性摺疊週期內依次 (a)、(b)、(c)、(d) 和 (e) 的步驟完成 20 mm 的摺疊半徑測試。並且當 AWTS 在 (b) 與 (d) 時，將會造成試片呈現 20 mm 的摺疊半徑彎曲。
根據 AWTS 的作動機制可知，摺疊測試試片在平坦狀態時，其試片大小與摺疊半徑會使得馬達驅動螺桿式機構致使移動平台移動的距離與固定和移動平台之旋轉馬達的旋轉角度會有所不同。因此，本研究也透過貝氏類神經演算法，在試片寬度在 10－15 公分之間下，可以依造摺疊半徑於 0.3－1.5 公分之設定下，完成控制試片之全面性摺疊測試，並利用 LabVIEW 軟體完成其程式人機介面建立(6)，如圖 3 所示。在此程式中，使用者只要輸入摺疊半徑 (綠區)、摺疊次數 (藍區)、摺疊速度 (藍區)，甚至可以設定一次摺疊下之停止時間(藍區)，即可以完成摺疊測試設定。除此之外，AWTS 於其夾持試片機構上設計了四點探針阻值量測電極，可以在摺疊測試的同時量測待測試片的阻值變化(6)，如圖 4 所示。而程式人機介面之自動阻值變化量測設定，如圖 3 之紅色區域。
圖 3. AWTS 程式人機介面。
圖 4. AWTS 夾持試片機構之四點探針阻值量測電極原理。
三、類神經網路視覺對位
為了光學檢測軟性顯示器的耐用性，本研究創建了一個 ODS，它包括一個 XYZ 平台，一個帶旋轉平台的感光耦合元件 (charge-coupled device, CCD) 攝影機以及一個四個自由度影像擷取平台上的光源，如圖 5 所示。其中光源的目的是當檢測待測軟性試片為一反射式顯示器，例如可撓性膽固醇液晶顯示器等，此時光源的穩定性與照射均勻性就是一個重要的顯示品質關鍵。因此，對於本研究的光源之穩定性與均勻性，本研究採用一張顏色為灰色的紙張架設於 AWTS 上，以 ODS 之 CCD 在對準於紙張的法線方向上，透過在歷經時間從 0 分鐘至 50 分鐘之間下每五分鐘擷取的 11 張影像，並且擷取影像中之 9 宮格的 9 個 150 pixels × 150 pixels 的範圍並對其中的灰階值做觀察。由實驗結果可以觀察出，各個範圍的灰階值在時間遞增下變化非常小，標準差皆不超過 1 a.u.(7)。因此，可以證明本研究採用之光源的穩定性佳。除此之外，從 9 個影像取像量測結果中可知，各範圍的灰階值平均值為 115 a.u.，而灰階值標準差約為 6.8 a.u.(7)，在可以接受的範圍之內，證明此光源的均勻性佳。
圖 5. ODS 的示意圖。
由於 AWTS 的作動機制，摺疊測試試片在平坦狀態時，其試片大小與摺疊半徑會使得馬達驅動螺桿式機構造成移動平台移動的距離與固定和移動平台之旋轉馬達的旋轉角度會有所不同。導致 AWTS 上的軟性待測試片會有試片的初始試片平面外法向量會與 AWTS 的移動平台之夾持式片機構產生一個逆時鐘的角度，以致形成初始軟性待測試片平面外法向量不會垂直於 ODS 的 CCD 測量軸的方向，且依據每次待測試片的大小與摺疊半徑的設定不同下，逆時鐘的角度都會不同。因此，待測軟性顯示器在 AWTS 的全面性摺疊測試期間，軟性顯示器的不同尺寸與不同的摺疊測試半徑下，需要 ODS 的 CCD 相對試片之逆時鐘的角度做正交對位與對焦以進行光學檢測。因此，本研究為了因應軟性顯示器在 AWTS 上於不同尺寸與不同的摺疊測試半徑下產生不同逆時鐘的角度，於軟性顯示器之夾持試片機構上黏貼定位點，在執行全面摺疊之軟性顯示器的光學擷取影像同時擷取軟性顯示器夾持試片機構上黏貼定位點的影像，並取得坐標作為影像反饋的輸入值，如圖 6 所示。在圖 6 中，為了取得這四個定位點之座標資訊，本研究在一開始軟性測試試片並未正交於 ODS 之 CCD 時，拍攝了一張影像，並採用了影像處理的影像切割、影像灰階、影像 Sobel 邊界對比增加(8)、影像 Otsu’s law 二質化(9) 與影像形態學(10)，最終可以得到四個定位點之座標資訊 (x, y)(7)。接著再以四個定位點之 x1、x2、x3、x4 與 y1、y2、y3、y4，共 8 個值，作為貝氏類神經網路演算法的輸入資料。而 X、Y、Z、q 分別代表 ODS 之 CCD 為了對位於待測軟性顯示器之 X、Y、Z、q 四個軸的移動或轉動需求量，作為貝氏類神經網路演算法的輸出目標資料，以完成監督式貝氏類神經網路模型建立(7)。最終，讓 ODS 之 CCD 透過初始四個定位點之座標資訊，使用貝氏類神經網路視覺對準算法，使得從 ODS 自初始位置，移動 ODS 使得 CCD 測量軸與 AWTS 上的軟性測試樣品垂直，並且軟性待測物的顯示中心與 CCD 之間的距離為 550 mm，如圖 7 所示。其中，圖 7 中 ∠1 為初始逆時鐘的角度，而透過 CCD 拍攝的一張軟性測試試片並未正交於 ODS 之 CCD 的照片後，利用影像處理與貝氏類神經網路演算法後，CCD 首先轉了一個 ∠2，致使軟性測試試片與 ODS 之 CCD 呈現正交。接著，依據貝氏類神經網路演算法控制 ODS 之 CCD 的 X、Y 與 Z，來達到軟性測試試片與 ODS 之 CCD 呈現距離為 550 mm 的光學量測距離。關於 ODS 的影像處理與 CCD 對位控制，最終都利用 LabVIEW 軟體完成程式人機介面建立(7)，如圖 8 所示。其中，透過人機介面，可以依序先針對四個定位點之座標資訊拍照與影像處理，接著即可以透過貝氏類神經網路演算法控制 ODS 之 CCD 的 X、Y、Z 與 q，來完成 CCD 與待測軟性顯示器的對位控制。當然 ODS 的 X、Y、Z 與 q 之位移與角度的速度與加速度，也都可以於程式中設定好。
圖 6. AWTS 之夾持試片機構之四個黃色定位點。
圖 7. AWTS 上的軟性測試樣品垂直於 ODS 之 CCD 測量軸的方向並且軟性待測物的顯示中心與 CCD 之間的距離為 550 mm 之示意圖。
圖 8. ODS 程式人機介面。
四、實驗結果
本研究利用 AWTS 上夾持 10 種不同寬度尺寸 (10－15 公分) 之軟性待測試片，再利用以監督式貝氏類神經網路模型控制 ODS，完成軟性測試樣品垂直於 ODS 之 CCD 測量軸的方向並且軟性待測物的顯示中心與 CCD 之間的距離為 550 mm。最終，最大控制誤差百分比為 2% (軟性待測物的顯示中心與 CCD 的量測軸準直且之間的距離為 550 mm 時，夾持試片機構上四個定位點之 x1、x2、x3、x4 與 y1、y2、y3、y4 和監督式貝氏類神經網路模型控制 ODS 後之定位點誤差)(7)。除此之外，本研究利用 AWTS 與 ODS 來針對 ChLCD，完成 11,000 次全面性摺疊測試的光學量測與分析 (圖 9) (表 1)。ChLCD 是一種反射式的軟性顯示器，此類液晶具在自然情況下有兩種穩態特性。其中一個狀態為平面穩態狀態 (planar stable state)，此狀態下液晶分子排列非常整齊所以可以針對特定波長來反射光線，因此稱之為亮態；另一種狀態為聚焦圓錐穩態狀態 (focal conic stable state)，在此狀態下液晶分子排列混雜凌亂，將會造成入射光呈現散射，引此稱為暗態；此外還包含一種稱為垂直狀態 (homeotropic state) 的暫時狀態，此時的液晶分子呈全部垂直的狀態，因此不反射光線而可以穿透到液晶層之下一層的吸收光物質。但是，此狀態是屬於很短時間的暫態狀態，並不容易觀察的到。ChLCD 中的液晶分子透過改變電場，將可以在這三種狀態下改變，由於狀態改變反射出的光線也會改變，因此可以讓使用者看到不同的影像(11)。另外 ChLCD 也會遵守布拉格定律 (Bragg’s law)，透過調整液晶的旋距，搭配底層塗上的顏色吸收層，可以由布拉格反射定律中的建設性干涉現象，製作包含雙色的 ChLCD 面板。而 ChLCD 本身就是反射性顯示器，所以不需要一般顯示器的背光模組，甚至在強光下依然可以清楚的辨識畫面(12)。而本研究採用的 ChLCD 是由台灣工業技術研究院所提供，以聚對苯二甲酸乙二酯 (polyethylene terephthalate) 材質作為顯示器基板，在其上分別以透明氧化銦錫導電層 (indium tin oxide)、微細胞化膽固醇液晶層、黑色吸收光層、上板導電層的順序向上堆疊製作，其中微細胞化液晶的直徑大小約為 10 mm。這類 ChLCD 軟性顯示器雖然需要利用較高的外加電場電壓來轉變顯示穩定態，且兩個穩定態的轉變之反應速度不快之下，作為電子紙、電子標籤與看板等應用是足夠的。其中，相關連續式捲對捲方式 (roll-to-roll) 製程與專利技術由美國柯達公司 (Kodak) 開發，並於 2007 年技術轉移給工業技術研究院(11)。
在圖 9 中，本研究擷取四個量測區域 (region of interest, ROI)，並分別在摺疊前、摺疊 2,000、4,000、6,000、8,000 與 11,000 後，AWTS 會讓 ChLCD 在平整狀態下停留 5 秒，此時以 ODS 連續取得其光學灰度值，其量測平均數據如表一所示。根據表一中的測量結果，可以發現衰減光學灰度值特性隨著摺疊次數的增加而增加，最終在 11,000 次全面摺疊測試後，其中 ROI 2 之光學灰度值衰減百分比為量測四個區域中的最大，並達到 10%。因此，根據量測結果和本研究所創建的類神經網路視覺對位演算法之自動光學檢測方法，其適用於基於全面性摺疊測試來評估軟性顯示器的性能，以提供其製程改善依據。
圖 9. ChLCD 的圖像測量區域。
表 1. 11,000 次全面性摺疊測試的 ChLCD 之光學灰度值測量結果。
五、結論
本文成功地提出了一種基於類神經網路視覺對位演算法於 AWTS 和 ODS 量測系統，來針對軟性顯示器的光學特性做檢測。由實驗結果可知，本研究使用貝氏類神經網路演算法來控制四個自由度的影像量測 ODS 平台，其最大控制誤差百分比為 2%。此外，本研究也完成針對 ChLCD 軟性顯示器，在 11,000 次全面性摺疊測試下之光學特性檢測。由測試結果可以得到，ChLCD 軟性顯示器的部分區域之灰度值的最大衰減百分比為 10%。因此，根據本研究之量測結果和提出之基於類神經網路視覺對位演算法的自動光學檢測方法，其適用於基於全面性摺疊測試來評估軟性顯示器的性能，以提供改善軟性顯示器的軟性特性。對於未來軟性顯示器的摺疊特性及其產品壽命分析，本研究成果將是可以當作一個很好的參考文獻與測試工具的提供。
誌謝
此研究工作感謝科技部「利用自動化影像相位延遲檢測技術於軟性透明導電基板全面性摺疊測試之應力集中與電性分佈分析研究 (MOST 104-2218-E-019-002)」以及「軟性透明導電基板全面性摺疊測試之自動化影像式殘留摺疊、熱應力和電性特性量測與分析研究 (MOST 105-2221-E-019-029)」的研究經費補助。也感謝工業技術研究院之軟性膽固醇顯示器的提供，使得本研究順利完成。