機器視覺檢測技術及其在中藥智能制藥中的應用展望

烙大餅

       機器視覺檢測技術及其在中藥智能制藥中的應用展望 傳統中藥質量控制以成品質量檢驗為核心，存在制藥過程內在規律模糊不清，生產過程監管困難等問題，造成質控成本較高，且不能持續有效的提高中藥質量的困局。基于“質量是生產出來的，而不是檢驗出來的”現代質量控制理念，需要探索的在線質量檢測技術并建立快速、高效、無損的過程質量檢測方法，在生產過程中密切關注關鍵質量屬性，解決怎么測、測什么的問題。中藥產業鏈跨度大，從藥材種植、藥廠制劑到臨床使用，存在著大量隱性知識的使用和以人為主的生產物料轉移，分段式工藝布局形成割裂式控制導致大量數據分散累積為“信息孤島”，且生產過程動態變化、高度復雜又缺乏有效的檢測技術裝備，導致各流程關鍵節點的過程參數存在盲區。結合機器視覺檢測技術可部分解決上述問題，應用機器視覺對從原料藥到成品的生產過程進行監測，并從大量圖像數據中提取其蘊藏的豐富質量信息，是中藥質量控制技術創新發展的有效途徑。通過云端或者本地的“智能大腦”對視覺數據進行建模分析生成控制策略，優化工藝參數，可解決中藥生產中的質量持續提升問題。利用這種思路不僅可以節省勞動力，提高檢測速度和精度，實現產品的全檢，還將賦予制藥裝備新的智能決策能力。 機器視覺起初主要應用于半導體制造、汽車裝配等行業。中國機器視覺起步較晚，一直到2006年，工業機器視覺開始逐漸應用到印刷、食品生產等領域。雖然機器視覺并非新技術，但深度學習的快速發展使機器視覺能夠更精確、更高效地處理各種圖像問題。目前，機器視覺技術以其精確性好、可靠性高、可適應環境多、持續工作時間長、生產效率高的特點，已在智慧城市、智慧礦山、智慧電網、智慧農業等多個智能化領域中發揮了巨大作用，根據機器視覺所應用感知對象的不同，對機器視覺在這些領域中的成功應用案例和研究成果進行如表 1所示的總結，可以看出在不同的應用領域，機器視覺應用的感知對象主要集中于人、物料、生產狀態和整體環境，以下簡稱為人、物、態、環。本文將綜述基于機器視覺的生產監測技術，并對其在中藥智能制藥中的應用前景作出展望。 01、基于機器視覺的中藥生產數據感知關鍵技術 圖像傳感器是機器視覺技術應用于中藥制造過程的眼睛，是中藥工業大數據的核心。待檢測物體經光源照射后，由光學成像系統采集圖像信息，再利用圖像采集卡將光學圖像轉換生成可分析的數字圖像，這是機器視覺數據感知的過程。根據圖像傳感器獲取信息的方式不同，可分為電荷耦合器件（CCD）和互補金屬氧化物半導體（CMOS）兩種圖像傳感器類型。CCD傳感器相比于CMOS傳感器靈敏度和可拍攝分辨率都要更高，但成本也相對較高，且在環境下，由于CMOS傳感器制作時焊點與接頭較少，故其在工業復雜環境應用的可靠性優于CCD傳感器。通過圖像傳感器接口芯片，將所需發送的數據根據網絡通信協議轉換成標準通信格式的數字信號，再由通信網絡，發送至服務器進行存儲或與其他系統進行通信。 隨著機器視覺技術在各智能領域的應用普及，各種形式的圖像數據獲取技術也在快發展，如偏振成像對于傳統技術無法檢測的隱形材料具有很好地特征提取效果，可在高光下對產品缺陷進行檢測；嵌入式視覺在尺寸和功耗方面較低，在很多特殊的環境下都有較高的應用價值；3D相機成像技術，不僅采集平面圖像信息，而且可以獲取目標深度信息；還有多光譜成像技術，如現在在中藥質量控制領域研究較多的高光譜成像技術，可提取目標物在白光下可能無法檢測到的信息。 中藥制造過程需要關注不同種類的物料，如藥材、飲片，中間體（提取液、濃縮液、離心液等）、成品（片劑、丸劑、顆粒劑、注射劑等），要求圖像傳感器具備快速、靈敏、穩定的特點。在選擇圖像傳感器時，需考慮到客觀環境因素，而且剛應該關注采集到圖像數據所應該包含的主要信息。采集哪些圖像，選擇哪種圖像傳感器，如何布置傳感器在中藥生產過程中的位置，決定了圖像數據質量的好壞。 02、基于機器視覺的中藥生產數據分析關鍵技術 基于機器視覺的中藥工業圖像大數據中包含了大量信息，其中部分無關信息會大大影響數據的處理效率及有效特征的提取。需要借助開源計算機視覺庫（OpenCV）、HALCON（德國MVtec公司開發的機器視覺算法包）等圖像處理工具，將碎片化的圖像信息轉變為成高質量、高密度的特征信息，然后利用模式識別、深度學習等方法，并結合中藥制藥專業理論知識和生產經驗，建立可靠地視覺檢測模型，將過程數據可視化，為解決中藥生產難題提供決策力。 一般在進行圖像分析前需要進行圖像數據清洗，即將無關信息較多、不具有目標特征代表性的圖像進行修剪、刪除，也可通高斯變換、傅里葉變換、小波降噪等方法減小圖片噪音。如果采集到的圖片量綱不同，可通過標準化統一圖片尺寸，當采用3D成像或多光譜成像技術采集圖像時，圖片維度較高，應采取降維的方法對圖像進行處理，一般圖像分析需要將圖片處理為2維的灰度圖片。之后將進行圖像特征提取，一般特征提取需要用到輪廓提取、Canny算子檢測（由John F. Canny開發的多級邊緣檢測算法）、形態學變換等技術手段，這是中藥生產大數據分析中最重要的部分。中藥生產大數據多具有時序性、工序性、相關性等特點。從圖片中提取特征變量，不僅反映了中藥生產過程的關鍵屬性，而且有助于模型的建立和解釋，增強模型的預測性能，為中藥企業在機器視覺的應用中創造核心競爭力。 03、機器視覺在中藥智能制藥領域中的應用及展望 與其他領域相似，中藥生產同樣包括人、物、態、環4個感知對象。針對不同的感知對象，課題組提出如圖 1所示的基于機器視覺的中藥生產管理技術路線圖。 機器視覺+中藥生產中的“人” 人是中藥生產中過程中的不確定因素，人員的安全保障和規范化管理是中藥企業發展中的重要一環，利用現代信息技術技術對中藥生產中的“人”進行檢測是中藥企業智能化發展的關鍵一步。中藥生產中的“人”主要指生產線上的工作人員，將機器視覺應用在“人”的檢測主要包括安全保障和規范管理兩個方面。 在安全保障方面，普遍存在于中藥生產線中的大量高溫高壓高轉速設備對員工的安全產生了潛在威脅，所以亟需建立一套人員安全預警系統來保障員工的生命安全。針對這個問題，可以通過機器視覺技術建立危險區域電子圍欄，當工人靠近危險區域便及時提醒。類似的，在智慧城市領域有相關應用，主要用到了方向梯度直方圖（HOG）特征提取及背景減除等技術手段。也可建立基于機器視覺手勢控制系統，在一定距離通過手勢控制完成設備操作，不僅實現了“人機合一”的真正物聯網，而且保障了工人的操作安全。比如在家電智能控制領域，趙樹言研究了7種常用手勢的人機交互，識別率達到79%，且交互工作效率達75%。除此之外，還應該建立工人體態識別系統，如人體關鍵點的識別，對其不慎摔倒等狀況進行識別，在短時間內對其進行救助。 在人員規范管理方面，工作人員的不規范操作是影響潔凈區衛生狀態的因素之一，可根據目標檢測的思維建立規范化操作視頻圖像庫，對不規范佩戴口罩，進入潔凈區不洗手等違規行為進行檢測識別，也可利用OpenPose（卡內基梅隆大學開源項目）等人體關鍵點檢測技術及時發現違規行為并及時糾正，并且可以基于機器視覺對作業人員工作準則（SOP）進行量化，一方面規范行為操作，另一方面也將高質量的操作流程記錄保存，解決隱性知識無法傳承的問題，為崗位人員更替提供依據和保障。總的來說，將機器視覺技術應用到中藥生產中的“人”，就是解決生產過程中的人流合規化問題，即通過視覺識別的方式將工作人員的基本信息和其崗職能信息相聯系，預判可能發生的危險并防止無關工作人員進入危險區域，工況發生時，快速通知相關職能人員到現場實施設備復位。通過視覺信息匹配工作人員權限，進而控制規定工作人員可以到指定崗位完成其任務，以使工人在安全高效無接觸式的生產環境下完成其職能。 機器視覺+中藥生產中的“物” 中藥生產中的“物”包括藥材飲片、成品以及每個工序產生的中間體。在中藥飲片檢測方面，已有學者做出相關研究，其主流的思路一般分為“辨形”和“辨色”。侯青等通過簡單的閾值分割對葉片中氣孔數進行統計，為葉類中藥視覺檢測提供了支持；梁麗金等從防風藥材的顯微圖像中提取木栓層、韌皮部、油管等主要形態結構的特征，并對4個產地的防風藥材進行了劃分；賈偉等通過Tamura方法比較研究了12種中藥飲片切面的6個特征參數，為基于機器視覺的中藥飲片檢測提供理論依據。研究表明，中藥的色澤與其藥性及有效成分的含量息息相關，另外，根據采收期、產地和炮制方法的不同，藥材的色澤也會表現出差異性。對于中藥材的質量評價，由于顏色的波動往往要比形狀紋理的波動要小，故在傳統的藥材鑒定中，顏色往往是作為藥材質量評價的最根本依據。周明運用斑點、輪廓、最小矩形面積和凸包檢測等算法先對異常飲片進行排除，再運用分水嶺、顏色直方圖等算法分析飲片表面顏色特征，進而對其進行等級判定，最終完成對大黃飲片的計算機視覺分析。錢丹丹等[66]對采集到的大棗飲片圖像進行面積、顏色H分量值和缺陷面積百分比的特征值提取，并以這3個特征值作為大棗品質分級的特征參數輸入到樸素貝葉斯分類器進行優、中、劣等級區分，識別率分別達到96%、92%、94%，高效、精確地完成分類工作，適應大規模中藥飲片生產檢測，彌補了人工質檢的不足。 在成品質量的檢測方面，胡安翔[67]通過VIBE（一種視頻序列背景檢測與減影技術）和基于像素的自適應分割器（PBAS）兩種背景減除算法聯合支持基向量機、反向傳播（BP）神經網絡兩種分類器，并利用Faster-R-CNN及VGG16神經網絡對中藥片劑進行缺陷檢測；劉君動等依托CIELab顏色空間實現了溶液的顏色檢測，提出了中藥注射劑的圖像檢測方法；姚冠宇等通過邊緣匹配定位口服液瓶，并采用兩幀差分法對輪廓中的異物進行檢測，可對中藥口服液中異物進行很好地識別。通過這些檢測方法中藥制劑成品檢測應用中的一些空白，提高了中藥制劑成品質檢的自動化程度，進而提升了中藥制劑安全性。 然而，中藥生產工序的復雜性決定了只在源頭和終點對其質量進行控制是遠遠不夠的，對提取、濃縮等工序產生的中間體的質量數據監測同樣具有重要意義。目前常用的中間體質量檢測方法大多是基于微觀有效成分的含量測定，檢測耗時費力且不具時效性，不能滿足在線檢測的需求。中藥制藥過程工藝繁多，通過機器視覺檢測技術，從宏觀角度檢測全過程物料變化規律，及時檢出物料異常狀態并對工藝參數進行修正，對中藥產品的一致性評價具有重要意義。而且通過視覺特征匹配，可以使生產物料、中間體及產品信息相關聯，解決物流自動合規運轉問題，再結合之前提到的“人”的機器視覺化，進而控制“物”由指定的“人”運往相對應的位置。通過圖像視頻數據作為基礎，使物料加工信息化，實現物料生產質量等多環節的統一管理以及生產過程質量的可追溯。 機器視覺+中藥生產中的“態” 中藥生產中的“態”指狀態，包括設備的工作狀態和物料在生產過程中所處的狀態。由于中藥制藥行業智能化進程緩慢，我國大部分制藥企業仍處在工業2.0的水平，設備儀表為簡單的電子儀表或者指針式儀表，這類儀表不能直接輸出數字信號到數據收集系統，需要人工巡檢，手動記錄數據，不但耗時費力且存在主觀性問題。中國的電力系統同樣存在這些問題，不過再近些年的電網智能升級改造中，機器視覺技術大量被使用，在傳統指針式儀表檢測中，徐冬生采用Canny邊緣檢測，并進行Hough（1962年由Hough提出）直線檢測確定儀表指針位置已獲得讀數。劉楊等將機器人采集的儀表圖像通過Lucy-Richardson方法復原，運用同心圓環搜索法識別指針角度，比傳統的Hough變換算法計算量小且運行速度快，讀數效果好，在大幅降低人力成本的同時，避免了人工讀數帶來的誤差。這對指導中藥生產裝備智能升級具有很高的指導價值。 履帶的工作狀態也是值得關注的點，中藥生產裝備中存在大量履帶，如提取罐進料傳送帶、帶式干燥機干燥履帶等，履帶承載物重量過大、維護不及、轉速過高等都會導致安全問題。在智慧礦山領域存在同樣的問題，一些學者研究了基于機器視覺的傳送履帶智能控制方案，通過視頻數據，在對輸送帶進行工況監測的同時對輸送量進行計算，并對傳輸速度進行智能調節，通過機器視覺監測傳送履帶的各項視覺參數，可實時監測設備的工作狀況并對其進行智能控制，節約企業能源的同時避免了意外發生。 此外，中藥生產過程包含大量物理化學反應，需要掌握關鍵過程參數以控制產品質量。但是由于一些生產設備具有高溫高壓高真空等特殊性質使得過程參數無法準確測量只能通過工人的經驗進行參數設置，這大大影響了產品質量的一致性，也使企業擔負了更高的風險。其實這些生產過程中的物化反應大多都存在起泡、變色等現象，這些現象包含了大量的過程物料參數信息，通過機器視覺的方法將這些圖像數據收集起來，與溫度、濃度等物料參數進行比對分析，建立合理的控制模型，可對物料的狀態提前進行預測，以獲得設備控制參數。相關檢測建模方法在智慧礦山、核工業等領域都已成熟應用。 通過機器視覺的方式將原本不可見的設備狀態可視化，彌補了生產過程關鍵工藝參數不可測的短板，而且以工位為單位實現了人、機、物的一體化，在保障生產質量的同時，使企業獲得生產過程的關鍵工藝參數，這是中藥生產過程智能升級的根本，也是質量數字化的關鍵。質量數字不僅保證了藥品質量的穩定性和均一性，也將形成藥品企業的核心競爭力。 機器視覺+中藥生產中的“環” 中藥生產中的智能化最終要體現在“環”的檢測上，如車間人數統計、物料擺放位置、工具挪用情況等，這些信息的掌握對于企業生產資源的合理調度具有很大幫助。在智慧城市中，王敬仁等[15]通過樹莓派平臺搭建人臉識別系統實現地鐵人流量統計并進行分流預警，有效解決了擁堵問題。這對于中藥企業具有很好的借鑒意義。 在中藥智能倉庫的建設方面，要求通過機器視覺技術對藥材位置等信息準確統計，這屬于機器視覺測距定位及三維建模的范疇。如在智慧電網中的審計工作，肖琴等基于雙目視覺法的GRBD深度相機的研究了距離檢測方法和基于活動目標追蹤的塔桿數量統計法。在中藥智能倉庫中，同樣存在測距和統計等任務，結合機器視覺技術可輕松獲取貨架的位置、貨架之間的距離以及貨物所在的貨位等信息，這對建立倉庫的立體三維模型具有很大幫助，通過機器視覺技術建立精確的中藥智能倉庫三維模型，再結合“物”的視覺系信息化，進而可實現飲片的數字化入庫與出庫，在滿足給定優化目標組合的前提下，可實現不同等級的飲片調配組合，同時減少倉庫囤積時間，優化物料自動化轉運路徑的同時解決了保證物料存放質量的難題。 智能制造也是綠色制造，節能減排也是中藥產業智能化升級重要任務。中藥生產車間存在大量耗電耗能系統，不必要且過度的空調、照明系統的使用都會造成能源浪費。在智能家居領域，周浩通過機器視覺識別室內人員情況以實現房間光線強弱和分布的智能調節，節約并有效利用能源同時提升了生活環境的舒適度。這種基于機器視覺的能源配置系統可用于精益生產物耗與能耗管理及優化。公用系統如空調系統的監測，濾網更換，依據車間內的人員數量、設備數量，對空調循環、回風次數等參數進行優化，進而在保證生產車間舒適性與安全性的同時使能耗。 04、結語 中藥生產過程質量智能優化控制依賴于生產過程中各生產要素的數字化狀態采集與過程建模。機器視覺自動檢測技術具有快速、無損的優勢，認為機器視覺有助于實現制藥過程中涉及的人、物料、儀器設備、環境的數字化客觀表征，理解他們與藥品質量的相互關系，解決中藥生產問題中的復雜性和非線性，并更好地制定規范和規劃更安全的生產環境。但是目前還存在著很多局限性，亟需開展相關研究，以達到中藥制藥過程質量的動態優化調控。深度學習、人工神經網絡等的快速發展使得機器視覺檢測技術精度更高，使用更廣，加上圖形處理器（GPU）等計算設備的快速發展，使其在未來食品、藥品等質量檢測中應用前景廣闊。因此，研究準確、輕量、快速、高效的機器視覺檢檢測模型仍是未來機器視覺檢測領域的重點。此外，由于中藥種類繁多，成分復雜，批次間又存在差異，實現一種通用中藥檢測模式仍是一大挑戰，這不僅要控制中藥原藥材的質量，還需要在中藥生產的每個環節關注物料的關鍵信息。隨著機器視覺技術的不斷發展，基于機器視覺的中藥質量檢測、生產過程的狀態識別、以及生產車間自動化現場管理的應用前景會更加廣闊。

偶凡機械

感謝分享干貨

無名的人

學到了，點贊樓主

精密測量坊

謝謝分享，很有價值

內閣大佬

感謝樓主的行業經驗分享