《續(xù)》
4.3.3 不同網(wǎng)絡層結構的分析
對整個卷積神經(jīng)網(wǎng)絡從結構上分解，其本質(zhì)為不同種類網(wǎng)絡層的組合。不同的網(wǎng)絡層可以實現(xiàn)不同的作用。在CNN中，網(wǎng)絡主要分為卷積層與全連接層兩個大類。對這兩類繼續(xù)細化，卷積層中除了卷積核個數(shù)尺寸等參數(shù)不同外，層內(nèi)是否具有池化操作以及是否進行Padding都將導致網(wǎng)絡層的不同功能與性能；而全連接層中是否采用Dropout也會導致整體網(wǎng)絡性能的不同。
傳統(tǒng)神經(jīng)網(wǎng)絡分析過程中，一般選擇全連接的方式，且假設上一層的全部輸入和當前網(wǎng)絡層的輸出全部會表現(xiàn)出一定的關聯(lián)，在這種處理模式下，如果面對復雜問題會導致相應的數(shù)據(jù)參數(shù)過多，網(wǎng)絡規(guī)模也過大，不容易進行分析和計算。卷積神經(jīng)網(wǎng)絡中通過卷積層相關的局部連接和權值共享處理并進行對應的池化層下采樣操作，可以有效的減少參數(shù)，降低網(wǎng)絡的規(guī)模。在多個卷積層后設置再全連接，并在最后的全連接層上通過softmax分類器進行圖像分類，相關權值數(shù)量可以明顯的減小，對應的網(wǎng)絡層復雜度降低，并且可以有效的避免過擬合現(xiàn)象。為了確定不同的網(wǎng)絡層設置對于圖像識別效果的影響，本文基于豬胴體圖像分級的原始網(wǎng)絡模型，將其他參數(shù)固定，適當?shù)男薷母骶W(wǎng)絡層的數(shù)量，確定以下四種不同的實驗模型。
模型一：將網(wǎng)絡模型中的fc1、fc2全連接層去掉，將卷積層部分直接連接到fc3層的全連接與softmax運算；
模型二：去掉網(wǎng)絡模型中的一個卷積層C4層，將C3層的結果直接連接到fc1全連接層；
模型三：去掉網(wǎng)絡模型中兩層卷積層C2、C3，在C1層卷積池化操作后直接連接到C4層；
模型四：去掉網(wǎng)絡模型中的兩個卷積層C3、C4以及全連接層fc1、fc2，在C2層卷積操作后直接連接到fc3層全連接并softmax。
確定以上模型之后，分別對豬胴體圖像數(shù)據(jù)集進行訓練識別，所得結果如表4.3所示。
表4.3 不同的網(wǎng)絡結構模型測試結果
| 模型 | 訓練集誤判率 | 測試集誤判率 |
| 模型一 | 8.93% | 21.65% |
| 模型二 | 11.60% | 23.43% |
| 模型三 | 19.93% | 35.22% |
| 模型四 | 29.02% | 71.70% |
| 基礎模型 | 6.22% | 17.71% |
分析上表結果可發(fā)現(xiàn)，在解決豬胴體圖像分級問題時，網(wǎng)絡中的全連接層的改變對整個網(wǎng)絡性能的影響明顯小于卷積層的改變，通過模型二、模型三與原始模型的對比，可以發(fā)現(xiàn)網(wǎng)絡模型中其他參數(shù)不變的情況下，卷積層的減少將明顯地對網(wǎng)絡識別效果產(chǎn)生影響，且減少的數(shù)量越大造成的性能損失越大。由此可知卷積神經(jīng)網(wǎng)絡中網(wǎng)絡的性能與網(wǎng)絡層的深度密切相關，且網(wǎng)絡層數(shù)的增加將一定程度的提升網(wǎng)絡的整體性能。但如果不恰當?shù)貙W(wǎng)絡層數(shù)量過分地增加后，相應的網(wǎng)絡結構復雜度也大幅度的提高，因而在卷積神經(jīng)網(wǎng)絡的構建過程中，應設置合適的網(wǎng)絡層層數(shù)。
4.3.4 嘗試其他激活函數(shù)的分析
多層神經(jīng)網(wǎng)絡結構的建立是基于神經(jīng)網(wǎng)絡模型的理論之上的。由單個神經(jīng)元模型可知，多層神經(jīng)網(wǎng)絡中的神經(jīng)元的功能實現(xiàn)也需要通過激活函數(shù)f來確定出相應的結構。在選擇網(wǎng)絡的激活函數(shù)f的過程中，可以選擇的函數(shù)有Sigmoid、Tanh和Relu函數(shù)等。前兩個函數(shù)的對應的表達式如（4.4）、（4.5）所示：
（4.4）
（4.5） 各函數(shù)的函數(shù)曲線圖具體如圖4.5所示。
圖4.5 sigmoid函數(shù)、ReLU函數(shù)以及Tanh函數(shù)
ReLU函數(shù)是由數(shù)學家希爾頓在2012年首次提出的，通過此函數(shù)對模型初始化時可以降低噪聲的影響，且可以有效的避免出現(xiàn)0梯度問題的出現(xiàn)，對應的函數(shù)表達式如（4.6）所示：
f（x）=max（0，x） （4.6）
在ReLU函數(shù)中，當輸入信號小于0時相應的輸出都是0，而在輸入大于0情況下，則輸出該值。Krizh等學者在進行此方面的研究時發(fā)現(xiàn)，通過Relu激活函數(shù)建立的模型隨機梯度下降的收斂速度明顯的高于其他函數(shù)，并且在網(wǎng)絡參數(shù)的設置過程中，Relu只需設定一個閾值即可滿足激活要求，不必進行大量的數(shù)學運算。本文在分析激活函數(shù)和這種圖像識別的關系時，控制其他參數(shù)不變，分別利用TensorFlow框架中對應的三個函數(shù)封裝包分別應用于訓練相應的網(wǎng)絡模型，對其相應的識別率進行比對分析。結果顯示如圖4.6所示。
圖4.6 不同激活函數(shù)對豬胴體圖像識別效果的影響
分析圖4.6的結果可發(fā)現(xiàn)，將ReLU作為激活函數(shù)對應的網(wǎng)絡模型的識別圖像結果，識別效果更優(yōu)，明顯的高于其他兩種函數(shù)，而其對兩種數(shù)據(jù)的誤判率分別為6.54%和17.85%，和其他兩種函數(shù)對應的網(wǎng)絡模型識別效果存在明顯的差異，其他兩種函數(shù)的識別效果差異則不明顯。對此進行分析可以發(fā)現(xiàn)其原因在于通過Sigmoid函數(shù)對應的網(wǎng)絡處理時，會導致飽和的神經(jīng)元梯度消失，對應的輸出結果分散性很嚴重，容易造成數(shù)據(jù)分散，不滿足分類要求。而通過Tanh函數(shù)進行處理時，雖然所得數(shù)據(jù)以零點為分類中心點，不過在處理過程中也會出現(xiàn)神經(jīng)元飽和、梯度消失等缺陷。而ReLU函數(shù)可以很好的避免以上兩者遇到的問題，且對應的收斂能力明顯的提高，識別效果也滿足要求。
4.4 優(yōu)化的豬胴體圖像識別模型
在此基礎上總結以上模型各參數(shù)對豬胴體圖像識別影響情況，然后優(yōu)化和改進基礎模型，建立起對應的豬胴體圖像識別模型CNN-P。該模型較原始模型的改變與參數(shù)設置如下：
在結構上，CNN-P模型較原始模型增加了一個包含池化運算的卷積層C2，加大了網(wǎng)絡深度的同時增加了卷積運算并多了一次池化操作，進一步提升了提取特征值的準確度。各卷積層的參數(shù)設置中，從C2 到C5層的卷積核尺寸全部選擇為3×3，池化范圍尺寸選擇為3×3。相應的 Padding 設置選擇SAME，在卷積時對應的外圍添加一層0，這樣可以保證卷積所得映射層圖像大小滿足一致性要求，且相應的特征表達也明顯的提高。
同時為了防止出現(xiàn)過擬合問題，在改進時主要在全連接層fc2增加dropout方法，對應的參數(shù)設置為0.5，也就是隨機讓一半連接到輸出層的結點不工作。
經(jīng)過改進后，CNN-P網(wǎng)絡模型共有八個網(wǎng)絡層，其中包括五個卷積層和三個全連接層，在網(wǎng)絡的最后一層fc3中設置softmax進行分類。這種改進后的網(wǎng)絡模型CNN-P具體參數(shù)如表4.4、4.5所示。
表4.4 改進后的網(wǎng)絡模型全連接層部分參數(shù)
| 全連接層 | 激活函數(shù) | dropout |
| fc1 | RELU | 有 |
| fc2 | RELU | 無 |
| fc3 | 無 | 無 |
表4.5 改進后的網(wǎng)絡模型卷積層部分參數(shù)
| 卷積層 | 卷積 | 池化 | 激活函數(shù) | 填充 |
| C1 | 卷積核數(shù)量：96 卷積核大?。?1×11 步長：4 | 池化大小：3×3 步長：2 |
RELU | 無 |
| C2 | 卷積核數(shù)量：256 卷積核大?。?×3 |
池化大?。?×3 步長：2 |
RELU | Same |
| C3 | 卷積核數(shù)量：384 卷積核大?。?×3 |
無 | RELU | Same |
| C4 | 卷積核數(shù)量：384 卷積核大小：3×3 |
無 | RELU | Same |
| C5 | 卷積核數(shù)量：256 卷積核大?。?×3 |
池化大小：3×3 步長：2 |
RELU | Same |
4.5 優(yōu)化后的模型效果
4.5.1 CNN-P測試結果
利用構建的豬胴體圖像數(shù)據(jù)集中的訓練集部分對優(yōu)化后的CNN-P網(wǎng)絡模型進行訓練，在網(wǎng)絡模型的學習過程中，由于參照A模型應用了ReLU作為激活函數(shù)，由權值衰減部分與交叉熵兩部分之和構成的總?cè)笔е翟诮?jīng)過6900次左右的運算后開始進入相對穩(wěn)定靜止的狀態(tài)，可判斷此時模型對特征的學習達到了擬合狀態(tài)。缺失值與迭代次數(shù)的關系如圖 4.7所示。
圖 4.7 網(wǎng)絡模型訓練中缺失值和迭代次數(shù)的關系
利用豬胴體圖像數(shù)據(jù)集中的測試集對優(yōu)化后的網(wǎng)絡模型進行測試，每次從測試集中隨機抽取1000張進行測試，通過三次測試得到測試結果如表 4.6所示。
表4.6 1000張隨機測試測試結果
| 測試組數(shù) | 第一組 | 第二組 | 第三組 | 平均 |
| 準確率 | 93.4% | 91.1% | 93.6% | 92.7% |
4.5.2 與其他相關豬胴體分級研究的比較
本文中研究的利用卷積神經(jīng)網(wǎng)絡模型對豬胴體圖片進行分級的研究目前在同領域其他學者中研究較少，在前人的研究中，彭彥昆（2012，2014，2015）的關于利用傳統(tǒng)圖像處理方法對豬肉及豬胴體圖片進行處理后得到預定測量點處豬背膘厚度（實際生產(chǎn)中獲得指定測量點處豬背膘厚度即可推算胴體瘦肉率進而進行分級）的研究及張萌（2016）利用RBF神經(jīng)網(wǎng)絡和圖像處理技術對活體生豬圖像標定測量點并根據(jù)測量到的數(shù)據(jù)預測生豬瘦肉率與本文研究范圍及目標較為接近，選取這兩個研究與本文的CNN-P網(wǎng)絡模型性能進行對比。
彭彥昆進行了一系列通過圖片處理的方法從豬胴體圖像中獲取指定點的背膘厚度的研究，《基于近鄰法聚類和改進Hough算法的豬胴體背膘厚度檢測》中介紹了通過人工選取拍攝位置獲得豬胴體圖像后，對圖像進行處理進而獲得指定位置膘厚的技術，準確率達到了 92.31%，而在《基于機器視覺的豬胴體背膘厚度在線檢測技術》中通過算法改進，檢測時間達到了0.3s，準確率達到了93.5%。其峰值準確率略高于本文方法實現(xiàn)的網(wǎng)絡模型的平均性能。但其研究中的圖片位置需要人工進行精確框選，如果框選區(qū)域不夠準確或圖片拍攝存在失誤則判斷準確率將受到極大的影響。目前仍無法大規(guī)模應用于實際生產(chǎn)中。
張萌的《基于機器視覺的生豬瘦肉率無損檢測技術研究》一文中，介紹了通過拍攝活體生豬圖片后，經(jīng)過圖片處理方法和拐點檢測算法獲得生豬圖片中的特定測量點，通過獲取測量點數(shù)據(jù)，結合前人總結的腿臀比、背膘厚、眼肌面積與瘦肉率的關系，將數(shù)據(jù)輸入RBF神經(jīng)網(wǎng)絡模型進行訓練，利用訓練好的網(wǎng)絡模型對生豬的標準化圖像進行瘦肉率預測，在小規(guī)模數(shù)據(jù)集內(nèi)，準確率達到了94.5%。其研究與本文的研究針對對象不同，與生豬具有明顯的外形特征不同，豬胴體的整體單側(cè)圖像的特定測量點選擇通過圖像算法很難進行準確獲取。僅因其作為近年來發(fā)表的利用傳統(tǒng)圖像算法和淺層神經(jīng)網(wǎng)絡相結合實現(xiàn)瘦肉率預測的研究，特選擇其進入對比組。
而在實際的生產(chǎn)加工中，目前豬肉加工企業(yè)采用的是人工目視分級的方法。令專業(yè)的工人兩名分別站立在豬肉加工生產(chǎn)線兩側(cè)，兩人交替對沿傳送鏈輸送而來的經(jīng)過一系列加工的豬胴體成品進行檢測，在檢測過程中，由于生豬胴體生長的均衡性，只對每只生豬分成的兩半胴體中的一個進行分辨。每個豬胴體從開始檢測到給出評判并手動記錄的完整檢測時間約為十秒，而根據(jù)對豬肉加工企業(yè)的實際調(diào)研，工作人員對豬胴體的分級準確率標準為“八九不離十”即可錄用，設其檢測的準確率為八成與九成的均值85%。同時，豬胴體專業(yè)檢測員在上崗前也需要一定時間的專業(yè)培訓，在實際上崗后的一個月內(nèi)采用的是師傅帶徒弟式的搭配工作方式，故掌握目視胴體分級方法的培訓時間為一個月以上。
本文采用的CNN-P網(wǎng)絡模型與前人利用傳統(tǒng)圖像學及淺層學習方法實現(xiàn)的豬胴體圖像分級方法的效果以及實際生產(chǎn)中人工目視分級的方法進行對比如表4.7所示。
表4.7 本文CNN-P與前人利用非深度學習方法的效果比較
| 彭彥昆研究 | 張萌研究 | 本文CNN-P模型 | 企業(yè)使用方法 | |
| 使用方法 | 傳統(tǒng)圖像處理（改進的Hough）算法 | 傳統(tǒng)圖像處理淺層神經(jīng)網(wǎng)絡 | 卷積神經(jīng)網(wǎng)絡 | 人工目視估測 |
| 針對目標 | 豬胴體圖像 | 活體生豬圖像 | 豬胴體圖像 | 豬胴體 |
| 使用者訓練要求 | 高（需要準確選擇豬胴體特定局部位置拍攝，須杜絕各類干擾因素） | 中（須將生豬趕至專用采樣臺拍攝圖像） | 低（只需會朝向豬胴體方向拍照即可） | 高（須一個月以上的培訓期，并須老員工指導） |
| 檢測準確率 | 峰值準確率93.5% | 無分離測試集94.5% | 純測試集平均92.7% | 約85% |
| 檢測時間 | 0.3s（已處理完成的圖片輸入模型學習的時間） | 無相關描述 | 0.9s（從拍照到檢測完成，結果記錄完畢） | 10s |
| 數(shù)據(jù)預處理內(nèi)容 | 多次包括Canny檢測及Hough檢測等需要占用較長時間的圖像處理 | 圖像二值化、Canny檢測、拐點截取等 | 圖像壓縮、圖像截取兩個占用內(nèi)存極少的圖像處理方法 | 無 |
| 總結 | 準確率稍高但自動化程度較低，且對操作人員的技術水平有交稿要求 | 準確率高但并不是針對流水線環(huán)境，與本文針對目標不同 | 準確率與識別速度較高，更適合流水線作業(yè)要求。對操作人員技術水平要求低，是深度學習在該領域的初次嘗試 | 準確率低、識別時間長，對工作人員技術水平要求高 |
通過比較，可見本文的方法雖然單純在準確率方面略低于彭彥昆利用傳統(tǒng)圖像處理方法手動選擇識別區(qū)域的研究結果，但本文中的實驗是針對未接受過訓練的純測試集部分進行的，同時利用多組實驗的平均準確率相比彭研究中的峰值準確率差距不到1%，其研究與本研究相比并不具有實際優(yōu)勢。本文提出的CNN-P具有對豬胴體圖像識別的自動性，無需人為添加預選框，相比其他研究的方法在使用情況中有明顯的優(yōu)勢，更適合于實際生產(chǎn)的使用，同時本次研究是將深度學習方法應用于豬胴體圖片分級技術中的首次嘗試，隨著更加深入的研究，網(wǎng)絡模型將更穩(wěn)定、性能更佳。
4.6 本章小結
本章構建了基于AlexNet卷積神經(jīng)網(wǎng)絡模型，通過使用TensorFlow機器學習框架，對構建的網(wǎng)絡模型進行了一系列實驗，對實驗結果進行研究，分析了網(wǎng)絡中各參數(shù)和網(wǎng)絡結構對豬胴體圖像分級的影響。從卷積核數(shù)量及大??；池化層數(shù)、池化方法和池化大小；卷積層及全連接層數(shù)量；激活函數(shù)及dropout使用幾方面對網(wǎng)絡模型進行了實驗與分析，通過實驗結果逐步確定網(wǎng)絡模型的優(yōu)化方向，對原始的網(wǎng)絡模型進行調(diào)參和優(yōu)化，設計完成最終的豬胴體圖像分級網(wǎng)絡模型。將豬胴體圖像數(shù)據(jù)集的訓練集部分應用于該模型進行訓練，通過測試集對訓練所得模型進行評估，與前人的相關研究進行了多方面的對比。
第5章 結論
本次研究，出發(fā)點是利用近年來快速發(fā)展的深度學習技術解決由于進口檢測設備價格高、市場要求偏低導致的國內(nèi)豬胴體分級情況普遍不嚴謹?shù)膯栴}。作為國內(nèi)外利用深度學習方法從圖像方面解決在豬胴體分級（瘦肉率檢測）問題的首次嘗試，本文再一次證明了深度學習理論在圖像分類方面強大的泛用性。
研究采集了豬肉加工企業(yè)生產(chǎn)線中的豬胴體圖像，對采集的圖像進行平移、鏡像、增加噪音等操作，并通過SMOTE算法對少數(shù)樣本類進行了擴充，以此構建了豬胴體圖像分級信息數(shù)據(jù)集。構建以AlexNet網(wǎng)絡模型為藍本，構建網(wǎng)絡模型，利用豬胴體數(shù)據(jù)集對網(wǎng)絡進行訓練并對網(wǎng)絡性能進行分析與優(yōu)化，通過對數(shù)據(jù)的分析，在模型參數(shù)選擇方面獲得了以下幾點結論：
（1）在網(wǎng)絡的設置方面，理想情況下網(wǎng)絡中的卷積層與池化層數(shù)量越多，圖像識別的效果越好，考慮到硬件設備的限制，本文的CNN-P采用五個卷積層，其中第一、二、五層包含池化層。
（2）在卷積層部分，卷積核的個數(shù)與尺寸對網(wǎng)絡模型存在顯著影響，卷積核個數(shù)增大、尺寸減小可以提升網(wǎng)絡分類性能。CNN-P中第二到第四卷積層采用256-384-384的卷積核數(shù)量，在后四層卷積層中使用3×3尺寸的卷積核。第一、二、五卷積層中的池化操作中選擇池化區(qū)域為3×3的尺寸，平衡了池化操作與網(wǎng)絡整體的識別效果。同時由于受限于計算能力等方面的客觀因素，對卷積核數(shù)量尺寸及池化效果的過度要求會極大地影響網(wǎng)絡訓練的效率與效果。
?。?）本文CNN-P網(wǎng)絡模型在網(wǎng)絡第七層也就是第二全連接層增加了dropout方法，一定程度上避免了過擬合情況的發(fā)生，提升了網(wǎng)絡效果。
針對以上幾點結論，設計搭建了適用于豬胴體圖像分級的卷積神經(jīng)網(wǎng)絡模型CNN-P。為驗證其識別效果，使用豬胴體圖像數(shù)據(jù)集中的測試集進行分級，分級效果達到92.7%。說明模型的訓練效果較好，對豬胴體圖像的分級問題具有較強的泛化能力。
《完》
