卷積神經(jīng)網(wǎng)絡(luò)通常從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)有用的特征。第一個卷積層學(xué)習(xí)到的特征往往是視任務(wù)而定的一些訓(xùn)練數(shù)據(jù)的基本元素。例如，在圖像數(shù)據(jù)中，學(xué)習(xí)到的特征可以體現(xiàn)邊緣和斑點(diǎn)。在后續(xù)的網(wǎng)絡(luò)層中，這些學(xué)習(xí)到的特征可以表現(xiàn)更加抽象，更高級的特點(diǎn)。

　　將學(xué)習(xí)到的特征以及它們隨時間的變化可視化，可以提供一些關(guān)于網(wǎng)絡(luò)如何學(xué)習(xí)的有效信息。實(shí)際上，網(wǎng)絡(luò)結(jié)構(gòu)遠(yuǎn)遠(yuǎn)不僅是幾層網(wǎng)絡(luò)那么簡單，大量的卷積核使得直觀解釋和分析學(xué)習(xí)到的特征變得十分困難。

　　然而，我們可以通過對照實(shí)驗(yàn)證明卷積核的權(quán)重是如何隨著網(wǎng)絡(luò)的學(xué)習(xí)而實(shí)時發(fā)展。由于網(wǎng)絡(luò)應(yīng)該學(xué)習(xí)到的特點(diǎn)已經(jīng)被提前知道，即產(chǎn)生數(shù)據(jù)的過程和參數(shù)是被完全定義并且完全在我們的掌控之中，學(xué)習(xí)任務(wù)可以很容易的被確定。我們可以通過構(gòu)建一個非常簡單的單層卷積網(wǎng)絡(luò)并訓(xùn)練它利用多種核進(jìn)行線性濾波來實(shí)現(xiàn)上述過程。

　　在接下來的實(shí)驗(yàn)中，我們在數(shù)據(jù)集上運(yùn)用一種圖像處理和計算機(jī)視覺中常用的傳統(tǒng)邊緣檢測方式——Sobel 邊緣濾波，并訓(xùn)練我們的模型進(jìn)行類似的線性映射。我們也嘗試著利用比 Sobel 濾波器更大一些的核去學(xué)習(xí)一些形式更為普通和任意的濾波器。

　　這些可以幫我們感受神經(jīng)網(wǎng)絡(luò)中的卷積層如何對輸入數(shù)據(jù)進(jìn)行操作，卷積核的權(quán)重在訓(xùn)練中如何變化以及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是如何被視為最小化問題的。

　　首先，我們必須用線性濾波器去處理圖像數(shù)據(jù) X 來獲取原始圖像濾波后的結(jié)果 Y。線性濾波器操作可以被總結(jié)為如下形式：

　　對任何一組參數(shù) (卷積核) 或我們所能想到的輸入數(shù)據(jù)，線性濾波器都具有良好定義的操作。

　　我們現(xiàn)在可以構(gòu)造一個單層，單核的近似線性濾波的卷積神經(jīng)網(wǎng)絡(luò)。在線性濾波器和卷積神經(jīng)網(wǎng)絡(luò)這兩種方式中發(fā)生的計算除了我們要從數(shù)據(jù)中學(xué)習(xí)到的卷積核參數(shù)外是完全一樣的。