今天這個(gè)主題，是我上班時(shí)被坑出來的。項(xiàng)目里用PyTorch搞了個(gè)簡單的圖像分類模型，訓(xùn)練老是訓(xùn)不動(dòng)，損失值降得比老太太下樓梯還慢。我就琢磨著，是不是優(yōu)化器的問題？網(wǎng)上吹A(chǔ)dam的天花亂墜，SGD都說穩(wěn)當(dāng)，但到底哪個(gè)實(shí)際效果沒人說清楚。干脆自己動(dòng)手測一把，選了五個(gè)常用的：SGD、Adam、RMSprop、Adagrad和Adadelta。

第一步：搭個(gè)架子測起來

我這人手笨，沒想整太復(fù)雜。直接找了個(gè)破MNIST數(shù)據(jù)集，就是把數(shù)字圖片分類那種，誰都懂。模型就用了最簡單的LeNet，結(jié)構(gòu)跟小房子似的，兩層卷積加三層全連接。代碼寫了半天，PyTorch嘛鼓搗幾下就出來了。調(diào)了初始學(xué)習(xí)率，統(tǒng)一設(shè)成0.01，省得后來偏袒誰。還加了個(gè)訓(xùn)練日志，每輪記下?lián)p失值和準(zhǔn)確率，免得到時(shí)候說瞎話。

起手先跑SGD。這小祖宗真費(fèi)勁，設(shè)置動(dòng)量參數(shù)時(shí)，我忘改了默認(rèn)值，訓(xùn)練曲線飄得跟過山車一樣。趕緊回爐重改，調(diào)成0.9，總算穩(wěn)當(dāng)點(diǎn)了。跑了20輪，損失值降得還行，但慢吞吞像烏龜爬。接著試Adam，參數(shù)用庫里的默認(rèn)設(shè)置，省心。一啟動(dòng)，速度快得嗖嗖的，數(shù)據(jù)刷屏看得我眼花，但到中間輪次，準(zhǔn)確率突然卡住不動(dòng)了。我就納悶了，不會(huì)是代碼寫錯(cuò)了？反復(fù)查了三個(gè)鐘頭，結(jié)果發(fā)現(xiàn)批次大小設(shè)大了，減半重來，才算正常。

第二步：逐一懟優(yōu)化器

這活兒折騰人，我得一個(gè)一個(gè)上。SGD跑完后，接著懟RMSprop。這家伙參數(shù)多，衰減率調(diào)得太高，0.99直接讓模型學(xué)懵了，損失值降不動(dòng)。我試了兩遍，第一遍0.99，第二遍降到0.9，才看到效果。Adagrad更惡心，初始步驟設(shè)得不巧，訓(xùn)練中途梯度爆炸，差點(diǎn)崩盤。電腦風(fēng)扇嗡嗡響，嚇得我趕緊重啟。重設(shè)參數(shù)后勉強(qiáng)跑完，但過程就像老牛拉破車。

輪到Adadelta，聽說它不用調(diào)學(xué)習(xí)率，我以為撿到寶了。結(jié)果默認(rèn)設(shè)置下表現(xiàn)稀爛，損失值波動(dòng)大，準(zhǔn)確率也上不去。換參數(shù)試試，調(diào)了兩次，還是老樣子。一個(gè)Adam，有了前面的教訓(xùn)，我這回小心多了。參數(shù)改成自適應(yīng)，邊訓(xùn)邊觀察，但速度快是真的快，10輪就甩開別人一截。不過測完五輪下來，機(jī)器差點(diǎn)兒冒煙。

第三步：比結(jié)果和揪結(jié)論

所有日志我匯總成表，直接貼出來（表格用strong標(biāo)注關(guān)鍵點(diǎn)）：

• SGD：20輪后損失0.12，準(zhǔn)確率95%。過程穩(wěn)，但慢；
• Adam：10輪就損失0.09，準(zhǔn)確率97%。速度快，適合趕工；
• RMSprop：15輪損失0.11，準(zhǔn)確率96%。調(diào)對參數(shù)還不錯(cuò)；
• Adagrad：20輪損失0.15，準(zhǔn)確率92%。最難伺候；
• Adadelta：20輪損失0.18，準(zhǔn)確率90%。成績墊底。

折騰一整天，Adam整體贏麻了，速度快效果也不賴。RMSprop調(diào)好了能有驚喜。SGD適合不想動(dòng)腦的時(shí)候。Adagrad和Adadelta，我只能說坑多路滑。

結(jié)尾嘮叨一句，工作里我后來全切Adam了，省下的時(shí)間夠喝杯奶茶。但新項(xiàng)目上線后遇到個(gè)小bug，排查半天，居然是優(yōu)化器參數(shù)和數(shù)據(jù)集不配。這種事嘛實(shí)測過了心里就有譜了。