那天在家寫代碼，想搞個(gè)簡單的貓狗識別模型，結(jié)果訓(xùn)練起來慢得要死，效果還差得很，老是誤判。我就琢磨著，是不是TensorFlow里的優(yōu)化器參數(shù)沒調(diào)這玩意兒怎么調(diào)，別人都說能提升訓(xùn)練速度和精度，我就打算自己試一遍。

先從裝TensorFlow開始

我打開電腦，裝了個(gè)TensorFlow的最新版，這步倒簡單，pip install搞定。但一開始跑模型訓(xùn)練，默認(rèn)參數(shù)太菜了，學(xué)習(xí)率設(shè)得老高，模型蹦跶得像喝醉的蛤蟆，收斂不了。我就來勁了，決定從頭調(diào)調(diào)參數(shù)。先選了個(gè)Adam優(yōu)化器，因?yàn)樗畛Ｓ?，我看了下官方文檔，沒看懂那些專業(yè)術(shù)語，就瞎試。

我試著調(diào)學(xué)習(xí)率，一開始設(shè)0.001，太大了，訓(xùn)練起來像坐過山車，震蕩厲害，效果一塌糊涂。改成0.0001，又慢得跟蝸牛爬，半天沒進(jìn)展。折騰了一下午，我腦瓜子嗡嗡響，真想砸鍵盤。中間還出過幾次梯度爆炸，訓(xùn)練直接崩了，重來好幾次，我煩得要命。

• 嘗試小學(xué)習(xí)率：0.0001，太慢，訓(xùn)練時(shí)間長，精度沒提高。
• 嘗試大學(xué)習(xí)率：0.001，震蕩大，模型不穩(wěn)。
• 調(diào)整動量參數(shù)：beta1從0.9改到0.99，感覺模型像拖了個(gè)重包袱，步子變穩(wěn)了點(diǎn)。

后來我換個(gè)思路，試了SGD優(yōu)化器。設(shè)個(gè)固定學(xué)習(xí)率0.01，加上動量0.9，這回表現(xiàn)好點(diǎn)兒，模型慢悠悠訓(xùn)練，精度開始往上爬。但還是不夠快，我又玩了下衰減參數(shù)，設(shè)了個(gè)每10步衰減10%的節(jié)奏，模型收斂快多了。整個(gè)過程就是一邊改代碼，一邊死盯訓(xùn)練日志，眼睛都看花了。

折騰不同優(yōu)化器

我還試試RMSprop，調(diào)learning rate和momentum參數(shù)。設(shè)learning rate到0.001，momentum0.9，訓(xùn)練起來平穩(wěn)些，但不適合我的模型大小，小參數(shù)設(shè)置錯誤。發(fā)現(xiàn)Adam最省事，調(diào)learning rate到0.0005，再加個(gè)epsilon小值1e-7，避免除零錯誤。這回訓(xùn)練時(shí)間縮短一半，精度直接從85%跳到92%，我高興得像撿到寶。

關(guān)鍵技巧來了：要慢慢試，別一下子設(shè)太大或太小。用個(gè)小數(shù)據(jù)集先練手，比如100張圖片，看訓(xùn)練曲線變化。如果震蕩大，就降低學(xué)習(xí)率；如果太慢，就加點(diǎn)動量。調(diào)試過程像個(gè)尋寶游戲，搞了三天，累但爽。

調(diào)參數(shù)得耐心點(diǎn)，找對節(jié)奏模型就聽話。我現(xiàn)在用這個(gè)方法訓(xùn)練新項(xiàng)目，一調(diào)一個(gè)準(zhǔn)，省了好多時(shí)間，真心建議各位小白也試試。