今天折騰Adam優(yōu)化器折騰掉半條命，趕緊把踩的坑記下來。

為啥突然搞這個(gè)

本來在訓(xùn)練個(gè)小模型玩，結(jié)果訓(xùn)練曲線跟過山車似的！一會(huì)兒上天一會(huì)兒入地。官方文檔說Adam好使，復(fù)制粘貼參數(shù)一跑——完蛋，直接趴窩不動(dòng)了。氣得我對(duì)著屏幕吼：默認(rèn)參數(shù)都喂不飽你？

抄作業(yè)翻車現(xiàn)場(chǎng)

開始全網(wǎng)搜教程，滿屏英文公式看得我腦殼疼。試著抄了幾個(gè)大佬分享的參數(shù)：

• 第一個(gè)：把學(xué)習(xí)率改成0.0003，模型直接睡著，100輪損失不帶動(dòng)
• 第二個(gè)：beta1調(diào)成0.9，損失開始蹦迪，上躥下跳看得心慌
• 第三個(gè)：beta2設(shè)成0.99，這回倒是穩(wěn)定——穩(wěn)定地卡在爛結(jié)果上

鼠標(biāo)都快給我點(diǎn)爛了，模型跟吃了瀉藥似的跑不穩(wěn)。

自己動(dòng)手調(diào)參

干脆把數(shù)學(xué)卷子扔了，直接開盲盒！搞了張A4紙亂畫：

1. 學(xué)習(xí)率從0.001開始（官方推薦值）
2. beta1鎖定0.9（這參數(shù)動(dòng)不得，一動(dòng)就瘋）
3. beta2從0.99往下擰，每次減0.01

調(diào)beta2時(shí)發(fā)現(xiàn)新大陸！降到0.999時(shí)模型突然開竅，數(shù)據(jù)蹭蹭往下降。手賤試了把0.9999——又tm躺平了！原來這玩意兒跟走鋼絲似的，多零點(diǎn)零一都不行。

意外救星

調(diào)得正上頭，老婆喊吃飯直接把我電源線絆了。重新開機(jī)發(fā)現(xiàn)筆記本發(fā)燙，風(fēng)扇呼呼轉(zhuǎn)。靈光一閃：把學(xué)習(xí)率調(diào)到0.0008配合0.999beta2，模型突然活過來！半小時(shí)跑出昨天三小時(shí)的效果。

總結(jié)下來就三句話：

• 新手直接鎖死beta1=0.9別動(dòng)
• beta2在0.99到0.999之間試
• 學(xué)習(xí)率得看電腦心情——發(fā)燙就調(diào)?。?/li>

等我泡完面回來，模型已經(jīng)跑出史上最佳結(jié)果。所以哪有什么三分鐘速成？三分鐘夠我泡多少碗面！