那天調(diào)模型差點(diǎn)把鍵盤(pán)砸了

大清早盯著訓(xùn)練曲線發(fā)愣，人家模型都蹭蹭往上跑，我這跟老牛拉破車(chē)似的，loss死活不動(dòng)彈。同事老王路過(guò)瞅了眼屏幕：“你這梯度怕不是掉溝里了？試試Adagrad”。

我抱著死馬當(dāng)活馬醫(yī)的心態(tài)，抓著鼠標(biāo)瞎點(diǎn)：啪導(dǎo)入了keras的optimizers，咔復(fù)制了官網(wǎng)的示例代碼，咣就把learning_rate改成0.01開(kāi)跑。結(jié)果你猜怎么著？訓(xùn)練曲線直接表演自由落體！跟跳樓似的往下栽，嚇得我趕緊掐了電源。

三個(gè)參數(shù)調(diào)得我腦殼疼

翻著文檔拍大腿，原來(lái)Adagrad最吃這三樣：

• 初始學(xué)習(xí)率要往小了設(shè)：之前設(shè)0.01純粹作死，調(diào)到0.001才穩(wěn)當(dāng)，像騎自行車(chē)下陡坡，捏閘太猛就摔狗啃泥
• epsilon別當(dāng)擺設(shè)：這貨看著像數(shù)學(xué)課代表寫(xiě)的ε，實(shí)際是防除零的保命符。試過(guò)0.1、0.01屁用沒(méi)有，設(shè)1e-7才讓梯度沒(méi)發(fā)瘋
• 加衰減不如灌紅牛：照著教程加了decay參數(shù)，模型反而蔫兒了。后來(lái)發(fā)現(xiàn)這優(yōu)化器自帶“越學(xué)越慫”屬性，根本不用畫(huà)蛇添足

實(shí)戰(zhàn)現(xiàn)場(chǎng)翻車(chē)實(shí)錄

抱著調(diào)好的參數(shù)跑NLP任務(wù)，前半小時(shí)穩(wěn)如老狗。正翹著二郎腿啃蘋(píng)果，突然報(bào)警郵件哐哐砸屏幕——稀疏特征把梯度計(jì)數(shù)器撐爆了！硬著頭皮打開(kāi)權(quán)重分布圖，好家伙，某些特征更新量比螞蟻腿還細(xì)，有些卻像給火箭裝引擎。

當(dāng)場(chǎng)把initial_accumulator_value從0.1改成1.0，像給不同學(xué)生發(fā)不同教材。模型突然就開(kāi)竅了，之前卡住的召回率噌地上躥8個(gè)點(diǎn)，老王端著枸杞茶直呼內(nèi)行。

血淚換來(lái)的偷懶秘籍

現(xiàn)在每次初始化Adagrad就像配火鍋蘸料：

• 學(xué)習(xí)率先摳門(mén)點(diǎn)——0.001打底
• epsilon直接抄作業(yè)——1e-7別手賤
• 特征稀疏？把a(bǔ)ccumulator_value調(diào)大到1.0再試

發(fā)現(xiàn)個(gè)寶藏設(shè)定：對(duì)特征頻次差異大的任務(wù)特別管用。前天搞推薦系統(tǒng)，那些冷門(mén)商品ID終于不再坐冷板凳，模型跟開(kāi)了天眼似的逮著長(zhǎng)尾數(shù)據(jù)狂薅，效果比東拼西湊改結(jié)構(gòu)強(qiáng)多了。

隔壁組新來(lái)的碩士生還在折騰公式推導(dǎo)，我這兒參數(shù)三分鐘設(shè)好直接開(kāi)訓(xùn)。老板問(wèn)我咋突然變麻利了，我指著屏幕上的Adagrad參數(shù)咧嘴笑：“這叫用調(diào)參的土法子，治科研的富貴?。　?/p>