大規(guī)模離散DNN模型已經(jīng)成為工業(yè)推薦系統(tǒng)的主流模型，取代了之前的FTRL、FM等傳統(tǒng)機器學(xué)習(xí)模型。在DNN模型盛行之前，推薦領(lǐng)域CTR模型的演化關(guān)系和模型特點值得深入探討。

對于非專業(yè)從業(yè)者而言，理解大規(guī)模離散DNN模型中的“離散”較為困難，主要指特征的embedding，即將稀疏特征轉(zhuǎn)化為稠密向量的過程。在DNN模型中，輸入通常是連續(xù)值，其來源可能不被充分關(guān)注。本篇將介紹一種基于連續(xù)值的DNN模型。

連續(xù)值DNN模型是過渡模型，旨在探索DNN在業(yè)務(wù)場景的可行性，并提升FTRL模型效洞大謹果。其結(jié)構(gòu)包括下層FTRL模型，進行離散化、在線分布式訓(xùn)練，并同步參數(shù)到參數(shù)服務(wù)器；線上Serving時，取參數(shù)進行計算得到樣本點擊率。

在連續(xù)值DNN模型中，F(xiàn)TRL模型參數(shù)在Serving時被dump，用于NN模型輸入，核心在于連續(xù)值的生成。訓(xùn)練好NN模型后，部署參數(shù)到線上，新用戶請求時，先取FTRL參數(shù)，后調(diào)用NN模型計算點擊率預(yù)估值，二者同步訓(xùn)練。

連續(xù)值DNN模型訓(xùn)練硬件需求不高，我們最初使用CPU集群分布式訓(xùn)練，后升級為單機多卡GPU訓(xùn)練，以加速并降低成本。線上Serving時，F(xiàn)TRL參數(shù)存儲在主備參數(shù)服務(wù)器，NN部分參數(shù)以JSON格式推送到Redis，服務(wù)持續(xù)讀取并計算點擊率預(yù)估。

連續(xù)DNN模型引入非線性，效果優(yōu)于FTRL模型，且工程實現(xiàn)簡單，便于快速迭代。引入ShowClick特征，通過記錄特征出現(xiàn)次數(shù)和在正樣本中的次數(shù)，增強特征置信度和重要性，顯著提升納基模型效果。

在模型開發(fā)過程中，我們面臨線上FTRL模型更新頻率與DNN訓(xùn)練頻率不一致的問題，導(dǎo)致預(yù)估效果不穩(wěn)定。通過調(diào)整FTRL更新頻率并分離訓(xùn)練PS與預(yù)估PS服務(wù)，線上穩(wěn)定性與成功率顯著提高。

連續(xù)DNN模型效果與FTRL融合模型存在差異，融合公式在多目標場景下的適用性需謹慎考慮。在離線驗證下仿斗，連續(xù)DNN點擊率模型表現(xiàn)優(yōu)于FTRL模型，但在線上效果未顯現(xiàn)，最終發(fā)現(xiàn)是融合操作導(dǎo)致的問題。

在模型迭代過程中，大家可能遇到的難題與挑戰(zhàn)各不相同，通過分享與交流，共同探索推薦系統(tǒng)中的連續(xù)值DNN模型。無論是遇到的技術(shù)難題還是經(jīng)驗分享，都是推動領(lǐng)域進步的重要力量。