今天帶大家讀兩篇AAAI 2023關(guān)于CTR預(yù)估的兩篇工作。一篇是華為發(fā)表的Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction，提出了一種CTR預(yù)估中embedding量化壓縮的方法；另一篇是美團發(fā)表的Decision-Making Context Interaction Network for Click-Through Rate Prediction，通過在CTR預(yù)估模型中引入顯示和隱式的上下文信息提升預(yù)估效果。

1華為：Embedding量化

CTR預(yù)估中占用參數(shù)量最大的就是embedding table，尤其user、item等特征的embedding表，由于實體數(shù)量很大，導(dǎo)致這些特征的embedding表非常大，占用了非常巨大的存儲開銷。因此，對embedding table進行壓縮是一個值得研究的領(lǐng)域。

目前業(yè)內(nèi)關(guān)于embedding table的壓縮主要有NAS-based embedding dimension search、Embedding pruning、Hashing三種方法。前兩者都需要額外的存儲和訓(xùn)練步驟來確定最優(yōu)的embedding維度和剪枝方法，而hashing方法由于沖突問題會嚴重影響壓縮后的模型效果。

針對前面方法的不足，華為提出了一種基于量化的端到端CTR模型訓(xùn)練方法。量化方法是將模型高精度float參數(shù)映射到離散化的值上，模型結(jié)構(gòu)保持不變，極大節(jié)省了存儲空間。之前的文章中介紹過量化相關(guān)的工作。

本文提出的量化基本的訓(xùn)練框架如下圖中的b所示。以往的量化壓縮方法為圖a，需要保存全精度的參數(shù)，在前向傳播過程中對全精度參數(shù)量化，基于量化后的參數(shù)計算梯度，再更新到全精度參數(shù)上，節(jié)省了計算資源。而本文提出的b方法，直接在量化后的參數(shù)上進行更新，而不用保存全精度的參數(shù)，適合本文提出的embedding存儲壓縮的場景。先把量化參數(shù)還原成全精度參數(shù)，再在全精度參數(shù)行梯度反傳更新，最后將更新后的參數(shù)還原回量化參數(shù)，完成一輪訓(xùn)練。

量化中存在兩個核心問題，一個是如何確定離散化兩個值之間的step size，另一個是使用什么方法把float映射到離散化值。

針對第一個問題，文中提出了一種Adaptive low-precision training的方法，自動學(xué)習(xí)step size。具體的算法邏輯如下表，核心是在訓(xùn)練過程中有兩階段的優(yōu)化，第一階段更新模型的參數(shù)，第二階段優(yōu)化step size。

針對第二個問題，業(yè)內(nèi)主要有DR和SR兩種方式。DR直接根據(jù)四舍五入，確定性的將float離散化，而SR則是以一定概率隨機的將float離散化到距離最近的兩個整數(shù)之間。雖然之前的一些工作在實驗角度驗證了SR效果更好，但是沒有給出具體的理論證明。本文作者填補了這部分的空白，從理論上證明了SR的離散化方法具有更快的收斂性和更好的準(zhǔn)確率，因此本文采用了SR的離散化方法。

在實驗階段，文中對比了不同壓縮方法的運行效率和效果，驗證了本文提出的方法的優(yōu)越性：

2美團：上下文建模

這篇文章提出在CTR中引入顯示和隱式的上下文信息來提升CTR預(yù)估模型效果。

先說說顯示上下文信息。以往的CTR預(yù)估模型重點在于用戶歷史行為序列建模，而忽略了用戶歷史行為中的上下文信息。比如下圖左側(cè)的例子，是某個用戶某次歷史搜索的行為，點擊了藍色框中的漢堡。以往的行為建模模型中，直接將這個漢堡加入到歷史行為中，判斷和當(dāng)前商品的匹配情況。而上下文指的是用戶歷史搜索中，除了藍色框以外紅色框的部分。這部分信息引入的好處是，能夠確定用戶歷史行為產(chǎn)生的原因。例如點擊紅色框的漢堡，是和藍色框其他漢堡在價格、款式等維度上進行對比后，用戶做出的決策。

再說隱式上下文信息，指的是上游的匹配、打分鏈路中，根據(jù)用戶個性化信息建模流入下游的候選商品。如果流入下游的候選商品漢堡較多，那么表明用戶可能更喜歡吃漢堡。將這部分信息引入進來，有利于提升用戶喜好的建模。

基于以上出發(fā)點，本文提出了考慮用戶顯示隱式上下文信息的ctr預(yù)估模型。對于顯示上下文，使用CIU模塊進行編碼，主要包括對上下文中不相關(guān)商品的過濾，以及利用上下文中相關(guān)商品信息增強用戶的興趣建模。對于隱式上下文信息，即前面模型送到ctr預(yù)估模型打分的候選item，也使用CIU模塊進行有效信息的提取。最后，顯示信息和隱式信息經(jīng)過CIU的結(jié)果會經(jīng)過一層AIAU進行融合，AIAU主要和MLP+self-attention的結(jié)構(gòu)，用于融合經(jīng)過顯示、隱式增強后的用戶興趣信息。

本文提出的模型上線后，經(jīng)過A/B test實驗，取得了CTR+2.9%/CPM+2.1%/GMV+1.5%的比較明顯的效果收益。

審核編輯 ：李倩