自我介紹:京東零售搜推算法部算法工程師,專注于大模型技術以及在 AI 助手搜推等領域的應用探索和實踐。在 AI 助手,NLP 和搜索領域有十多年研發實踐經驗,在 AI/NLP 領域申請超過 15 項發明專利并出版兩部著作。
?
隨著電商行業的蓬勃發展,搜索技術作為連接用戶與商品的橋梁,其重要性日益凸顯。在技術不斷革新的今天,電商搜索技術經歷了哪些階段?面對大模型的飛速發展,企業又將如何把握趨勢,應對挑戰?為了深入探討這些問題,我和InfoQ欄目探討了電商搜索技術的發展歷程、當前的應用狀況以及面臨的挑戰和未來的發展方向。以下是采訪的詳細內容。
?
InfoQ:在您看來電商搜索經歷了哪些階段?
翟周偉:我從技術發展的角度講下,本質上電商搜索技術演進的驅動力是通過不斷的技術創新去實現更低的成本,更高的效率,以及更好的用戶體驗,可以劃分為 4 個階段:
第一是文本檢索階段,主要基于基礎文本檢索技術和以規則統計為主的人貨匹配;
第二是機器學習階段,以統計 NLP 技術為核心的用戶意圖理解和商品理解,利用機器學習模型對 UCTR 和 UCVR 進行建模提升轉化,并在人貨匹配上引入 LTR 等排序模型提升相關性,同時利用用戶搜索行為反饋數據來優化效果;
第三是深度學習階段,核心是 DNN 技術驅動,包括基于深度模型的意圖理解和商品理解顯著提升了需求分發的準確性,在商品搜索上引入了 ANN 語義向量召回,多模態召回,DNN 匹配技術,交互上除了文本交互還支持以 DNN 技術為核心的語音和圖像商品搜索交互,排序上支持個性化搜索可以千人千面的商品展示;
第四是大模型階段,正是當下正在經歷的階段,首先是交互的改變,從單向的需求引導到雙向的對話式自然語言交互,基于大模型的用戶理解和商品理解有效解決了長尾泛化問題,在召回和相關性上大模型也正在重構整個技術架構,包括極具有顛覆潛力的大模型生成式檢索技術的探索和應用。
?
InfoQ:在京東或者在電商平臺,大模型主要應用于什么方向?可否舉幾個例子?
翟周偉:在電商領域主要在用戶交互,意圖理解和商品理解,商品召回和相關性,以及文案創意生成等方向。在用戶交互上重點利用大模型的對話能力進行對話式交互導購,例如我們的京言 AI 助手,意圖理解和商品理解上核心是利用大模型的超強理解能力進一步提升用戶需求識別的準確性以及商品信息的精準建模,商品召回和相關性上的一個典型例子就是用大模型做商品的增強召回,用大模型對用戶需求和商品 SKU 做相關性,文案生成應用上利用大模型來生成圖文并茂的營銷文案,大模型評論總結等。
?
InfoQ:這些應用有哪些實際落地的困難?
翟周偉:第一個首要問題就是通用大模型對商品知識的理解能力比較弱,直接應用沒有明顯效果優勢;第二個問題就是個性化 Context 理解問題,大模型在理解用戶購物偏好,用戶評論,商品細節上存在個性化效果挑戰;第三個就是時效性問題,大模型本身數據更新很慢,知識陳舊,而新商品,促銷,價格等時效性更新超高頻;第四個就是成本和速度問題,大模型訓練和推理成本很大,大規模使用會面臨 ROI 低的問題,在線推理速度也很難滿足系統實時性要求;最后就是安全問題,大模型存在敏感數據泄露風險,以及生成內容的安全合規等問題。
?
InfoQ:大模型實時信息獲取和專業信息處理能力的能力應該是非常重要的一環,京東的解決思路是什么?目前可以做到什么程度或者說效果?
翟周偉:我們的解決思路主要通過兩種方法,第一是新數據和新知識的增強持續預訓練,第二就是 RAG,包括電商知識圖譜 KG-RAG,商品搜索 RAG,Web 搜索 RAG。通過這些技術手段我們的大模型在電商領域任務上顯著高于通用大模型,并且通過 RAG 可以做到實時性信息更新。
?
InfoQ:如何構建一個好的大模型電商搜索引擎?在您看來需要哪些原則或者考慮?
翟周偉:大模型電商搜索引擎的核心是所使用大模型的能力決定的,這個能力不僅僅是在通用領域的性能,關鍵在于大模型對于電商用戶的理解,對商品的深刻理解,對電商場景的理解,以及在整個電商應用任務上的性能表現,因此核心考慮是如何構建一個高性能的電商大模型能力底座,以及性能評估體系。
這個也是當前我們的工作重點,啟發于人類學習總是在前人積累的知識和經驗上進一步學習,我們提出了一種繼承學習方法來持續學習,在數據上通過提升知識密度和配比調整,通過模型結構優化,退火學習,多階段指令對齊優化,增強安全治理對齊等方法提升我們電商大模型的性能表現。
?
InfoQ:大家都說大模型好,但是目前行得通的商業模式目前還不多,您認為企業,大家對于大模型的投入產出比如何?
翟周偉:大模型表現的涌現能力讓人震驚,基于大模型的各種應用層出不窮,但到目前為止還沒有出現所謂的大模型超級應用,也沒有出現顛覆性的商業模式,由于大模型研發成本非常大,各種基于大模型的原生應用,包括一線大廠和創業公司的各種 AI 助手類應用還都處于虧損階段,因此 ROI 是很低的,但大模型應用的商業潛力巨大,這種商業探索非常值得。
同時另一個方面是利用大模型去優化成熟商業模式業務中的效果,重點在于解決中長尾問題,在這個方向上 ROI 還是可以的,已經產生了商業價值。
?
InfoQ:理想中的下一代 AI 電商搜索是什么樣的?
翟周偉:理想的下一代 AI 電商搜索在技術上應該是完全大模型驅動或 AGI 技術驅動,產品形態上應該是一個數字虛擬助理,類似電影《Her》中出現的超級 AI 助手,在交互上可以和人類進行全模態的自然語言交互,可以直接進行無障礙的流暢語音交互,同時具有聽覺,視覺,以及空間感知等能力,可以精準基于用戶需求直接推薦最匹配的商品,并給出精準的商品總結,以及為什么滿足需求,性價比等,在需求不明的時候可以進行擬人的交互式導購,并可以智能的通過 AI Agent 技術在用戶授權下自動下單,包括后續的物流,售后服務都可以由 Agent 來完成,用戶只需要下達命令即可。
?
InfoQ:可以看的出京東也是比較重視大模型的投入的,在您看來一般企業開發或應用大模型的門檻是不是比較高?對于企業開發和應用大模型有哪些建議?
翟周偉:在我看來,對于一般企業做大模型應用的門檻其實是相對比較低,至少是比傳統的 AI 應用門檻低,是因為大模型改變了 AI 應用的研發范式,只需要會寫 prompt 就可以使用大模型,而且效果不錯,雖然應用門檻變低了,但要做好大模型應用的門檻是變高了,是因為一旦涉及到具體的業務場景深度效果優化就需要優化大模型本身,而大模型研發成本和技術門檻還是比較高,首先訓練和推理資源投入就很大,數據也需要很大成本,技術上涉及到預訓練,SFT,DPO,PPO,MOE 等技術,要做好還是有門檻的。在應用上我有兩點建議:
第一:如果偏向創新產品,建議初期直接調用大模型云服務 API,以 prompt 方式先把產品做出來,先跑通商業模式,盡快建立用戶反饋,有一定用戶規模后再考慮是否研發自己的大模型。
第二:如果需要優化大模型,建議以性能和商用友好的開源大模型作為底座從而降低訓練成本,可結合應用在預訓練增強,指令對齊上進行優化,也可以開源模型做初始化進行模型擴展或壓縮以適應業務需求。
審核編輯 黃宇
-
AI
+關注
關注
87文章
30728瀏覽量
268886 -
大模型
+關注
關注
2文章
2423瀏覽量
2641
發布評論請先 登錄
相關推薦
評論