ChatGPT 的誕生打響了現代 AI 軍備競賽的第一槍。以 GPT-4、ChatGTP、Bard 等為代表的大語言模型在全球各界引起了廣泛關注。結合 ChatGPT 的底層技術邏輯，未來中短期內 ChatGPT 產業化的方向大致有四類：即智能客服、文字模態的 AIGC 應用、代碼開發相關工作以及圖像生成。其中，最適合直接落地的項目就是智能客服類的工作。

基于大模型技術所構建的智能客服正在從根本上改變傳統的人機交互過程，大模型自動生成對話流程讓運營智能客服更高效，可以提升復雜纏繞問題解決率、人機交互感知程度，以及意圖理解、流程構建、知識生成等運營內容的效率。

如果單從產品滲透率層面來看，智能客服早在過去的七八年里就已經在電商、金融等等領域慢慢普及開來了。大模型帶來的兩個核心改變，一個是開發智能客服產品的成本大幅度下降，另一個就是用戶體驗的提升。

那么，想要將 LLM 大語言模型與智能客服產品進行結合，或者將前者落地于 ToB SaaS 應用軟件領域，該如何著手搭建技術棧？大模型產品將如何賦能智能客服產品？本期《極客有約》我們特別邀請了 bothub 創始人，布奇托網絡科技創始人兼 CTO 徐文浩擔任主持人，與華院計算技術總監兼數字人事業部聯合負責人賈皓文、中關村科金智能交互研發總監、中關村科金智能客服技術團隊負責人王素文，京東云言犀 KA 產品負責人王超一同探討 AIGC 在智能客服產品中的落地及未來發展趨勢。

以下為訪談實錄整理。

徐文浩：觀眾朋友們，大家好！歡迎來到 InfoQ《極客有約》。今天的主題是《天工刊物 AIGC》 特別策劃。我們希望通過這個策劃，讓大家全面了解 AIGC 在智能客服領域的方方面面，深入感知這場變革。

在本期節目中，我們邀請了三位嘉賓與大家討論 AIGC 在智能客服領域的應用。整體上，我們將分為三個部分進行討論。首先是 AIGC 大模型在智能客服產品中的落地應用；其次是智能客服中 AIGC 架構的部署和工具應用的設計與選擇；最后是構建高質量對話系統的方法。

今天的三位嘉賓都是在智能客服和智能交互產品領域有著豐富經驗的專家。第一位嘉賓是京東云言犀 KA 產品負責人王超老師。第二位嘉賓是中關村科金智能交互研發總監王素文老師。第三位嘉賓是華院計算技術總監兼數字人事業部聯合負責人賈皓文老師。

我們先從第一個問題開始，我非常好奇：AIGC 的出現對智能客服帶來了哪些變化？我想先請京東云的王老師來分享一下您的看法。在您的觀察中，AIGC 的出現給智能客服帶來了哪些革新？

王超：AIGC 的出現引起了整個智能客服領域的廣泛關注，并促使相關同行進行了大量的探索。對于智能客服的認知和未來的改變，這些認知變化在日新月異。

京東云言犀團隊一直密切關注國內外智能客服應用的進展。另外，我們正在研發的言犀大模型將于 7 月發布，同時我們也在持續進行客服業務中的各種大模型實驗。近幾個月以來，我個人對 AIGC 的理解和 3 個月前已經完全不同，所以今天我想分享的觀點更多代表個人意見和當前的看法。

AIGC 對智能客服帶來的影響可以從兩個層面來看。首先，從我們行業常見的管理問題和技術難題的角度來看，AIGC 具有解決的潛力。我們都知道，大模型對于智能客服的應答水平、擬人度和服務體驗等方面都會帶來巨大的提升，并且能夠大幅降低運營成本。

在機器人方面，我認為不需要過多展開討論，因為我們已經將很多注意力放在機器人上了。我想說的是，大模型在廣泛的智能客服領域中，特別是客服管理智能化方向上的驗證信息。例如，我們在智能輔助方面的實踐，以往的一些技術在一些關鍵點上的推薦和會話中關鍵信息的提取等問題，盡管有解決方法，但成本和效果通常難以取得很好的平衡。然而，通過大模型的驗證，我們發現它在處理這些問題上有很好的解決能力和潛力。另外，對于質檢工作來說，行業中普遍使用的關鍵詞正則等方法或者智能質檢方法，雖然有一定效果，但準確率往往較低，工作量也很大，提升準確率的周期較長。

然而，通過大模型的實踐，我們發現它在理解抽象質檢標準和執行質檢工作方面效果很好。此外，在員工培訓方面，我們已經看到一些頭部銀行引入對話機器人進行培訓的例子。除了以上所述，我們還在客服中心進行經營分析，需要總結客戶咨詢中的需求、客戶畫像以及風險等方面的信息，而在實驗中，大模型的效果也非常好。我認為在泛智能客服領域中，大模型的應用潛力是巨大的。我們相信，大約在半年左右的時間內，市面上的主流產品將迎來一次重要的升級。

基于目前對該行業和領域的理解，我們可以探討更廣泛的領域是否會發生變化。例如，它能給客服和客戶服務帶來哪些變化？我認為這個問題可能更具挑戰性，而且在目前的階段，沒有人能夠確定具體的變化。但我們相信，至少在某些方向上，例如主動服務方面，它將帶來巨大的變化。舉個例子，電商經常進行各種活動，而活動的宣傳和解釋工作通常不會落在客服中心。因為如果要用人工或傳統的機器方式進行這種廣泛的活動承接，都是非常困難的。但我們可以想象一個未來，通過引入大模型，通過基礎信息的輸入，我們的客服可以很好地解釋許多活動，這代表著未來客戶服務在主動轉型和升級方面可能存在的潛力。

徐文浩：我總結一下，實際上，AIGC 的出現將智能客服領域中可以應用智能部分的范圍擴大了。不僅僅是回答售后問題這樣的傳統智能領域，而是整個客服環節的各個方面都可以應用大模型，甚至可以延伸到營銷領域。王素文老師，從您的視角看到了怎樣的現象？

王素文：正如剛才提到的，智能客服領域的范圍非常廣泛。智能客服和機器人等技術實際上可以改變傳統的人機交互過程。通過大模型的運用，特別是利用自動生成對話流程，可以使傳統智能客服的運營更高效。在傳統方式中，我們通常需要通過人工手動配置知識庫等方式，但效果并不明顯。然而，通過大模型的自動生成對話流程，可以直接提高解決復雜問題的能力和問題的直接回答率，這是一個顯著的顛覆性影響。

第二點是，大模型還能實現降低成本、提高效率的目標。從智能化的角度來看，人工成本一直相對較高，因為它需要人工輔助機器。通過大模型的應用，可以輔助提升知識庫建設和運營的效率，從而實現顯著的降本增效效果。

第三點是，關于機器人的擬人度和用戶體驗。傳統的機器人在這些方面常常不盡如人意。然而，大模型的出現使得對話更流暢，擬人化程度更高，更像人與人之間的交流。這是一個非常強大的顛覆性影響。

當然，對于泛客服而言，包括質檢、助手和陪練等方面，大模型也會帶來相應的顛覆性影響，不同的產品會產生不同的影響。

徐文浩：我注意到賈老師是數字人事業部擔任聯合負責人，從您的角度來看，如果將智能客服與數字人結合，是否會帶來一些新的革新呢？

賈皓文：在回答這個問題之前，我想先回到智能客服領域。智能客服的發展本質上可以追溯到人工智能的歷史，它建立在語言的積累基礎上。我還記得大約十年前，有幾層樓都是客服人員，他們的大部分工作時間都耗費在用戶問題整理上。當時，甚至連現在兩位老師提到的知識庫等工具也不是很完備。

現在回顧一下，支付寶等客服產品從最初的知識庫到后來的高級助手，逐步擴展，衍生出像 Rasa 框架這樣的用于模擬多輪對話場景的工具。然而，與剛才兩位老師所說的一樣，所有這些對話過程在人格擬人化方面仍然有所欠缺。以前的所有客服類工具本質上都無法通過計算機行業標準測試。但是，當大模型出現后，尤其是像 ChatGPT 或小羊駝（Vicuna）等，它們具有一定程度的人格特質，盡管可能是 10 歲或 11 歲孩子的水平。在某種程度上，它們能夠通過圖靈測試。

現在回到您之前提出的問題，將智能客服與數字人結合，會帶來一些新的革新。在數字人領域的起初階段，基于知識庫和大模型的方式進行與人類的擬人化問答是無法實時完成的。然而，隨著技術的擴展，我們已經能夠實現擬人形象，并結合大型模型來模擬真實的場景。當我們將其應用于知識庫、客服以及數字員工等場景時，數字人領域可能面臨兩個挑戰。首先是數據的完備性，盡管 ChatGPT 等看起來很酷，但它們本質上是基于過去的歷史數據生成的，類似于完形填空的生成。雖然這種方法能夠提高效率并降低腳本撰寫的成本，但生成內容的質量實際上是無法控制的。在數字人和智能客服領域等綜合領域的產出內容中，我們無法完全確信生成的內容。因此，我們可能需要引入不同的驗證和保障措施，以確保數字人或 ChatGPT 等所說的話更像是人類在說話，而不是胡言亂語。

總結下，雖然現在大模型可能比較火，未來的前景也很廣闊，但當下階段它還是一個從 0 到 1 的狀態。未來我們可能期望它長成參天大樹，但是現在不管是對整個行業來說，還是大家對它的期望來說，還是要讓它在一個比較好的土壤里面逐步成長，真正的能夠給智能客服、給數字人等領域來帶來效率的提升。

徐文浩：我想深入探討一下這個問題。我想問一下賈老師，根據您的觀點，如果我們現在在智能客服領域引入大模型，是否會帶來收益？我指的是就當前情況而言，不考慮兩年或三年后的發展。就現在的角度來看，從您的客戶或內部產品的角度來看，引入大模型是否會帶來收益？

賈皓文：是否引入大模型取決于具體的業務場景和用戶需求。對于大型公司如螞蟻金服或京東等擁有龐大而成熟的系統的情況，盲目引入大模型可能會增加額外成本。我們需要采取一些兼容性措施來規避 AI 生成內容帶來的不確定性。對于規模較小的公司來說，將大模型作為知識庫的補充，并輔助一定程度的人工審核，可能是一種提高效率的好方法。它可以幫助智能客服更好地理解用戶的語義，提升知識庫的質量，甚至改善用戶體驗。此外，對于認知智能等更高層次的應用，引入大模型可能有助于更好地理解和認知用戶。在互聯網行業中，有一個重要的概念叫做"千人千面"，這意味著每個客服都能夠提供個性化的服務。因此，我們需要在辯證的角度來看待是否引入大模型，結合具體情況做出決策。

徐文浩：賈老師的觀點是對于大型公司需要小心謹慎地引入大模型，引入大模型可能會增加成本，增加各種風險，需要依靠原有的方法或模型作為兜底措施。那我想問下王超老師，京東云客服引入 AIGC 了嗎？引入后會的收益如何？

王超：對于大型公司在 C 端產品上謹慎應用大模型是出于保障顧客體驗和服務安全性的考慮。在面向消費者的業務中，保持謹慎是至關重要的。在這方面，驗證和實驗都是以非常謹慎的態度推進的。

在面向 B 端或面向運營的領域，您們在實驗和驗證更加“勇敢”。我們在幫助運營搭建文案和腳本等方面引入大模型，這為運營解決創意和效率問題提供了很好的支持。此外，對于質檢、輔助和培訓等面向員工管理的方向也非常積極地投入。

大模型是“剛需”還是“跟風”？

徐文浩：這個大概能夠把普通員工的效率提升百分之多少？有沒有測算過，或者有一些具體的數據。

王超：我們目前還沒有對這個問題進行具體的測算，因為大模型的應用在不同的工作項目中表現各異。例如，在生成腳本和文案方面，它的速度可能會提升幾倍。然而，在日常分析和質檢搭建等方面，效果可能因情況而異。因此，在當前階段，我們很難量化并得出一個準確的結論，但是我們確信，大模型的應用確實提高了效率。

徐文浩：王素文老師，您這邊有客戶或產品上引入了 AIGC 嗎？能看到具體的收益嗎？

王素文：在我們的業務領域，主要面向 ToB 市場，我們服務各種不同領域的客戶，例如金融和保險行業等。這些客戶在創新方面有一些需求，包括降低成本和提高效率的動機。我們與客戶進行了一些共創合作，并進行了驗證。例如，我們為某個客戶創建了營銷助手，可以自動生成一些文案。傳統上，每個員工的水平參差不齊，包括營銷話術方面也缺乏標準化和統一性。通過我們的營銷助手，首先可以幫助他們生成統一的文案，根據歷史上的優秀經驗進行復制。其次是降低成本和提高效率，他們不再需要花費太多時間進行培訓、學習、記憶等工作。我們的大模型在行業中得到了廣泛應用。

我們還開發了電銷機器人，可以直接回答一些問題。當然，我們必須考慮到合規性問題，包括遵守相關法律和保護數據安全。我們正在與信創院合作，致力于解決這些標準化問題。

徐文浩：大家確實在努力嘗試發揮大模型的能力。然而，目前仍然有許多具體問題需要解決，尤其是可控性和安全性方面的挑戰。從智能客服的角度來看，電商行業是早期引入智能客服的行業，因為有著“618”和“雙十一”等大型促銷活動，這些活動期間的流量峰值非常巨大。

在過去幾年中，國內的服務提供商也為各種金融機構（如銀行、保險和理財機構）開發了各種智能客服產品。在這種情況下，如果金融機構不使用智能客服，似乎就會落后。但是，銀行客服等機構并沒有像“618”和“雙十一”那樣的高峰期，那這些機構引入智能客服是出于剛需，還是出于“跟風”或危機感？如果是剛需，那么這種需求最初是從哪里產生的呢？

王超：在數字化浪潮的推動下，金融機構更容易實現智能客服的落地。在金融領域，智能客服已經相對廣泛應用，并成為金融機構比較常見的產品之一。對于金融機構而言，智能客服的核心需求主要是降低成本和提高效率，它能夠將人力資源從繁瑣的工作中解放出來。特別是在一些高頻問題的自動問答、通知和回訪等業務場景中，智能客服可以節省人力資源，使其能夠將精力集中在更專業、有創造性的工作上，而不是重復、頻繁且低價值的工作上。讓他們可以有資源投入到開發和維護高凈值客戶方面，更專注于執行更有價值的任務。此外，隨著新一代的基礎突破，如大模型的出現，智能客服也能夠獲得強大的自然語言生成能力，使其變得更加智能和高效。

徐文浩：所以本身是個剛需，因為有大量的重復勞動要去降本增效。賈老師，你這邊的金融領域客戶或者其他領域是否在關注智能客服呢？

賈皓文：除了金融領域，像保險、法律和健康等垂直領域也存在對大模型的需求。特別是在公司的視角下，對于生成和提取知識的需求越來越明顯。當我們與銀行或保險公司交談或與法律工作者討論問題時，他們提供的信息本質上都是事實性的內容。通過大模型，我們可以更好地識別用戶問題的意圖，并進行聚類或分流處理。

如王素老師所說，金融、保險和法律等行業的效率提升潛力非常大，這是一個降低成本和提高效率的過程。從我個人的角度來看，這是一個剛需，特別是在效率方面。然而，這些行業可能不會采取過于激進的方式，因為與金融、保險和法律相關的業務都是敏感性很高的，需要具備很強的專業性。在這方面，又引出了另一個問題，即對大模型生成結果的成熟度評估。雖然像 GPT-4 等大模型在美國的一些專業考試中表現良好，但在中國，特別是在中文這樣龐大而復雜的語義背景下，它是否能通過相應的考試仍然是個問題，這可能需要進一步的研究。在這方面，我們公司計劃在 7 月份與浙江大學合作發布一個法律垂直領域的大模型，為這個特定領域提供更好的解決方案。

徐文浩：法律領域的大模型和金融領域類似，對于生成的質量要求非常嚴格。在法律領域，一個微小的錯誤可能會對消費者的體驗產生負面影響，甚至對商家（B 端）造成損失，這對生成結果的準確性和可靠性要求更高。就這個問題，王超老師怎么看？

王超：我認為無論是電商還是金融行業，對智能客服的要求都非常嚴格。另外，對于電商智能客服來說，大促銷期間和日常的咨詢都非常可觀。我們團隊在京東的自營業務中，日常期咨詢量占 70%，高峰期 90%。這 70% 的咨詢量已經具有巨大的價值。我相信這種邏輯也適用銀行等各種機構。我們也注意到一些銀行的智能客服服務能力仍有不足。因此，我們需要思考如何提升智能客服的成熟度，并且它需要與企業或銀行的發展階段相適應。目前，許多銀行正處于智能客服的初級階段，主要集中在 FAQ 和簡單的多輪對話構建上，而服務能力和用戶體驗可能還無法達到令人滿意的水平。

基于我們在電商領域的經驗，我們認為銀行智能客服需要進一步發展，特別是在運營體系方面需要大幅升級。例如，我們要求基層客服在服務標準和技巧方面接近人工水平，這對我們的運營體系變革具有重大影響。然而，在與銀行合作的過程中，我們發現許多銀行在智能客服建設中面臨挑戰。技術供應商與銀行之間的合作更類似于乙方和甲方的關系，與我們的合作模式有所不同。銀行在組織架構和人才培養方面與我們的要求仍存在差距。我們與許多銀行合作伙伴進行了交流，發現一種普遍現象，即他們認同我們的發展方法論，但也感到困難。推動內部改革對于銀行來說是復雜的，需要更多的努力。我相信大模型是一個機會，因為它可以降低智能客服的運營難度，簡化組織架構，我對此充滿期待。

徐文浩：我相信大模型對于在座的各位以及從事智能客服和自然語言處理領域的大部分人來說都是一個巨大的機會。我們的觀點相似，大家都認為大模型可以幫助我們實現更加擬人化和個性化的對話體驗。然而，當面對向 C 端用戶提供服務時，無論是電商還是銀行，大家都會更加謹慎。我們都希望確保最終的輸出結果是可控的，無論是涉及 1 萬元存單還是 1000 元訂單，這是一件需要認真對待的事情。

剛才我們也談到了另一個重要的話題，即用戶體驗。我們可以觀察到上一代的智能客服和對話機器人，它們的回答都是預先編寫好的模板，例如關于送貨地址的回答通常是固定的，只是稍作改動。這種固定模板的回答與真實人工客服相比，存在一定的差距。現在大家都在努力提升對話機器人的擬人程度，讓背后的智能客服更具情感，更能理解用戶情感，并進行多模態的計算。在這方面，大家是否已經投入研發了呢？

王素文：我認為可以從三個方面來討論：擬人化、人性化和個性化。

首先是擬人化。在智能客服領域，擬人化一直是一個痛點，因為傳統的機器人在這方面表現還有待改進。我們一直在探索如何構建擬人化的對話交互。這涉及到如何設計情景化的對話，如何拆解問題，如何繼承上下文以及如何理解多輪對話。總體而言，我們希望機器人能夠提供更加貼切、自然的對話和交互模式。

其次是人性化的服務。在精準識別場景或意圖的基礎上，我們還需要在擬人化的基礎上進一步提升服務。我認為多模態情感計算是實現這一目標的有效方法。例如，我們公司開發了虛擬數字人客服，它可以進行人機交互對話，并結合情感計算，通過視頻、語音和文本等多媒體方式識別用戶情感表達。這樣一來，智能客服可以對用戶做出相應的情感反饋，打造出具有情感理解和溫度的人機交互，實現更人性化的服務。在情感計算方面，傳統的方法有規則和機器學習兩種模式。通過機器學習，我們可以訓練模型自動學習情感狀態，并達到分類的標準，從而更好地適應不同領域和語境。這樣可以獲得更優秀的情感表達效果，提供更人性化的服務。

最后是個性化服務。我們需要根據用戶的畫像實現個性化服務，以實現“千人千面”的效果。例如，我們開發了用戶洞察平臺，通過用戶的基本畫像信息和歷史對話過程中的洞察分析，可以對用戶進行標記和畫像積累。在后續對話中，我們可以根據用戶的畫像為其提供不同的對話流程、回復方式和推薦，從而實現更精準的個性化服務，提升用戶和企業的滿意度。

徐文浩：王素文老師提供了許多寶貴的經驗分享，對于從事智能客服工作的人來說，可以借鑒和模仿。京東作為一個用戶量和商品量都非常大的平臺，大家都希望在使用智能客服時有一種背后是真人的感覺。我想問一下王超老師，京東在實現“千人千面”的能力上，在研發和產品方面都做了哪些工作？是否有什么經驗可以分享給大家？

王超：我們在提升體驗和個性化服務方面做了很多投入。言犀團隊開發的情感智能客服是業界首個大規模商用的情感智能客服。自 2018 年開始，我們在機器人應答能力中引入了情感識別和應答的能力。這項技術不僅應用于客服領域，還應用于質檢和人員管理服務。

回答這個問題涉及兩個方面。第一個方向是技術方面，例如多輪對話等前沿技術，這些是當前智能客服技術的主要發展方向。另一個重要方向是運營，即如何通過與人工客服進行對標，進行精細場景拆解，分析人機差異，并通過監控和工具體系實現自動化的問題發現和人機服務差異對比。通過這樣的方式，我們從整體體驗和人群服務體驗的大面差異分析，逐步實現精細化的人群服務體驗分析。有了這樣的體系，我們才能夠持續優化整體服務體驗，并最終實現像京東目前日常機器接待量達到 70%、大促期間達到 90% 的機器服務覆蓋。

賈皓文：今晚的直播主題是關于數字人客服領域和大模型的理解。我們對傳統客服的理解，無論是人工客服還是 FAQ，都可以被視為低端智能客服。作為用戶，我們期望客服能夠勝任各種問題，并能夠提供排憂解難的幫助。同時，如果客服能夠展現擬人化的特點和提供個性化服務，那對于用戶來說體驗會更好。

在大模型領域，擬人化和人格化非常重要。我們公司更偏向于認知智能和心理學的研究方向。我們關注如何快速獲取用戶的心理標簽，并通過心理學的角度對用戶進行判斷，從而提供更好的服務。我們可以設想一個場景，例如漫威電影《鋼鐵俠》中的賈維斯。如果未來的大模型能夠像一個助手一樣，可以根據我們當天的心情和喜好給出最合適的答案和推薦，那將是一個理想的狀態。

目前，在大模型和數字人結合的研究中，我們還處于初步階段。但隨著學界在多模態領域的研究成果的出現，可能會有一些更好、成本更低的體驗產品涌現出來。

徐文浩：大家都提到了對情感性的追求，似乎大家都在朝著更接近真人的方向發展。在直播間的大部分觀眾都是從事技術工作的同學，我們希望能分享一些經驗，關于如何構建一個高質量的對話系統，無論是智能客服還是售后服務或售前導購方面。在進入這個領域時應該從哪個方面開始著手呢？

賈皓文：如果我們要構建一個高質量的對話系統，實際上涉及到了傳統的互聯網項目立項的問題。在這個過程中，我們需要考慮業務產品架構、技術架構的選型，以及產品的實際落地形態。同時，我們還需要考慮到許多大型企業或中型企業已經擁有許多現有的客服產品。如果我們想通過大模型提升這些現有客服產品的能力，可能需要采取比較保守的方式。例如，大模型可用作一個外部知識庫的工具，用于提供知識輸入。回到剛才提到的架構方面，產品架構和工具選擇都是重要的考慮因素。對于初始的切入點，可能涉及到關鍵字的標注系統和傳統的正則表達式等工具。然而，對于這種范式的具體選擇并沒有一個通用的標準范例，因為它與每個業務的特點相關。

徐文浩：從業者的角度來看，無論是智能客服公司還是智能客服的 SaaS 或云平臺，都可以思考如何進一步改善對話系統，以提供更高質量的服務。盡管我們今天討論了很多關于大模型的話題，但實際上當涉及到傳統的智能客服時，無論是在銀行還是電商等領域，消費者多多少少都會感覺到背后沒有一個真人在提供服務。我們需要考慮如何提升用戶體驗，并投入更多努力來改善現狀。

賈皓文：如果我們將問題范圍縮小，關注于提供更高效和高質量的智能客服內容輸出，那我們可以將大模型視為一種增強型對話服務。在智能客服產品中，用戶期望遇到的是一個智能、善解人意、善于交流的機器人，同時希望回答的內容能夠聚焦于特定業務范疇，例如客服營銷等場景。在這種情況下，我們可以通過將大模型的意圖識別、對話流程和多輪對話能力與傳統的 FAQ 等外部數據源結合起來。這意味著我們需要收斂整個語言處理過程，例如對訪客的問題數據進行歸納和與用戶問題的對比，甚至在用戶提問的同時輸入大量的私有化數據，以補充傳統的智能機器人、語音機器人和內外部知識庫的能力。通過這種結合，可以在短時間內顯著提高用戶體驗的效率。進一步地，我們可以考慮擬人化能力的提升，但對于那些希望升級對話系統能力的公司來說，挑戰可能較高，因此建議慎重引入。作為一個切入點，將大模型視為外部知識輸入的一部分可能是一種成本較小且快速切入的方式。

如何提高大模型的對話質量

徐文浩：王素文老師，如果去做一個高質量的對話系統來改善現有情況，應該在哪些方面做研發投入呢？

王素文：我們可以考慮以下幾點來提升對話系統的質量。

1. 數據標注成本的降低：傳統的數據標注方法需要大量的人工標注，這會帶來時間和資源的成本。為了降低這種依賴性，我們可以研究如何利用大量的無標注數據進行無監督訓練，從而減少對人工標注數據的需求。這樣的方法可以提高數據獲取的效率并降低成本。

2. 泛化能力的提升：僅僅回答單一問題是不夠的，對話系統需要具備一定的泛化能力，以適應不同的場景和用戶需求。通過學習語言的多樣性和規律，我們可以提升模型的泛化能力，使其能夠應對更多的問題和情境。

3. 對話模型的構建和選擇：在選擇對話模型時，我們需要考慮不同場景下的模型適用性。當前已有許多大模型可供選擇，因此我們需要根據具體需求選擇適合的模型，以達到更高的準確性和效果。

4. 持續學習和優化：對話系統需要進行持續學習和優化，因為初始上線的模型效果并不完善。系統應具備自我迭代和自我優化的能力，通過不斷使用和反饋，逐漸提高效果和性能。這種持續學習和優化的過程可以滿足客戶的需求，并使系統變得越來越智能和高效。

徐文浩：王超老師，您對之前的討論有什么觀點補充嗎？

王超：我覺得這個問題的關鍵在于從客戶和業務方的角度以及我們作為平臺產品開發設計者的角度來看，其實都指向了相同的目標。無論是從哪個角度來看，我們都需要關注業務的核心需求，以及智能客服系統在提供服務方面的期望。在不同的服務形態和模式下，產品的技術架構和引入的技術能力可能會有所不同，但整體而言并沒有太大的差異。

舉個例子來說，對于一些業務方來說，他們可能希望機器人能夠提供基本的問答和信息查詢能力，這時我們可能只需要提供一些 FAQ 和一些簡單的對話工具和算法模型就能解決需求。而對有些業務方來說，他們希望機器人具備代為辦理業務和跟進業務的能力，甚至提供情景化的對話服務和全程護航。針對不同層次的客戶需求，我們需要相應地設計產品和構建技術架構，引入相應的能力。因此，我認為跟進業務方、幫助業務進行咨詢、深入了解他們的業務是非常重要的。根據不同的客戶需求，進行產品設計和技術架構的搭建，并引入相應的能力，以滿足他們的需求。

徐文浩：大家試下來哪個模型效果比較好？需要哪些必備的工具、應用，架構如何選型等？

王素文：在使用 ChatGPT 或類似的大模型時，可以按以下步驟進行應用和部署。

1. 模型訓練和調優：選擇可商用的開源大模型，如智普 ChatGLM、百川大模型等。根據自己的需求和業務，驗證和測試模型的性能。收集領域相關的數據，并使用這些數據對開源大模型進行領域訓練，也可以進行指令集合的半自動化生成。通過微調和篩選多輪對話數據，增強領域大模型的對話能力。確保模型在安全性方面滿足要求，根據規范和價值觀進行微調和后處理。

2. 模型工程化和性能優化：針對生成式模型，考慮模型推理的速度、容量和壓縮問題。如果模型太大，單卡無法容納，可以考慮單機多卡或多機多卡的并行推理。對模型進行性能優化，包括壓速、壓縮和加速，以實現更好的性能。

徐文浩：王素文老師，您有推薦的中文基礎商用模型嗎？

王素文：我相信每個人在選擇模型時都會根據自己的需求和標準進行權衡。每個模型都有自己的特點和優勢。在我們的業務需求中，我們測試了多個模型，最終選擇了智普和百川這兩個大模型，因為智普大模型在商業化方面已經有了一定的成熟度。他們最近發布了新的模型，這也說明他們在不斷地優化和迭代。我相信隨著這些模型的不斷改進，基于這些大模型再進行領域模型的開發，將會帶來更好的效果提升。

徐文浩：在測試大模型方面，賈老師有什么推薦的工具架構，或特別關鍵的應用嗎？

賈皓文：對于中小型公司來說，從零開始自己開發或在現有模型上進行指令集調優可能會比較困難。模型通常很大，甚至在單個顯卡或單臺機器上都無法容納。此外，收集結構化數據，特別是與特定業務領域相關的數據，也是非常關鍵的。因為在 ChatGPT 的原始訓練過程中，做了大量的數據收集和整理，這就需要在指令集調優的過程中使用自己領域的數據來微調模型。這涉及到一些多機多卡的并行計算，可能需要算法和模型訓練人員具備高水平的知識，例如張量加速措施和梯度累加措施等。

在部署和運維模型的環節中，可能需要考慮模型訓練的網速、硬盤選型（如 Zata 或 SSD）、存儲器以及數據傳輸加速工具等方面，對運維環境有較高要求。總的來說，當前大模型的訓練過程可能會相對較難，但單純的部署和推理過程來說，基于 6B 或 13B 這樣的大模型，在 V100 上進行部署，基本上是可行的。

如果模型調優訓練完成后，將其部署到線上系統中，我們通常會考慮整個架構的升級。目前業界比較熱門的是 Milvus 向量數據庫，它可以通過向量檢索將生成的結果進行中間緩存，類似我們平時使用的 Redis 緩存。因為完形填空生成機制的特性，雖然每次生成的具體樣式可能會不同，但大致意思是相同的。為了降低線上的成本，我們可以采用這樣的機制。同時，對于生成內容的審核系統、訓練數據準備系統和標注系統等，也需要有一套完整的解決方案。

總的來說，訓練大模型并不一定可怕，但可能會對我們之前的技術棧要求有所提升，但這種提升也是可以跨越的，只是可能稍微有一點難度，但我們完全可以通過學習和實踐來應對這些挑戰。

徐文浩：模型訓練本身只是整個過程的一部分，周邊配套措施也是至關重要的。例如向量數據庫、緩存系統、標注系統等，這些配套工具和系統對于產品的持續迭代和發展至關重要。在研發過程中，我們需要一個完整的工具鏈和解決方案，以支持數據的收集、預處理、標注，以及模型的訓練、優化和部署。王超老師，您是否有補充的內容？

王超：在這個問題上，我可以分享一些關于正在開發的大型模型的信息。我們正在開發自己的產業大模型，并期待與企業和同行們進行合作。在 7 月份之后會公布更多關于合作機會的信息。另外，提到如何驗證哪些大型模型更好的問題。在這方面，我們更關注的是如何在平臺上成功應用已經驗證過的優秀大型模型，比如百川等模型，鼓勵大家關注和了解它們。

徐文浩：在研發效能方面，在開發和部署大型模型的團隊規模、算力投入以及時間預估等方面大家有什么經驗分享？

王素文：整個開發和部署大型模型的過程確實需要花費一定的時間。特別是在模型的壓縮、加速和優化方面，需要進行反復的實驗和調整，這可能是非常耗時的。舉個例子，我們曾經開發了一個模型，它的規模達到了 7B，經過優化后，在 A800 服務器上的 4 卡 b 型配置上，推理速度從之前的 28 毫秒降低到了大約 5 毫秒。總的人力投入取決于你所做的工作。

首先，需要構建整個基礎框架，并對模型進行壓縮和量化處理，包括算子的優化。我們基于英偉達的 FastarTransformer 進行了優化，因此需要自定義優化算子，選擇適合需求的推理引擎，比如英偉達的 Triton，根據不同的后端提供服務。最后，還需要進行整體的性能測試，以確定模型在不同設備上的最佳性能，并進行最終的部署。根據我們的經驗，整個適配過程至少需要一個月的時間。此外，調整指令任務的優化也需要一定的時間，這取決于具體業務需求和指令數量。根據不同的業務類型，通常需要一個十幾個人的團隊來做。

徐文浩：聽起來大概需要十來人的團隊，一兩個月才能把這些模型的推理優化和訓練過程走完。這還不是我們說的那種大的幾百、幾千、上億參數的大模型。

王素文：是的，在特定行業訓練好并優化好的模型可以快速將其部署并復制給該行業的客戶。通過這種方式，我們能夠利用之前的工作成果，為客戶提供定制化的解決方案。舉例來說，我們在金融領域、保險、財富管理和零售等行業已經完成了模型的優化，因此我們可以將這些優化的模型快速復制，并迅速落地為客戶提供服務。這種復用的能力可以極大地提高效率，加快解決方案的交付速度。

徐文浩：明白，其實目前它還只是個產品研發的過程，不是個項目落地的過程，研發了一個產品，可以給很多很多客戶去用。賈老師對這個問題有什么看法？

賈皓文：對于領域大模型開發，數據收集對于特定領域的模型是必不可少的。對于高度專業化的領域（如法律），數據收集可能需要投入較長的時間，可能需要半個月甚至一個月。完成數據收集并進行結構化處理后才能開始后面環節，如指令集的調優和多級多卡的訓練過程等。完成這些環節之后，通常會進行多輪的模型效果評估，因為通過 Transformer 機制生成的結果可能不夠可靠，需要進行大量的效果測試來確保模型的可靠性。當模型訓練基本完成，可以初步商用時，我們可能會根據客戶的需求進行進一步的產品化工作，將其打包成一個完整的產品，為用戶提供全面的服務。

從成本的角度來看，數據整理可能需要半個月至一個月的時間，訓練一個規模為 6B 或 7B 的相對較小的模型。然而，這還需要一個重要的前提條件，即負責模型訓練的團隊必須熟悉多機多卡的訓練方式和方法，并熟悉各種數據加速策略和內存加速策略等。此外，環境的準備也很關鍵。對于一些小型公司，如果要進行大模型的訓練，可能需要在阿里云或騰訊云等平臺上租賃機器并自行搭建環境。這額外的成本也需要考慮進去。

開發一款大模型，投入產出比如何？

徐文浩：綜合兩位老師的觀點，如果團隊條件成熟，開發一個 7B 規模的微縮版大模型可能至少需要一個十幾人團隊，開發三個月左右。這樣來看，即使是開發一個小模型，投入也是相當大的。那開發大模型的投入產出比大致是怎樣的？監管風險和安全性問題怎么來解決呢？

賈皓文：要評估投入產出比，需要考慮具體的業務場景和需求。對于創意類腳本生成等傳統文案、廣告和影視行業，AIGC 等大模型能夠快速生成大量的素材，雖然可靠性可能有所欠缺，但可以顯著提高生產效率，對于這些創意生產工作來說，投入產出比可能非常劃算。然而，對于其他領域如法律知識生成、案例剖析、保單分析等，因為產出結果可能并非完美，需要投入大量人力資源，并經過多輪模型調優，才能達到較為理想的產出。因此，投入產出比可能會較高。

至于監管方面，像最近出臺的深度生成相關的監管政策，也需要我們考慮。主要涉及幾個方面。首先，需要關注是否會侵犯作曲家、作家、畫家等知識產權或版權，以及是否容易產生虛假信息。在生成結果的監管方面，我們需要確保配套的內容審查和管理機制，以確保生成的文本和圖像不侵犯知識產權。同時，對于傳統行業，合規和風險控制也是重要的考慮因素。隨著實驗的發展，大模型產業鏈可能會形成，其中一些人致力于生成大模型的生產資料，而其他人則致力于防止大模型生成失控的措施。這種對應關系的建立將經過時間的迭代，以便在法律法規和道德規范的框架下實現大模型的生成與監管的良好平衡。

徐文浩：我們不只會有 AI 公司，還會有專門的 AI 安全公司，就跟互聯網上有很多專門做安全公司一樣。我想請教下王素文老師對 AI 安全和監管問題上的看法。

王素文：首先，我們在進行領域模型或大模型的訓練時，數據的合規性和合法性至關重要，應該通過正規的渠道獲取數據，并確保數據的安全和保密性。

其次，當我們為客戶進行領域模型訓練時，我們必須確保企業內部數據的安全合規性，并且不同企業之間的數據應該進行隔離，不能隨意復用或在訓練中使用。此外，在為客戶訓練領域模型時，我們還需要進行微調和對齊，以確保輸出的模型符合合規要求。

從監管層面來看，政府部門在制定監管框架時需要借助跨學科和跨領域的專家知識。我們與信科院合作，共同建立健全的監管框架，并與其進行深度合作。我們也在與信科院進行安全認證，以確保我們的大模型經過了嚴格的測試和驗證。

只有通過政府、專家和企業的合作，我們才能推動 AIGC 的健康發展，滿足用戶需求，并確保大模型的安全使用。

在智能客服領域，企業的核心壁壘是什么？

徐文浩：對于智能客服領域，大家都在做多輪對話，情感分析，那企業的核心壁壘是什么呢？

王超：對于智能客服行業而言，同質化問題與企業采購智能客服建設目標和預期的 ROI 密切相關。在京東，企業在建設智能客服時應將其發展目標分為初階、中階和高階（或成熟）三個階段。如果客戶的目標仍處于初階階段，即僅需簡單的問答和查詢功能，那么采購智能客服的需求可能相似。在這種情況下，同質化程度可能較高。但如果客戶的需求定位在更高級的目標，例如提供主動服務、全程跟進和全情景化服務等，那么就需要考慮智能客服供應商是否具備與之匹配的運營方法論和相關的完整運營工具體系。基于這個邏輯，我認為當前一代智能客服產品的核心壁壘之一是供應商是否具備復雜成熟的機器人項目經驗和豐富的運營經驗。

另一個關鍵點是，智能客服公司除了提供相關產品和技術外，還能否提供長期規劃和指導意見的運營方法論，以及相關的配套運營工具體系。同時，我們是否能夠幫助客戶建立人才梯隊，并提供培訓服務。在當前一代智能客服中，這些因素非常重要。

至于未來，大模型將成為一個重要壁壘。對于你所提及的產品，能否將不同類型的大模型與原有產品能力有效融合，將是一個關鍵因素。同時，具備大模型開發能力也將成為一個獨特的競爭優勢。

徐文浩：我相信每家公司都會覺得自己在智能客服或者類似的這個產品上有獨到的優勢。賈老師，就您公司產品來講，它的壁壘體現在哪？

賈皓文：從傳統客服到大模型客服，整個過程可以看作是一種競爭壁壘。雖然在算力、數據量方面，我們可能無法與大廠競爭，但在交叉學科領域，如心理學知識在大模型訓練中的應用，以及對認知智能與大模型應用的交叉領域，我們可能具備先發優勢。對于其他公司而言，也可以結合自身特點，在日益同質化的大模型服務和訓練過程中脫穎而出。

王素文：這個問題實際上歸結到兩個核心點：智能客服公司需要考慮如何盈利和提高毛利率。為了實現這一點，首先要關注兩個方面。第一，你需要提供優質的智能客服服務，讓客戶滿意，這樣你的企業才能長久發展。因此，關注產品的效果至關重要，包括產品力和智能化效果的提升，以提高用戶體驗和滿意度。第二，注重提高效率，考慮投入產出比問題，降低成本并提高項目的毛利率。項目交付和運營效率的提升是關鍵，要考慮產品滿意度、部署實施的效率以及與客戶業務系統的快速集成和運營內容的對接。你需要擁有完整的交付方法論和運營工具來提高項目的毛利率，以實現盈利并保持持續發展。

智能客服公司可以分為兩類，一類是垂直領域的專業廠商，另一類是通用型廠商。垂直領域的智能客服廠商專注于特定領域，例如電商或保險，他們的優勢和壁壘在于行業聚焦，持續優化行業知識圖譜和數據，提供特殊的解決方案和核心競爭力。中關村科金作為對話式 AI 解決方案提供商，我們專注于金融、政務、零售等多個行業，已為 900 多家行業領軍企業提供服務，并積累了豐富的行業知識。我們還計劃推出通用和領域大模型，通過整合對話引擎，升級智能客服、外呼機器人、陪練和質檢助手等產品，以提升我們在行業中的競爭力。

其次，提高交付和運營效率也是關鍵。產品滿意度對于降低項目交付成本至關重要，而高效的部署和實施，以及與客戶業務系統的快速集成和運營內容對接，將提高運營效率。你需要擁有一整套交付方法論和運營工具，確保項目的毛利率最大化。這樣做將使你能夠盈利并保持長期可持續發展。

AIGC 會完全替代傳統的客服人員嗎？

徐文浩：三位老師提到了 3 個核心壁壘：首先是聚焦垂直領域，其次是在產品層面尋求差異化，第三是跨學科的設計。這些措施將幫助企業在競爭激烈的市場中脫穎而出，為客戶提供獨特的價值。那今天最后一個問題，請用簡單的語言暢想下未來 AIGC 在這個領域的發展， AIGC 會不會完全替代掉傳統的客服人員？

王超：作為一個從業者，我對 AIGC 的前景持樂觀態度，而取代的問題涉及不同的視角。一種觀點是以存量市場的視角看待，認為客服行業的市場空間有限，因此 AIGC 可能會取代傳統人力。然而，我更傾向于從增量的角度來考慮。

首先，智能客服仍然需要人類運營支持，在從傳統客服到智能客服的轉變過程中，運營人員仍然扮演著重要的角色。其次，未來的運營模式可能會發生變化，智能客服與人工運營人員配合，形成一種新的作戰模式。這種模式下，少數運營人員可以攜帶智能客服機器人，提供高質量的 24 小時服務，而且成本較低，這可以讓更多的小微企業以新的方式提供客戶服務，并擴大市場規模。總之，從增量的角度來看，智能客服不會完全取代傳統客服，而是與其相輔相成，為市場帶來新的機會和發展空間。

王素文：在可預見的未來，人工客服不會被完全取代，因為它們在處理復雜問題、思考性問題以及情感問題上具有獨特的優勢。特別是在處理高價值客戶、潛在客戶以及提高客戶轉化率方面，人工客服仍然扮演著重要角色。由于獲取客戶的成本較高，通過人工客服進行高效跟進并確保成交仍然是許多企業所希望的。因此，人工客服和智能客服之間更多是一種相互結合的合作模式。企業需要根據自身情況考慮人工客服和智能客服的優勢，并制定最佳的客戶服務模式。

在整體上，我認為 AIGC 未來的發展空間是廣闊的，并且整個行業也已經看到了這一點。在未來的兩三年中，AIGC 和類似 ChatGPT 的技術將以高速發展，并推動整個企服產業的升級。互聯網和企服行業都將經歷大規模的升級和變革，包括配套設施的改進。目前 AIGC 仍存在一些問題，如內容質量、投資成本、數據安全和版權等方面。因此，我們仍然需要更長遠的發展，包括探索更精密、更有效的建模方式，以改進這些問題。我相信隨著技術的進步，大模型的發展空間將是無限廣闊的。

賈皓文：確實，我們不應過于強調替代性，而是關注未來將帶來的工作模式和業務模式的變革。在推進業務的過程中，我們需要衡量投入產出比，特別是在客服推進中需要考慮用戶數據隱私的安全性、法律法規的遵守以及跨場景、跨行業的擬人化服務。大模型能夠為傳統客服人員帶來很高的價值，它們會帶來質的變革，但并不意味著取代人工客服。總的來說，盡管大模型目前存在一些問題，但它在未來的前景非常廣闊。用一句比較文藝的話來說，未來不久大模型的發展將從夢境變成現實，我們很快就能親身體驗到。