以下文章來源于谷歌云服務(wù)，作者 Google Cloud

Amin Vahdat

機器學(xué)習(xí)、系統(tǒng)與 Cloud AI 部門副總裁/總經(jīng)理

Google Cloud

過去的一段時間，我們看到了許多 Google Cloud 客戶對生成式 AI 和 agent 的精彩應(yīng)用，令我們拍案叫絕。為了讓企業(yè)能夠更快推出功能強大的 AI agent，Google DeepMind在模型技術(shù)方面積極探索創(chuàng)新，尤其著力于 Gemini 和 Imagen 的改進。我們的企業(yè) AI 平臺 Vertex AI 也推出了數(shù)十項突破性功能。

包括UberEats、Ipsos、Jasper、Shutterstock、Quora等眾多領(lǐng)先組織在內(nèi)，客戶紛紛運用生成式 AI 創(chuàng)造出色成果，在 Google Cloud 的助力下加速生成式 AI 應(yīng)用投產(chǎn)。

例如，在 Gemini 1.5 Pro 推出前，大多數(shù)多模態(tài)用例 (像提交一個視頻并輕松詢問與視頻內(nèi)容相關(guān)的問題) 都還停留在構(gòu)想階段。但自新模型推出以來，我們已經(jīng)看到許多圍繞數(shù)據(jù)開展對話的客戶創(chuàng)新實例，包括:

一家快餐零售企業(yè)

使用 Gemini 分析店面的監(jiān)控錄像，據(jù)之識別客流高峰時段并優(yōu)化店內(nèi)布局，從而提升客戶體驗。他們還計劃將視頻分析與銷售數(shù)據(jù)結(jié)合起來，更好地理解有哪些因素有助于提高服務(wù)效率和滿意度。

一家金融機構(gòu)

需要處理通過數(shù)據(jù)表單提交的身份證件掃描圖像。他們利用 Gemini 的多模態(tài)功能自動快速地處理圖像和文本，一方面對比信息的準確性，一方面幫助客戶更方便地開設(shè)和訪問賬戶。

一家體育公司

使用 Gemini 來分析球員的揮桿動作。將 Gemini 的數(shù)據(jù)洞察力融入其現(xiàn)有應(yīng)用后，他們成功利用 AI 分析結(jié)果增強了揮桿動作分析工具的功能。

一家保險公司

現(xiàn)在可以利用 Gemini 分析行車記錄儀的事故錄像，更好地理解和描述事故場景。這項分析不但可協(xié)助計算風(fēng)險評分，甚至可根據(jù)觀察到的司機行為提供個性化的駕駛建議。

一家廣告和營銷服務(wù)公司

開發(fā)出面向?qū)崟r流媒體的描述和旁白功能，實現(xiàn)了變革性的視頻描述解決方案。這一創(chuàng)新簡化了視頻創(chuàng)作過程，提高了效率，并為個性化內(nèi)容鋪平了道路。

而這些都只是結(jié)合多模態(tài)功能和長上下文窗口的應(yīng)用，Gemini 在處理代碼庫、配圖長文檔、音頻訪談等方面的能力同樣強大。

除了客戶的熱烈反響，行業(yè)分析師的認可也令我們倍感鼓舞。例如，僅在過去兩個月里，不但 Forrester Research 在《The Forrester Wave:AI 語言基礎(chǔ)模型，2024 年第二季度》中將 Google 評為業(yè)界領(lǐng)導(dǎo)者，Gartner 也在《2024 年云 AI 開發(fā)者服務(wù)魔力象限①》和《2024 年數(shù)據(jù)科學(xué)和機器學(xué)習(xí)平臺魔力象限②》中將 Google 評為業(yè)界領(lǐng)導(dǎo)者。

今天，為了加速這一勢頭，我們很高興地公布 Vertex AI 在模型和企業(yè)平臺功能方面的一些重大進展。

下面先從模型說起。

Gemini 1.5 Flash:

領(lǐng)先市場的性價比和低延遲

上個月，我們發(fā)布了Gemini 1.5 Flash的公開預(yù)覽版。現(xiàn)在，這個新模型已正式推出。它兼具低延遲、實惠價格和突破性的 100 萬 token 上下文窗口等多項優(yōu)勢，是各種大規(guī)模應(yīng)用場景的理想選擇。從零售聊天客服到文檔處理，再到合成整個知識庫的研究 agent，它都能靈活滿足客戶所需。

最重要的是，Gemini 1.5 Flash 的強大功能、低延遲和高性價比迅速成為我們客戶的最愛。相較于 GPT 3.5 Turbo 等同類模型，它具備多項顯著優(yōu)勢:

●100 萬 token 的上下文窗口，約為 GPT-3.5 Turbo 的 60 倍

● 在輸入 10,000 字符的情況下，平均速度比 GPT-3.5 Turbo 快40%③

●輸入成本比 GPT-3.5 Turbo 最高可降低 4 倍(對超過 32,000 字符的輸入啟用上下文緩存)

"UberEats 正積極重新構(gòu)想人們獲取日常生活所需的方式，"Uber資深軟件工程師 Narendran Thangarajan 說道，"因此，我們開發(fā)了 Uber Eats AI 助手，讓我們的用戶能夠通過自然語言對話，輕松順暢地探索、發(fā)現(xiàn)和購買我們商品目錄中的各種好物。Gemini 1.5 Flash 讓我們的響應(yīng)時間幾乎減半，而這對整體客戶體驗至關(guān)重要。我們非常期待這一模型在提高效率和客戶滿意度方面的潛能，以及它的多模態(tài)功能和更長上下文窗口帶來的新機會。"

"Gemini 1.5 Flash 讓我們能夠在不犧牲輸出質(zhì)量或上下文窗口的情況下，更輕松地在高流量任務(wù)中大規(guī)模運用生成式 AI，甚至在多模態(tài)應(yīng)用場景中也是如此，"市場調(diào)研公司Ipsos的全球生成式 AI 負責(zé)人 JC Escalante 說道，"Gemini Flash 為更好地管理投資回報率創(chuàng)造了機會。"

"作為一家致力于幫助企業(yè)營銷團隊提高工作效率的 AI 優(yōu)先公司，我們必須利用成本效益出色的優(yōu)質(zhì)多模態(tài)模型，助力客戶快速輕松地創(chuàng)作出精彩內(nèi)容并重新構(gòu)想其現(xiàn)有創(chuàng)意資產(chǎn)，"Jasper.ai的首席戰(zhàn)略官 Suhail Nimji 說道，"借助 Gemini 1.5 Pro 和新的 1.5 Flash，我們將繼續(xù)提升生成式內(nèi)容的質(zhì)量標桿，確保遵循品牌風(fēng)格和營銷準則，同時提高全程效率。"

Gemini 1.5 Pro:

業(yè)界領(lǐng)先的 200 萬 token 上下文窗口

Gemini 1.5 Pro現(xiàn)已正式發(fā)布。它具備業(yè)界領(lǐng)先、最高可達 200 萬個 token 的上下文窗口，能夠解鎖其他模型力不能及的獨特多模態(tài)應(yīng)用場景。

處理僅僅六分鐘的視頻就需要超過 10 萬個 token，而大型代碼庫可能超過 100 萬個 token - 無論應(yīng)用場景是查找海量代碼中的 bug、在大型研究資料庫中搜尋正確的信息，還是分析數(shù)以小時計的音頻或視頻，Gemini 1.5 Pro 的超大上下文窗口都可幫助組織開拓全新領(lǐng)域。

Imagen 3:

更快的圖像生成速度、更強的提示理解能力

Imagen 3 是 Google 最新的圖像生成基礎(chǔ)模型。它在提供卓越圖像質(zhì)量的同時，更在 Imagen 2 基礎(chǔ)上做了多項改進: 生成速度提高 40% 以上，方便用戶快速進行原型設(shè)計和迭代，理解提示和遵循指令的能力更強，能夠生成逼真的人群圖像，并可更精準地控制圖像中的文本渲染。

Imagen 3 現(xiàn)推出預(yù)覽版，供 Vertex AI 客戶搶先體驗。它可理解多種語言，內(nèi)置 Google DeepMind 的 SynthID 數(shù)字水印等安全功能，還支持多種畫面比例。

使用 Google 的最新圖像生成模型 Imagen 3 生成的圖片

"在早期測試中，Imagen 3 模型在質(zhì)量和速度方面都給了我們驚喜，"Typeface的 AI 研究負責(zé)人 Gaurav Sharma 說道。這家初創(chuàng)公司專注于利用生成式 AI 進行企業(yè)內(nèi)容創(chuàng)作。"它在細節(jié)生成和人類生活圖像方面都有顯著改進。作為 Google 基礎(chǔ)模型的早期試用合作伙伴，我們期待在未來發(fā)展道路上進一步探索新的 Imagen 和 Gemini 模型。"

"我們讓用戶能夠利用 AI 的力量，輕松將創(chuàng)意轉(zhuǎn)化為精美的演示文稿、網(wǎng)站和其他可視化文檔。為了進一步提升個性化水平和創(chuàng)造力，同時減少手動操作，我們通過 Imagen 提供高質(zhì)量的文生圖功能，"Gamma的聯(lián)合創(chuàng)始人 Jon Noronha 說道，"我們的用戶已經(jīng)用 Imagen 生成了超過 400 萬張圖片。Imagen 3 能夠讓他們更快地創(chuàng)作圖片、在圖片中加入文本，并安全地、更好地生成包含人物的逼真圖片，這令我們非常期待。"

"自從將 Imagen 加入我們的 AI 圖片生成工具后，我們的用戶已經(jīng)使用這個模型生成了數(shù)百萬張圖片。我們非常期待 Imagen 3 承諾的改進，它能讓我們的用戶更快實現(xiàn)他們的創(chuàng)意，而不必犧牲質(zhì)量。作為 Shutterstock 推出的首款符合道德來源的 AI 圖像生成器的重要增強，我們非常認可的另一點是，它不但內(nèi)置了安全功能，創(chuàng)作成果也享受 Google Cloud 的生成式 AI 賠償保障。"Shutterstock數(shù)據(jù)服務(wù)副總裁 Justin Hiza 說道。

第三方模型和開放模型:

拓寬使用 Vertex AI 時的模型選擇面

在 Google Cloud，我們致力于通過 Vertex AI 上精心挑選的自有模型、開放模型和第三方模型，為客戶提供更多選擇、為創(chuàng)新注入更多動力。因此，我們非常高興地宣布，Anthropic 新發(fā)布的Claude 3.5 Sonnet模型也已登陸 Vertex AI。客戶可以開始使用Google Cloud 上的 Claude 3.5 Sonnet 模型開展實驗或?qū)⑵洳渴鸬缴a(chǎn)環(huán)境。今年夏末，我們還將在 Vertex AI 的 Model Garden 模型庫中新增 Mistral Small、Mistral Large 和 Mistral Codestral 模型，進一步深化與 Mistral 的合作。

秉持立足當(dāng)下滿足客戶需求的理念，今年早些時候，我們基于與 Gemini 模型相同的技術(shù)和研究成果，推出了一系列輕量級、先進的開放式模型 Gemma。今天，我們正式面向全球的研究人員和開發(fā)者發(fā)布Gemma 2。Gemma 2 提供 90 億 (9B) 和 270 億 (27B) 參數(shù)兩種規(guī)格，相較于第一代更加強大高效，并顯著改進了安全性。從下個月開始，客戶將可以在 Vertex AI 上使用 Gemma 2。

費用更低:

Gemini 1.5 Pro 和 Flash 都支持上下文緩存

為幫助客戶高效利用 Gemini 的超大上下文窗口，從今天開始，我們將逐步為 1.5 Pro 和 Flash 模型推出上下文緩存功能的公開預(yù)覽版。隨著上下文長度的增加，為長上下文應(yīng)用生成響應(yīng)變得越來越昂貴且緩慢，提高投產(chǎn)難度。Vertex AI 上下文緩存功能可將常用上下文保存到緩存中，幫助客戶顯著降低輸入成本(減費幅度最高可達 75%)。目前，Google 是市場上唯一一家提供上下文緩存 API 的供應(yīng)商。

可預(yù)測的性能:

為 Gemini 模型預(yù)配吞吐量

從今天起，預(yù)配吞吐量功能正式面向許可名單上的客戶推出。它讓客戶在使用 Gemini 1.5 Flash 等 Google 自有模型時能夠負責(zé)任地擴容，在容量和價格上都獲得保證。這項 Vertex AI 功能為客戶的生產(chǎn)工作負載帶來了可預(yù)測性和可靠性，使他們能夠自信地為生成式 AI 工作負載靈活擴容。

為企業(yè)提供可靠信息:

更多接地選擇，不但支持 Google 搜索，現(xiàn)更支持第三方數(shù)據(jù)

要打造適合企業(yè)的平臺，只有模型還不夠。企業(yè)需要最大限度地提高準確性并顯著減少幻覺，這意味著不但要將模型接地到來自 Web、第一方和第三方的事實信息和數(shù)據(jù)，還要滿足企業(yè)在數(shù)據(jù)治理和數(shù)據(jù)主權(quán)等方面的嚴格標準。

在 Google I/O 大會上，我們宣布正式推出 Vertex AI 的 Google 搜索接地服務(wù)。隨著這項服務(wù)的正式發(fā)布，各類企業(yè)現(xiàn)在都可以利用 Google 搜索接地來增強 Gemini 的輸出，使模型能夠取用最新的優(yōu)質(zhì)信息。客戶可以輕松將增強后的 Gemini 模型集成到他們的 AI agent 中。

"Gemini 1.5 Flash 為未來更好地管理投資回報率創(chuàng)造了機會。通過模型的 Google 搜索接地功能，我們可以利用最新數(shù)據(jù)，更好地提升我們的對話式產(chǎn)品 Ipsos Facto 的結(jié)果相關(guān)性，"Ipsos的 JC Escalante 說道，"在我們不懈改善輸出質(zhì)量和研究人員體驗的道路上，這項功能發(fā)揮著不可或缺的關(guān)鍵作用。"

"Quora 現(xiàn)在在其 Poe 平臺上提供 Google 搜索接地功能，其產(chǎn)品主管 Spencer Chan 說道:"通過 Google 搜索接地意味著我們可以獲得更準確、更新鮮、更可靠的答案。用戶現(xiàn)在能夠更加自信地與 Gemini 聊天機器人互動，他們的積極反饋讓我們非常欣喜。"

我們今天還宣布，從下個季度開始，Vertex AI 將提供一項新服務(wù)，讓客戶能夠使用專業(yè)第三方數(shù)據(jù)來接地他們的 AI agent。這有助于企業(yè)將第三方數(shù)據(jù)集成到他們的生成式 AI agent，解鎖各種獨特應(yīng)用場景，并提高其 AI 產(chǎn)品中的企業(yè)信息準確性。我們正與穆迪、MSCI、湯森路透和Zoominfo等知名供應(yīng)商合作，將他們的數(shù)據(jù)引入這項服務(wù)。

"Google Cloud 的第三方數(shù)據(jù)接地服務(wù)將為畢馬威和我們的客戶開啟全新應(yīng)用場景，"畢馬威全球稅務(wù)與法務(wù)部門首席技術(shù)官 Brad Brown 說道，"通過將行業(yè)領(lǐng)軍供應(yīng)商的專業(yè)第三方數(shù)據(jù)無縫集成到我們的生成式 AI 產(chǎn)品中，我們能夠利用高度可信的數(shù)據(jù)源來減少數(shù)據(jù)分析時間、推動更明智的決策，并最終實現(xiàn)更豐碩的價值。"

更準確的回答:

高保真模式接地

在金融服務(wù)、醫(yī)療保健和保險等數(shù)據(jù)密集型行業(yè)中，生成式 AI 應(yīng)用場景通常要求生成的響應(yīng)只依據(jù)所提供的上下文，而不是模型的寬泛知識。高保真接地功能現(xiàn)發(fā)布實驗預(yù)覽版，可針對性地滿足這類接地場景需求，包括總結(jié)多個文檔、從一組金融數(shù)據(jù)集中提取數(shù)據(jù)或處理給定的一套文檔。高保真模式由一個經(jīng)過專門微調(diào)的 Gemini 1.5 Flash 版本驅(qū)動，它只使用客戶提供的內(nèi)容生成回答，可確保響應(yīng)的高準確性。

保障數(shù)據(jù)主權(quán)的理想選擇:

選擇靜態(tài)數(shù)據(jù)駐留位置，限制機器學(xué)習(xí)處理區(qū)域

很多客戶，尤其是受監(jiān)管行業(yè)的客戶，要求在使用生成式 AI 功能的過程中能夠控制其數(shù)據(jù)的存儲和處理位置。為了滿足這類數(shù)據(jù)主權(quán)要求，我們在 23 個國家/地區(qū)提供靜態(tài)數(shù)據(jù)駐留位置保證 (其中 13 個國家/地區(qū)是 2024 年新增的: 西班牙、意大利、以色列、瑞士、波蘭、芬蘭、巴西、印度、中國臺灣、中國香港、澳大利亞、沙特阿拉伯、卡塔爾)，并在美國和歐盟提供對相關(guān)機器學(xué)習(xí)處理位置的額外保證。我們正在努力將機器學(xué)習(xí)處理保證拓展到另外 8 個國家/地區(qū)，其中 4 個國家/地區(qū)將在 2024 年內(nèi)得到支持。

立即開始使用 Vertex AI

正如我們今天分享的客戶案例所展示的那樣，Vertex AI 可幫助企業(yè)將生成式 AI 的強大能力轉(zhuǎn)化為實實在在的變革性成果。我們期待繼續(xù)為客戶帶來 Gemini 1.5 Flash 和 Google 搜索接地這樣的創(chuàng)新，并努力將 Vertex AI 打造成完美滿足企業(yè)需求的生成式 AI 平臺。