人工智能（ AI ）已經(jīng)將合成語音從單調(diào)的機(jī)器人呼叫和幾十年前的 GPS 導(dǎo)航系統(tǒng)轉(zhuǎn)變?yōu)?a href="http://www.1cnz.cn/v/tag/11230/" target="_blank">智能手機(jī)和智能揚(yáng)聲器中虛擬助理的優(yōu)美音調(diào)。

對(duì)于組織來說，為其特定行業(yè)和領(lǐng)域使用定制的最新語音 AI 技術(shù)從未如此容易。

語音 AI 正被用于 power 虛擬助理 ，擴(kuò)展呼叫中心， 使數(shù)字化身人性化 ， 增強(qiáng) AR 體驗(yàn) ，并通過自動(dòng)化臨床記錄為患者提供無摩擦的醫(yī)療體驗(yàn)。

根據(jù) Gartner Research ，到 2023 年，客戶將傾向于使用語音接口啟動(dòng) 70% 的自助式客戶互動(dòng) （ 2019 年為 40% ）。對(duì)個(gè)性化和自動(dòng)化體驗(yàn)的需求只會(huì)繼續(xù)增長(zhǎng)。

在這篇文章中，我將討論語音 AI ，它是如何工作的，語音識(shí)別技術(shù)的好處，以及語音 AI 用例的示例。

什么是語音人工智能，其好處是什么？

語音 AI 將 AI 用于基于語音的技術(shù)：自動(dòng)語音識(shí)別（ ASR ），也稱為語音對(duì)文本和文本對(duì)語音（ TTS ）。例如，虛擬會(huì)議中的自動(dòng)實(shí)時(shí)字幕顯示，以及向虛擬助理添加基于語音的界面。

Sim i 通常，基于語言的應(yīng)用程序，如聊天機(jī)器人、文本分析和數(shù)字助理，將語音 AI 與自然語言處理（ NLP ）一起作為大型應(yīng)用程序或系統(tǒng)的一部分。有關(guān)更多信息，請(qǐng)參閱 對(duì)話 AI 詞匯表 。

語音 AI 有很多好處：

High availability ：語音 AI 應(yīng)用程序可以在人工代理時(shí)間內(nèi)外響應(yīng)客戶呼叫，使聯(lián)絡(luò)中心能夠更高效地運(yùn)行。

Real-time insights： 實(shí)時(shí)記錄被指定為以客戶為中心的業(yè)務(wù)分析的輸入，如情緒分析、客戶體驗(yàn)分析和欺詐檢測(cè)。

Instant scalability： 在高峰時(shí)，語音 AI 應(yīng)用程序可以自動(dòng)擴(kuò)展，以處理客戶的數(shù)萬個(gè)請(qǐng)求。

Enhanced experiences ：語音人工智能通過減少等待時(shí)間、快速解決客戶查詢并提供可定制語音界面的人性化交互，提高了客戶滿意度。

數(shù)字可訪問性： 從語音到文本再到文本再到語音應(yīng)用，語音 AI 工具正在幫助那些有閱讀和聽力障礙的人從生成的語音和書面文本中學(xué)習(xí)。

誰在使用語音 AI 以及如何使用？

今天，語音 AI 正在徹底改變世界上最大的行業(yè)，如金融、電信和統(tǒng)一通信即服務(wù)（ UCaaS ）。

從深度學(xué)習(xí)、基于語音的技術(shù)起步的公司以及擴(kuò)展現(xiàn)有基于語音的 conversational AI 平臺(tái)的成熟公司都受益于語音 AI 。

以下是語音 AI 提高效率和業(yè)務(wù)成果的一些具體示例。

呼叫中心轉(zhuǎn)錄

全球約有 1000 萬呼叫中心代理 每天接聽 20 億個(gè)電話 。呼叫中心用例包括以下所有內(nèi)容：

趨勢(shì)分析

法規(guī)遵從性

實(shí)時(shí)安全或欺詐分析

實(shí)時(shí)情緒分析

實(shí)時(shí)翻譯

例如，自動(dòng)語音識(shí)別記錄客戶和呼叫中心代理之間的實(shí)時(shí)對(duì)話，以進(jìn)行文本分析，然后用于為代理提供 快速解決客戶查詢 的實(shí)時(shí)建議。

臨床記錄

在醫(yī)療保健領(lǐng)域，語音 AI 應(yīng)用程序改善了患者與醫(yī)療專業(yè)人員和理賠代表的聯(lián)系。 ASR automates note-taking 在患者 – 醫(yī)生對(duì)話和索賠代理信息提取期間。

虛擬助理

每個(gè)行業(yè)都有虛擬助理，可以增強(qiáng)用戶體驗(yàn)。 ASR 用于為虛擬助手轉(zhuǎn)錄音頻查詢。然后，文本到語音

生成虛擬助理的合成語音。除了使交易情境人性化之外，虛擬助理還幫助視力受損者與非盲文文本、語音障礙者以及兒童進(jìn)行互動(dòng)。

語音 AI 是如何工作的？

語音 AI 使用自動(dòng)語音識(shí)別和文本到語音技術(shù)為對(duì)話應(yīng)用程序提供語音接口。典型的語音人工智能管道包括數(shù)據(jù)預(yù)處理階段、神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和后處理。

在本節(jié)中，我將討論 ASR 和 TTS 管道中的這些階段。

圖 3 ：。對(duì)話 AI 應(yīng)用的語音接口

自動(dòng)語音識(shí)別

為了讓機(jī)器能夠聽到并與人類對(duì)話，它們需要一種將聲音轉(zhuǎn)換為代碼的通用媒介。設(shè)備或應(yīng)用程序如何通過聲音“看到”世界？

ASR pipeline 將包含語音的給定原始音頻文件處理并轉(zhuǎn)錄為相應(yīng)的文本，同時(shí)最小化稱為 字錯(cuò)誤率 （ WER ）的度量。

WER 用于測(cè)量和比較不同類型的語音識(shí)別系統(tǒng)和算法的性能。它是由錯(cuò)誤數(shù)除以正在轉(zhuǎn)錄的剪輯中的單詞數(shù)來計(jì)算的。

ASR 管道必須完成一系列任務(wù)，包括特征提取、聲學(xué)建模以及語言建模。

圖 4 ：。 ASR 管道

特征提取任務(wù)涉及將原始模擬音頻信號(hào)轉(zhuǎn)換為頻譜圖，頻譜圖是表示信號(hào)在不同頻率下隨時(shí)間變化的響度的視覺圖表，類似于熱圖。轉(zhuǎn)換過程的一部分涉及傳統(tǒng)的信號(hào)預(yù)處理技術(shù)，如 standardization 和 windowing 。

然后使用 Acoustic modeling 來建模音頻信號(hào)與語言中語音單位之間的關(guān)系。它將音頻片段映射到最可能不同的語音單元和相應(yīng)的字符。

ASR 管道中的最后一項(xiàng)任務(wù)涉及語言建模。 language model 添加了上下文表示并更正了聲學(xué)模型的錯(cuò)誤。換句話說，當(dāng)您擁有聲學(xué)模型中的字符時(shí)，您可以將這些字符轉(zhuǎn)換為單詞序列，這些單詞可以進(jìn)一步處理為短語和句子。

歷史上，這一系列任務(wù)是使用生成方法執(zhí)行的，該方法要求使用語言模型、發(fā)音模型和聲學(xué)模型將發(fā)音轉(zhuǎn)換為音頻波形。然后，可以使用 高斯混合模型 或 隱馬爾可夫模型 來嘗試查找最可能與音頻波形中的聲音匹配的單詞。

這種統(tǒng)計(jì)方法在實(shí)施和部署的時(shí)間和精力上不太準(zhǔn)確，而且更加密集。當(dāng)試圖確保音頻數(shù)據(jù)的每個(gè)時(shí)間步與字符的正確輸出相匹配時(shí)，尤其如此。

然而，端到端的深度學(xué)習(xí)模型，如 連接主義時(shí)間分類 （ CTC ）模型和 注意序列到序列模型 ，可以直接從音頻信號(hào)生成轉(zhuǎn)錄本，并且具有較低的 WER 。

換言之， Jasper 、 QuartzNet 和 Citrinet 等基于深度學(xué)習(xí)的模型使公司能夠創(chuàng)建成本更低、功能更強(qiáng)大、更精確的語音 AI 應(yīng)用程序。

文本到語音

TTS 或 speech synthesis 管道負(fù)責(zé)將文本轉(zhuǎn)換為自然發(fā)音的語音，這種語音是人工生成的，具有類似人類的語調(diào)和清晰的發(fā)音。

圖 5 ：。 TTS 管道

TTS 管道可能必須完成許多不同的任務(wù)，包括文本分析、 linguistic analysis 和波形生成。

在 text analysis 階段，原始文本（帶有符號(hào)、縮寫等）被轉(zhuǎn)換為完整的單詞和句子，擴(kuò)展縮寫，并分析表達(dá)式。輸出被傳遞到語言分析中，以精煉語調(diào)、持續(xù)時(shí)間，并以其他方式理解語法結(jié)構(gòu)。結(jié)果，產(chǎn)生 spectrogram 或 mel 頻譜圖以轉(zhuǎn)換為連續(xù)的類人音頻。

我之前介紹的方法是一個(gè)典型的兩步過程，需要一個(gè)合成網(wǎng)絡(luò)和一個(gè) vocoder 網(wǎng)絡(luò)。這是兩個(gè)獨(dú)立的網(wǎng)絡(luò)，用于從文本生成頻譜圖（使用 Tacotron architecture 或 FastPitch ）和從頻譜圖或其他中間表示（如 WaveGlow 或 HiFiGAN ）生成音頻的后續(xù)目的。

除了兩階段方法外， TTS 管道的另一個(gè)可能實(shí)現(xiàn)涉及使用端到端的深度學(xué)習(xí)模型，該模型使用單個(gè)模型直接從文本生成音頻。神經(jīng)網(wǎng)絡(luò)直接從文本 – 音頻對(duì)中訓(xùn)練，不依賴中間表示。

端到端方法降低了復(fù)雜性，因?yàn)樗鼫p少了網(wǎng)絡(luò)之間的錯(cuò)誤傳播，減少了對(duì)單獨(dú)培訓(xùn)管道的需要，并最大限度地降低了手動(dòng)注釋持續(xù)時(shí)間信息的成本。

傳統(tǒng)的 TTS 方法也傾向于產(chǎn)生更多機(jī)器人和不自然的聲音，影響用戶參與，尤其是面向消費(fèi)者的應(yīng)用程序和服務(wù)。

構(gòu)建語音 AI 系統(tǒng)的挑戰(zhàn)

成功的語音 AI 應(yīng)用程序必須啟用以下功能。

獲取最先進(jìn)的模型

從頭開始創(chuàng)建訓(xùn)練有素、準(zhǔn)確的深度學(xué)習(xí)模型既昂貴又耗時(shí)。

通過在前沿模型發(fā)布后立即提供對(duì)其的訪問，即使是數(shù)據(jù)和資源受限的公司也可以在其產(chǎn)品和服務(wù)中使用高度精確、經(jīng)過預(yù)訓(xùn)練的模型和 transfer learning 。

高精度

要在全球或任何行業(yè)或領(lǐng)域部署，必須對(duì)模型進(jìn)行定制，以適應(yīng)多種語言（世界上 6500 種口語的一小部分）、方言、口音和上下文。一些域使用 特定術(shù)語和技術(shù)術(shù)語 。

實(shí)時(shí)性能

由多個(gè)深度學(xué)習(xí)模型組成的管道必須以毫秒為單位運(yùn)行推斷，以實(shí)現(xiàn)實(shí)時(shí)交互，精確到 300 毫秒，因?yàn)榇蠖鄶?shù)用戶在 100 毫秒左右開始注意到 滯后和通信故障 ，在此之前，對(duì)話或體驗(yàn)開始感覺不自然。

靈活且可擴(kuò)展的部署

公司需要不同的部署模式，甚至可能需要混合使用云、內(nèi)部部署和邊緣部署。成功的系統(tǒng)支持?jǐn)U展到需求波動(dòng)的數(shù)十萬并發(fā)用戶。

數(shù)據(jù)所有權(quán)和隱私

公司應(yīng)該能夠?yàn)槠湫袠I(yè)和領(lǐng)域?qū)嵤┻m當(dāng)?shù)陌踩珜?shí)踐，例如在本地或組織的云中進(jìn)行安全數(shù)據(jù)處理。例如，可能要求遵守 HIPAA 或其他法規(guī)的醫(yī)療保健公司限制數(shù)據(jù)訪問和數(shù)據(jù)處理。

語音 AI 的未來

由于計(jì)算基礎(chǔ)設(shè)施、語音 AI 算法的進(jìn)步，對(duì)遠(yuǎn)程服務(wù)的需求增加，以及現(xiàn)有和新興行業(yè)令人興奮的新用例，基于語音 AI 的產(chǎn)品和服務(wù)現(xiàn)在有了一個(gè)強(qiáng)大的生態(tài)系統(tǒng)和基礎(chǔ)設(shè)施。

當(dāng)前的語音 AI 應(yīng)用程序在推動(dòng)業(yè)務(wù)成果方面功能強(qiáng)大，但下一代語音 AI 應(yīng)用程序必須能夠處理多語言、多領(lǐng)域和多用戶對(duì)話。

能夠成功地將語音 AI 技術(shù)集成到其核心運(yùn)營(yíng)中的組織將具備良好的能力，能夠根據(jù)尚未列出的用例擴(kuò)展其服務(wù)和產(chǎn)品。

關(guān)于作者

MikikoBazeley 是 Mailchimp 的高級(jí) ML 操作和平臺(tái)工程師。她擁有豐富的工程師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師經(jīng)驗(yàn)，為初創(chuàng)公司和高增長(zhǎng)公司利用機(jī)器學(xué)習(xí)和數(shù)據(jù)開發(fā)面向消費(fèi)者和企業(yè)的產(chǎn)品。她積極貢獻(xiàn)有關(guān)開發(fā) ML 產(chǎn)品的最佳實(shí)踐的內(nèi)容，并在數(shù)據(jù)科學(xué)職業(yè)生涯中發(fā)言和指導(dǎo)非傳統(tǒng)候選人。

審核編輯：郭婷