計算機視覺與語音處理的交叉增強
跟大家分享一篇非常有意思也很有用的文章，是WACV 2021的錄用論文Visual Speech Enhancement Without A Real Visual Stream。該文研究涉及計算機視覺與語音處理的交叉。
論文信息：
作者來自：印度 IIIT Hyderabad 和英國巴斯大學。
語音增強是語音處理的經典研究內容，以往的語音增強往往只將語音作為輸入信號，這在現實世界的嘈雜環境中往往效果不佳。
近年來一種視覺輔助的語音增強技術取得了突破，通過跟蹤視頻中人物口型，可以較好的輔助過濾環境噪聲。但其需要人物正臉在視頻中，使用場景較為狹窄，畢竟大多數場景下，沒有人物正臉，甚至沒有視覺信息輔助。
該文學者指出，實際上根據語音進行唇語合成已經是一個較為成熟的技術，在現有框架下，可以直接使用語音信號本身合成人物口型的視頻，進而輔助語音增強。
以下視頻展示了最終語音增強的效果：
該文在多個數據集上取得了SOTA的結果，并且該技術可以用于任何語言的語音增強，但由于其中含有視覺生成部分，估計相比傳統算法時間開銷較大。作者已經開源了代碼，感興趣的朋友可以試一下。
原文標題：無中生有！沒有視覺信號的視覺語音增強
文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。
責任編輯：haq
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
計算機
+關注
關注
19文章
7518瀏覽量
88192 -
機器視覺
+關注
關注
162文章
4388瀏覽量
120434
原文標題：無中生有！沒有視覺信號的視覺語音增強
文章出處：【微信號：vision263com，微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
計算機視覺有哪些優缺點
計算機視覺作為人工智能領域的一個重要分支，旨在使計算機能夠像人類一樣理解和解釋圖像和視頻中的信息。這一技術的發展不僅推動了多個行業的變革，也帶來了諸多優勢，但同時也伴隨著一些挑戰和局限性。以下是對
計算機視覺的五大技術
計算機視覺作為深度學習領域最熱門的研究方向之一，其技術涵蓋了多個方面，為人工智能的發展開拓了廣闊的道路。以下是對計算機視覺五大技術的詳細解析，包括圖像分類、對象檢測、目標跟蹤、語義分割
計算機視覺的工作原理和應用
計算機視覺（Computer Vision，簡稱CV）是一門跨學科的研究領域，它利用計算機和數學算法來模擬人類視覺系統對圖像和視頻進行識別、理解、分析和
計算機視覺與人工智能的關系是什么
引言 計算機視覺是一門研究如何使計算機能夠理解和解釋視覺信息的學科。它涉及到圖像處理、模式識別、機器學習等多個領域的知識。人工智能則是研究如
計算機視覺與智能感知是干嘛的
引言 計算機視覺（Computer Vision）是一門研究如何使計算機能夠理解和解釋視覺信息的學科。它涉及到圖像處理、模式識別、機器學習等
計算機視覺和圖像處理的區別和聯系
數據的過程。計算機視覺的目標是使計算機能夠像人類一樣“看到”和理解圖像或視頻內容。 1.2 圖像處理 圖像處理，也稱為數字圖像
深度學習在計算機視覺領域的應用
深度學習技術的引入，極大地推動了計算機視覺領域的發展，使其能夠處理更加復雜和多樣化的視覺任務。本文將詳細介紹深度學習在計算機
機器視覺與計算機視覺的區別
在人工智能和自動化技術的快速發展中，機器視覺（Machine Vision, MV）和計算機視覺（Computer Vision, CV）作為兩個重要的分支領域，都扮演著至關重要的角色。盡管它們在
計算機視覺的主要研究方向
計算機視覺（Computer Vision, CV）作為人工智能領域的一個重要分支，致力于使計算機能夠像人眼一樣理解和解釋圖像和視頻中的信息。隨著深度學習、大數據等技術的快速發展，計算機
計算機視覺的十大算法
隨著科技的不斷發展，計算機視覺領域也取得了長足的進步。本文將介紹計算機視覺領域的十大算法，包括它們的基本原理、應用場景和優缺點。這些算法在圖像處理
計算機視覺與圖像處理、模式識別、機器學習學科之間的關系
計算機視覺(computer vision):用計算機來模擬人的視覺機理獲取和處理信息的能力。就是指用攝影機和電腦代替人眼對目標進行識別、跟
工商網監
評論