色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

淘寶直播窄帶高清技術,音視頻技術趨勢探討

LiveVideoStack ? 來源:LiveVideoStack ? 2020-09-08 14:20 ? 次閱讀

本文來自阿里巴巴淘系技術部 高級算法專家王立波在LiveVideoStackCon 2020線上峰會的分享,從直播背景、直播痛點分析、窄帶高清、云視頻技術趨勢幾方面詳細介紹了如何在確保用戶體驗QOS不變的前提下,實現淘寶直播的技術架構升級和成本大幅縮減。

本次分享內容主要分為五個部分,首先是全民直播大時代的背景介紹,第二是直播痛點分析,第三是淘寶直播窄帶高清技術,第四是音視頻技術趨勢探討,最后是在線互動。 1 背景-全民直播大時代

在疫情的影響下,直播從傳統的秀場應用逐漸滲透到行業的各個領域。包括在線課堂,旅游,政企,房車銷售等等,可以說是全民直播時代已經到來。

在這樣的一個大背景下,過去一年淘寶直播得以快速發展。2019年,淘寶直播擁有了4億+的年度用戶規模,有100萬+年度主播入駐,2000億+年度直播成交以及4000萬+直播商品。春節期間,釘釘在線課堂更是有350萬+的教師主播,為1.2億+中小學生提供了在線課程服務。 2 直播痛點分析

在這么大的一個業務體量下,我們將會面對非常多的難點與挑戰。總的來說,包含以下三個部分,首先是成本,包括帶寬、存儲和轉碼三個方面。其次是用戶體驗,例如畫質,音質,秒開、卡頓和延時。最后是效率方面,例如開播的效率、審核的效率和理解分發的效率。接下來我們就來看一下淘寶在成本和體驗優化方面做了哪些工作。 3 淘寶直播窄帶高清技術 3.1 淘寶直播窄帶高清

淘寶直播有三大核心技術,第一大核心技術是端上窄帶高清。我們采用HEVC編碼實現了720p,25fps,800kbps的壓縮,并且PSNR> 43db/VMAF>90。端上窄帶高清技術主要應用有三個方面:第一是音視頻增強,采用基于AI的圖像增強、美顏和語音增強來提高生產質量。第二是感知處理,采用信源信道聯合自適應編碼。第三是S265編碼器,S265編碼器是業界領先的HEVC編碼器。 第二大核心技術是零轉碼系統,我們實現了端到端原始流生產的和播放,成功的解決了兩個核心的痛點問題:不同網絡速度的兼容和不同播放設備的兼容,后者主要通過高性能解碼器實現iOSAndroid和H5三端的100%解碼。 第三大核心技術是低延時技術,我們實現了端到端秒級延時。主要依靠兩個技術,一個是基于RTC的實時直播系統,第二個是S265低延時編碼技術。 3.2 淘寶直播系統架構

如圖所示淘寶直播的系統架構,從生產側來看,有采集、增強、感知處理、S265編碼四個環節。云端我們有邊緣的接入,有中心接入、切片錄制和CDN分發以及邊緣分發。在播放端有擁塞控制、解碼、渲染和顯示。除此之外,在云端還有內容審核,質量監控,內容理解和智能分發。 3.3 端上窄帶高清

生產側的第一個環節是圖像增強,為了提升主觀質量,我們引入了圖像增強技術,對編碼前的視頻做去噪、去抖、紋理增強以及美顏、美型的功能。除此以外,在后處理部分,我們還引入了適時超分和HDR技術來提高觀看質量。在美顏、美型以及圖像處理等方面,我們引入了GPU的技術,包括內存帶寬優化、shader優化、Pipeline優化等等以減少GPU的開銷。

針對音質的優化,我們采用了智能降噪技術。無論是在STO還是PESQ的指標上都顯著高于傳統WebRTC算法,在性能和包大小方面也都可以實現普通設備的覆蓋。下面播放的三段音頻,分別是原始音頻、RTC降噪和阿里降噪音頻。原始音頻我們可以明顯聽到馬路上車呼嘯而過的聲音非常強烈。RTC降噪音頻中降噪產生了一定的效果,但是汽車飛馳而過的呼嘯聲還是非常明顯。而在阿里降噪音頻中,我們可以聽到汽車呼嘯而過的聲音已經基本消失。

生產的第二個環節是感知處理。我們采用信源信道聯合自適應編碼技術。感知處理分為5個方面,首先是ROI區域的感知,我們基于PixelAI人臉檢測加商品檢測,對ROI區域進行提取和重點編碼。第二是場景的感知,不同的場景適合不同的編碼參數,我們通過對場景進行分類,對于不同的場景賦予不同的編碼參數來提高壓縮質量。第三個是智能碼控CARC,我們采用機器學習的碼率控制,對簡單場景賦予較低的碼率,對復雜的場景賦予較高的碼率來實現對帶寬的節省。第四個是網絡帶寬的感知,在網絡比較好的時候,我們會采用比較高的碼率來實現畫質的提升,在網絡不太好的時候,會降低碼率,避免發生帶寬擁塞,由于cdn采用峰值收費,峰谷時間段還可以采用不同碼率策略。最后是設備算力的感知,不同的設備擁有不同的算力,我們可以實時檢測設備的算力情況及時調整編碼的檔次,以此來實現對算力和質量的平衡。

生產的第三個環節是編碼,這又要講到我們核心的S265編碼器,得益于S265編碼器的編碼壓縮技術,我們實現了淘寶直播的720p、800kbs、25fps編碼,相比于業界常見的720p 1600kbps 節省了50%的帶寬。釘釘的在線課堂我們更是把碼率壓縮到了200kbs,并實現了43db以上的質量。S265是淘寶和阿里云共同發起的HEVC編碼器,目前已經實現集團內部的開源,并落地在點播、直播會議等各個場景中。相比起業界優秀的HEVC編碼器,S265在PSNR指標上有比較大的優勢。首先在編碼工具提升方面,我們做了大量工作,實現了HierarchyB、GPB、Bi-Search、Longterm、RDOQ、AdaptGOP等編碼工具,并且對這些工具進行了大量的算法和速度優化。我們還設計了50多種快速算法,比如說Deblock的優化,編碼速度對比X265有1倍以上的提速。在工程上的優化,我們做了浮點轉定點、位寬的縮減、SIMD的優化、冗余去除、訪存效率提升及循環展開等等來提升我們的編碼速度。在框架方面,我們還做了線程調度優化等等。在碼率控制方面,我們對幀級別碼控和塊級別碼控分別進行了優化,并且對2pass編碼進行了原創性的優化來提高2pass編碼的質量。在塊級別碼控中,我們設計了新的CUTree和AQ算法。

下面來看一下S265的幾個典型優化,首先是CU劃分決策,我們把CU劃分決策模塊分成兩個步驟,一是紋理強度決策,通過計算CU的紋理梯度來判別平坦塊和復雜塊,如果是平坦塊就直接退出,如果是復雜塊就繼續向下劃分。第一步可以解決大部分塊劃分的決策問題,但是對于模棱兩可的塊,則需要依靠CNN模型來輔助劃分。我們使用了一個5層網絡的小模型把決策的準確度從72%提升到了96%;這個成果我們跟清華大學劉老師合作發表了一篇論文,在DCC會議上展示。

第二個方面的優化是運動搜索方面的優化。運動搜索是從參考幀尋找最佳匹配塊的過程,包含整像素搜索和分像素搜索,分像素需要做7抽頭或8抽頭插值濾波,計算量大;整像素搜索已經有比較多的快速算法,比如菱形搜索、六邊形搜索及分層搜索,但分像素搜索一直沒有什么好的方法。比如在圖中矩形的整像素周圍,分布著60個分像素點,如果要對分像素點進行全部搜索的話,需要60次,經過優化之后一般需要搜4個、8個或16個點,但搜索次數還是比較多的。我們采用一個二元二次誤差平面方程,用9個整像素點的預測誤差來求解方程的5個系數,再對方程求偏導,可得到最佳分像素點的位置。只需對這個最佳分像素點計算1個1/4差值,就可以完成我們的搜索過程。這個技術在編碼器的整個提速有12%,但bd-PSNR只有-0.016db。這些成果在VCIP 2016上可以看到。

第三個是我們的碼率控制。ABR是較適合直播的一種碼率控制方法。但HM中基于

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 直播
    +關注

    關注

    1

    文章

    248

    瀏覽量

    21408
  • 窄帶
    +關注

    關注

    0

    文章

    16

    瀏覽量

    12778
  • 高清技術
    +關注

    關注

    1

    文章

    16

    瀏覽量

    14613

原文標題:淘寶直播窄帶高清技術

文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    AMS-WE100P無線延長器:讓高清音視頻傳輸無界限

    在追求高效與便捷的今天,高清音視頻的無縫傳輸已成為我們日常生活和工作中不可或缺的一部分。深圳市程達科技有限公司憑借其創新技術和深厚底蘊,推出了AMS-WE100P無線延長器,這款設備以其卓越的性能和廣泛的應用場景,正逐步成為高清音視頻
    的頭像 發表于 11-28 10:07 ?129次閱讀

    AMS-HE120系列:4K HDMI音視頻單網線延長器,引領傳輸技術新潮流

    ? ? 隨著科技的迅猛發展和人們生活品質的不斷提升,高清音視頻傳輸技術已經成為現代生活和工作中不可或缺的重要組成部分。在教育、商業、安防、家庭影院等多個領域,高清、穩定、便捷的音視頻
    的頭像 發表于 11-27 10:11 ?124次閱讀
    AMS-HE120系列:4K HDMI<b class='flag-5'>音視頻</b>單網線延長器,引領傳輸<b class='flag-5'>技術</b>新潮流

    AMS-HE200:HDMI音視頻網絡延長器,開啟傳輸新時代

    在數字化時代,高清音視頻傳輸已經成為各行各業不可或缺的重要技術。無論是安防監控、視頻會議,還是戶外廣告、家庭影院,高清音視頻信號的無縫傳輸都扮演著至關重要的角色。深圳市程達科技有限公司
    的頭像 發表于 11-27 10:04 ?127次閱讀
    AMS-HE200:HDMI<b class='flag-5'>音視頻</b>網絡延長器,開啟傳輸新時代

    Amoonsky創新音視頻連接技術:全新推出AMS-HE200 HDMI網線延長器

    簡介: 在不斷向高清多媒體體驗邁進的世界中,強大的音視頻連接需求變得前所未有的重要。AMS-HE200,Amoonsky開創性的HDMI網線延長器,成為重新定義音視頻網絡格局的解決方案。這款創新
    的頭像 發表于 10-24 16:09 ?199次閱讀
    Amoonsky創新<b class='flag-5'>音視頻</b>連接<b class='flag-5'>技術</b>:全新推出AMS-HE200 HDMI網線延長器

    盤點那些常見音視頻接口

    我們熟知的一些常見音視頻接口,發展至今在日常使用中已經漸漸少了。但是在工業領域的音視頻連接,依然能看到其身影。這些看似消失的接口,它們現在發展成什么樣子了?本期我們將做一個大盤點。
    的頭像 發表于 09-09 14:34 ?526次閱讀

    常見音視頻接口的靜電浪涌防護和濾波方案

    音視頻接口在現代多媒體設備中扮演著至關重要的角色,它們確保了音視頻信號在不同設備間的順暢傳輸,各種類型的音視頻接口滿足了多樣化的應用場景需求。 在音視頻接口的設計領域,靜電浪涌防護與濾
    的頭像 發表于 06-25 11:28 ?659次閱讀

    音視頻產品EMC整改案例解析

    音視頻產品EMCRE整改案例解析
    的頭像 發表于 05-20 16:49 ?415次閱讀
    <b class='flag-5'>音視頻</b>產品EMC整改案例解析

    高清HDMI轉USB 3.0音視頻多功能音采集卡-測評

    LCC380的設計理念在于全面考慮到各種用戶場景下的需求。為了實現高品質的音視頻采集效果,卡體搭載了業界領先的音頻處理器解決方案。無論您是熱衷于游戲直播視頻會議還是其他音視頻應用,都
    的頭像 發表于 05-14 17:45 ?867次閱讀
    <b class='flag-5'>高清</b>HDMI轉USB 3.0<b class='flag-5'>音視頻</b>多功能音采集卡-測評

    【RTC程序設計:實時音視頻權威指南】音視頻的編解碼壓縮技術

    音視頻所載有的信息在通過傳輸的時候就需要壓縮編碼。 其中,文本壓縮是指通過使用各種算法和技術,將文本數據表示為更緊湊的形式,以減少存儲空間。 霍夫曼編碼是一種無損壓縮算法,它可以根據字符出現
    發表于 04-28 21:04

    音視頻SoC與AI技術融合,帶來更智能的音視頻處理解決方案

    ,如WiFi路由器和物聯網設備。在安防、智能音頻等領域,對SoC芯片的算力要求相比智能手機、服務器等略低。 ? 人工智能技術音視頻SoC 的融合??????????????????????????????????????? ? 隨著人工智能
    的頭像 發表于 04-26 01:20 ?4385次閱讀

    【RTC程序設計:實時音視頻權威指南】音頻采集與預處理

    閑暇之余,繼續學習【RTC程序設計:實時音視頻權威指南】這本書。 書中對于音頻采集的介紹非常詳細和全面,包括原理、方法、技術細節以及實踐應用等方面的內容。 音頻采集是實時音視頻通信中的關鍵步驟之一
    發表于 04-25 10:41

    【RTC程序設計:實時音視頻權威指南】新書一瞥

    本人從事音視頻領域的開發,經常接觸實時音視頻處理相關的技術,看到這本書非常有興趣閱讀,這本書全面介紹實時音視頻(RTC)技術的權威著作,該書
    發表于 04-22 09:09

    音視頻解碼生成:打造你的專屬高清影院體驗

    在數字化時代,人們對觀影體驗的要求越來越高。音視頻解碼生成技術,作為現代多媒體播放的核心,正是為了滿足這種需求而不斷發展和完善的。通過這項技術,我們可以輕松打造屬于自己的高清影院體驗。
    的頭像 發表于 02-25 14:47 ?401次閱讀

    音視頻解碼生成:打造極致觀影體驗的關鍵技術

    在現代多媒體時代,音視頻解碼生成技術已成為提供極致觀影體驗的核心要素。它不僅能夠確保音視頻數據的高效傳輸,還能保證播放的流暢性和畫質清晰度,為用戶帶來身臨其境的觀影享受。 1. 解碼生成的重要性
    的頭像 發表于 02-25 14:43 ?467次閱讀

    如何用USB-C端口實現快充及高清音視頻傳輸?

    求助,用USB-C端口實現快充及高清音視頻傳輸
    發表于 01-24 06:52
    主站蜘蛛池模板: 在线视频中文字幕| 大香伊蕉在人线国产最新| 大桥未久电影在线观看| 国产亚洲精品免费视频| 开心片色99xxxx| 少妇精品无码一区二区三区| 亚洲日韩视频免费观看| 99热.com| 国产亚洲精品字幕在线观看| 男女牲交全过程免费播放| 小黄文纯肉短篇| A级超碰视频在线观看| 国产色精品VR一区二区| 免费在线视频成人| 亚洲高清国产品国语在线观看| 67194免费入口| 国产免费不卡| 欧美色图一区二区三区| 亚洲视频中文字幕在线观看| 被爽到叫呻呤视频免费视频| 精品亚洲大全| 天天躁夜夜踩很很踩2022 | 96.8在线收听| 国产又黄又粗又爽又色的视频软件| 暖暖视频中国在线观看免费韩国 | 国产对白精品刺激一区二区| 快播免费电影| 胸大的姑娘中文字幕视频| adc影院在线| 久久国产精品免费A片蜜芽| 无人区日本电影在线观看| jizz69女士第一次| 久久婷婷五月综合色丁香花| 校园男男高h小黄文| jizz丝袜| 久久人妻无码毛片A片麻豆| 熟女强奷系列中文字幕| 中文字幕在线不卡精品视频99| 国产成年人在线观看| 免费网站在线观看国产v片| 性按摩AAAAAAA片|