二、絕對延時

1.絕對延時是怎么產(chǎn)生的？有沒有辦法進行測量？

如果說相對延時是將視頻或音頻其一作為參考系，那么絕對延時則是以TAI、UTC、GPS等作為參考系，設(shè)備內(nèi)部進行信號處理以及設(shè)備間或系統(tǒng)間信號傳輸交互都要耗費一定時間，這個時間就是絕對延時。IP信號內(nèi)部處理的延時主要來自于Buffer，幀同步功能開啟需要Buffer，最大延時1幀。在RX端一般也會有Buffer，用來將IP編解碼（根據(jù)信號格式不同，延時一般在幾行到幾十行）、數(shù)據(jù)包封裝、網(wǎng)絡(luò)傳輸、2022-7倒換（ST 2022-7 ClassD 150μs）這些模塊產(chǎn)生的比較小的延時，統(tǒng)一以幀精度校準，方便下游設(shè)備繼續(xù)進行信號處理。概括來說，從A設(shè)備發(fā)流經(jīng)交換機到B設(shè)備，如果A設(shè)備開啟幀同步，那么B設(shè)備的輸出延時為2幀；A設(shè)備未開啟幀同步，B設(shè)備的輸出延時則為1幀。

圖11：公版IP網(wǎng)關(guān)內(nèi)部信號處理流程

一般來講基于FPGA的IP設(shè)備絕對延時較小且穩(wěn)定，比如索尼CAM+CCU （來自成像器1幀），HDCE IP適配器（單獨使用TX1幀，TX-RX Pair模式2幀），IPG（1次SDI-IP-SDI往返轉(zhuǎn)換1幀）、切換臺（直切1行，特技1幀）；另一些軟件服務(wù)器類設(shè)備，比如基于軟件的多畫面分割器、虛擬植入等等，它們的絕對延時相比FPGA類設(shè)備要大一點，并且不固定。

圖12：IP攝像機系統(tǒng)延時示意

設(shè)備信號處理的絕對延時不容易直接測量，比較簡單直接的方式是咨詢廠家。有時為了核實廠家所給信息是否準確，也可以采用下文介紹的相對測試法進行輔助驗證。

●?相對測試法：

相對測試法的核心思路是刻意控制LipSync視音頻信號產(chǎn)生“錯位”，比如想要測量某視頻設(shè)備信號的處理時間，便可將解嵌后的LipSync視頻信號經(jīng)過該設(shè)備，而音頻信號跳過該設(shè)備，由于IPG對于視音頻信號處理時長相等，示波器所讀出的AV Delay實際上便是該設(shè)備視頻信號處理時間。使用此方法時建議規(guī)劃最短鏈路完成測試，以免引入誤差。

比如圖13中：(A1V2) AV Delay=V2-V1=IP MV絕對延時

圖13：相對測試法測量IP MV絕對延時

2. IP系統(tǒng)絕對延時怎么計算？

系統(tǒng)絕對延時=∑各設(shè)備絕對延時+∑交換機轉(zhuǎn)發(fā)時間+∑設(shè)備間信號傳輸時間 ≈∑各設(shè)備絕對延時

通常音頻系統(tǒng)絕對延時都小于視頻系統(tǒng)絕對延時，所以后文討論的系統(tǒng)絕對延時指的都是視頻系統(tǒng)。在IP系統(tǒng)中，交換機數(shù)據(jù)轉(zhuǎn)發(fā)時間（約5μs）以及各設(shè)備間信號傳輸時間通常小到可以忽略。如前文所述，大部分IP設(shè)備自帶幀級別精度的校準，所以將系統(tǒng)鏈路中所經(jīng)過設(shè)備的信號處理時間求和，即可近似為系統(tǒng)整體的絕對延時。圖14為根據(jù)某4K IP轉(zhuǎn)播車系統(tǒng)實際案例所繪制用于示意系統(tǒng)絕對延時的框圖，供參考。

需要注意的一點是，自帶幀精度的設(shè)備要根據(jù)其工作模式來確定一幀等于多少ms，比如工作在4K模式的RX IPG取20ms計算，HD模式RX IPG取40ms計算，搭載MC50選件用于上下變換的IPG經(jīng)實測應(yīng)取40ms計算。

圖14：絕對延時理論計算框圖

由此可見，無論是設(shè)備層面，還是系統(tǒng)層面，IP系統(tǒng)中的絕對延時與基帶系統(tǒng)都是相近的。

3.什么場景需要關(guān)注絕對延時？如何測量絕對延時？

絕對延時是量化監(jiān)看鏈路時常用到的概念，將監(jiān)看鏈路中信號的所有傳輸和處理時間疊加求和后的數(shù)值就是監(jiān)看鏈路整體的絕對延時。通俗講就是現(xiàn)場發(fā)生一個事件，至導(dǎo)播在電視墻上觀看到此事件經(jīng)過了多長時間。不同于相對延時可以優(yōu)化調(diào)整為零，絕對延時無法去除，只能盡量減少。通過圖15可以清晰地對比區(qū)分絕對延時和相對延時。

圖15：絕對延時示意

根據(jù)過往經(jīng)驗，絕大多數(shù)系統(tǒng)監(jiān)看鏈路延時處于主觀可接受范圍內(nèi)，但在個別大型、復(fù)雜系統(tǒng)的特殊應(yīng)用場景下，監(jiān)看絕對延時過大的問題暴露，并引發(fā)一系列連鎖反應(yīng)，在制作過程中對導(dǎo)播、攝像等工作人員產(chǎn)生干擾，進而影響制作體驗與節(jié)目質(zhì)量，后文將以實際案例分析絕對延時過大可能帶來的問題。

監(jiān)看鏈路絕對延時有哪些測量方法呢？比較常用的是圖16所示秒表拍照法。用電腦打開在線秒表，并在電腦前架設(shè)一臺訊道機，對準電腦屏幕拍攝，將拍攝信號調(diào)度至大屏，最后用手機高快門同時拍照大屏和電腦。通過計算電腦秒表及大屏回顯時間的差值即可得到監(jiān)看鏈路近似絕對延時。類似的方法，還可以用放機輸出帶有時碼的畫面至大屏替代秒表。不過以上兩種方法均存有一定誤差，主要源自于秒表自身精度，不論秒表還是時碼，一秒內(nèi)的跳變次數(shù)都是有限的，手機拍攝到的數(shù)值也經(jīng)常會介于變化過程中一個模糊的數(shù)值。所以此方法理論最大誤差會發(fā)生在電腦和電視其中一個剛剛跳變?yōu)樾聰?shù)值，另一個處于即將跳變的狀態(tài)時，即最大誤差為秒表步進分度值乘以2。

圖16：利用在線秒表對比三種不同HDMI轉(zhuǎn)換盒轉(zhuǎn)換速度

還可以引申前文介紹的相對測試法來測量監(jiān)看鏈路的絕對延時，如圖17所示，將LipSync測試信號解嵌，視頻信號經(jīng)監(jiān)看鏈路送至大屏，用攝像機拍攝大屏并將本機信號輸出至示波器；音頻信號完成解嵌后直接送至示波器，示波器讀出的數(shù)值即為監(jiān)看鏈路的延時。

圖17：LipSync測試監(jiān)看鏈路絕對延時

此外，拍攝大屏LipSync信號的方法理論上也可用于測量監(jiān)看、監(jiān)聽的相對延時，這時需要用機頭MIC拾監(jiān)聽音箱聲音給到示波器，見圖18。但拍攝大屏LipSync信號在實測過程中，發(fā)現(xiàn)需要反復(fù)調(diào)整攝像機畫面構(gòu)圖，直至示波器能夠正確識別信號，需要相當耐心。

圖18：LipSync測試監(jiān)看、監(jiān)聽鏈路相對延時

（上述兩種測試方法可能存在一定誤差，僅供參考）

圖19：靈活使用LipSync測試信號實例

4.實際案例剖析

近期交付的4K IP轉(zhuǎn)播車系統(tǒng)，越來越多的導(dǎo)演區(qū)電視墻設(shè)計方案采用以商顯或高端電視機為主，輔以專業(yè)級監(jiān)視器的拼接方案，屏幕尺寸通常為55英寸，數(shù)量則根據(jù)車體布局設(shè)計確定。

圖20所示是比較典型的“5+1”案例。由設(shè)備布局圖可見，該系統(tǒng)第一導(dǎo)演區(qū)共有6塊大屏，其中采用5臺電視機顯示分割畫面，為導(dǎo)播提供信號源監(jiān)看；1臺索尼PVM-X550專業(yè)監(jiān)視器進行全屏顯示，用以精準呈現(xiàn)系統(tǒng)4K末級HDR畫面的最終效果。

圖20：“5+1”導(dǎo)演區(qū)電視墻拼接方案

但是此轉(zhuǎn)播車系統(tǒng)在制作大型綜藝節(jié)目中發(fā)現(xiàn)了以下問題：經(jīng)過音頻主管與導(dǎo)播主觀判斷，需要在導(dǎo)演區(qū)監(jiān)聽延時器加300ms的延時，電視監(jiān)看與音箱監(jiān)聽間相對定時才不至于察覺出明顯不同步。

一個比較特殊的情況是，由于導(dǎo)播需要通過節(jié)目音樂來找準切換節(jié)奏，進行機位調(diào)度，加之個人工作習(xí)慣，無論單耳耳麥還是雙耳耳麥佩戴都不是很適應(yīng)。如果采用通話面板的鵝頸話筒又會將導(dǎo)演區(qū)大音量監(jiān)聽反饋回通話系統(tǒng)，送回機位通話耳機中，與現(xiàn)場擴聲疊加后產(chǎn)生聲學(xué)效應(yīng)對攝像師工作產(chǎn)生干擾，導(dǎo)致攝像無法聽清楚導(dǎo)播指令，影響了節(jié)目制作效率。

現(xiàn)場為了能夠以最快速度解決此問題，優(yōu)先考慮治標，從通話系統(tǒng)入手，降低通話面板拾取到導(dǎo)演區(qū)監(jiān)聽的音量。經(jīng)過咨詢通話廠家，與通話面板適配的鵝頸話筒基本都是心形指向或全向電容麥。考慮如果采用強指向話筒替代鵝頸話筒可能會讓導(dǎo)播聲音更加突出，于是在桌面上臨時固定了一個強指向話筒，正對導(dǎo)播，通過模擬轉(zhuǎn)IP網(wǎng)關(guān)接入IP通話系統(tǒng)中。實測在攝像機端聽導(dǎo)播講話有一定改善，可以勉強聽清指令。但是這種解決方法效果還不夠理想，只能作為臨時應(yīng)對方案。

圖21：在導(dǎo)演臺面架設(shè)強指向話筒作為臨時改善方案

因為300ms的監(jiān)看監(jiān)聽相對延時遠超出了經(jīng)驗值，側(cè)面說明監(jiān)看鏈路整體絕對延時一定也是過大的。于是利用節(jié)目彩排間隙，繼續(xù)尋找視頻鏈路中帶來較大延時的環(huán)節(jié)或設(shè)備，判斷能否針對性進行優(yōu)化，改善監(jiān)看絕對延時量，目標將監(jiān)看絕對延時減小至200ms以內(nèi)。為此首先要找出監(jiān)看鏈路中絕對延時最大的節(jié)點，并盡可能減少其延時量。

首先被懷疑的是IP MV，因為在設(shè)備IP化早期階段，基于軟件的IP MV產(chǎn)品延時就非常大，雖然后來被基于FPGA的IP MV取代，但未經(jīng)測試尚不清楚本系統(tǒng)內(nèi)配置的新型產(chǎn)品延時究竟有多大。

圖22：利用相對延時法測量IP MV信號處理時間

采用相對測試法對本系統(tǒng)中IP MV進行測量，結(jié)果為40ms，屬于中規(guī)中矩的范圍，看來不是監(jiān)看鏈路總體延時過大的主要原因。之后又用秒表拍照法測試了第二懷疑對象IP-HDMI轉(zhuǎn)換盒，結(jié)果在40ms內(nèi)（無法精確測量）。既然IP MV以及IP-HDMI轉(zhuǎn)換盒延時都不至于產(chǎn)生太大影響，鏈路中其他設(shè)備CCU、切換臺、IPG信號處理時長又是已知很小且固定的，那么鏈路中可懷疑對象只剩下顯示設(shè)備了。

顯示終端總輸入延時=圖像傳輸?shù)斤@示終端的時間+顯示終端對圖像進行解析處理的時間+屏幕顯示圖像的時間。高質(zhì)量的專業(yè)監(jiān)視器是基于FPGA，延時小于一幀；其它顯示終端會有不同情況，既有延時低的情況，也有延時大的情況，例如為了給觀者帶來更艷麗流暢的畫面體驗，會由圖像處理芯片對畫面進行增強和補償，對畫面解析處理會引入一定量的延時。高端顯示終端提供了延時優(yōu)化方法——將圖像模式改為游戲模式可有效降低HDMI輸入延時。實測多臺不同型號電視的游戲模式，相比標準模式可以降低約120-200ms延時。

圖23：利用服務(wù)器帶時碼監(jiān)看對比游戲模式和標準模式

該系統(tǒng)把大屏調(diào)整為游戲模式后，經(jīng)過重新校對，監(jiān)聽延時器由原先的300ms可以調(diào)整至140ms左右，監(jiān)看鏈路絕對延時過大的問題得到改善，但導(dǎo)播不戴通話耳麥且監(jiān)聽音量非常大的極端應(yīng)用場景中，機位通話還是會存留一定瑕疵。需要留心的一點是，更改商顯或電視的圖像模式后，不要忘記對其重新校色。

5.遠程制作、分布式制作延時

雖然在孤島系統(tǒng)內(nèi)，絕對延時受關(guān)注程度不如相對延時，但在由多套子系統(tǒng)組成的遠程制作系統(tǒng)中，絕對延時需要被重視起來。比如大型賽會期間，轉(zhuǎn)播車系統(tǒng)需回傳信號至MCR，此時轉(zhuǎn)播車系統(tǒng)、MCR系統(tǒng)以及兩者之間的信號傳輸都可以視作一個獨立延時環(huán)節(jié)，其中任一環(huán)節(jié)絕對延時過大都可能會影響到遠程制作的質(zhì)量，所以此時測量系統(tǒng)絕對延時是十分有必要的。

不同于系統(tǒng)內(nèi)部各設(shè)備之間的信號傳輸延時小到可以忽視，多地間比如基于LAN/WAN的遠程制作、分布式制作或者是5G回傳時，信號壓縮編解碼以及傳輸延時無法忽略。為了確保信號質(zhì)量，規(guī)避制作風(fēng)險，該如何對信號傳輸延時進行精確測量呢？

其中難點就在于多地間如何采取一致的時間參考源作為共同的測量基準。國外一家公司提供了基于PTP或NTP網(wǎng)絡(luò)時間協(xié)議的完整測量方案：現(xiàn)場端用IOS手機下載App，攝像機對準手機拍攝，在系統(tǒng)內(nèi)部署的信號分析儀即可以毫秒級精度測量出相對延時、絕對延時，還可以校準多機位一致性。在異地遠程制作環(huán)境中，通過在關(guān)鍵節(jié)點部署多臺信號發(fā)生儀和分析儀，可以實現(xiàn)分段測量，比如圖24案例，方案中將遠程制作劃分為4個段，為了便于理解，筆者進行了標注——藍色箭頭代表信號發(fā)生儀發(fā)出測試信號，紫色箭頭代表信號分析儀接收測試信號，相同數(shù)字為一組，測量的是所標數(shù)字相同段的絕對延時。

值得一提的是，此產(chǎn)品在大型活動中有所應(yīng)用，一些轉(zhuǎn)播車上也有它的身影，但是經(jīng)了解其售價也相對昂貴。

圖24：遠程制作延時示意

總結(jié)

IP系統(tǒng)在相對延時和絕對延時兩方面表現(xiàn)與傳統(tǒng)基帶系統(tǒng)十分接近，沒有超出我們的期待，也沒有表現(xiàn)出過大延時。由于各系統(tǒng)設(shè)計不盡相同，很難概括出簡單的公式或是經(jīng)驗法則，典型值只能用作參考。長話短說，在一套精心設(shè)計的IP系統(tǒng)中，不應(yīng)與基帶系統(tǒng)在延時方面有太大的差異。

編輯：黃飛