2018年05月15日，為大規(guī)模處理數(shù)據(jù)帶來新方法和編解碼器是媒體與娛樂行業(yè)首要任務(wù)，尤其是對(duì)VR和HDR而言。隨著MPEG開始接替HEVC，我們需要為流式傳輸沉浸式媒體開發(fā)出超高效的壓縮技術(shù)。

　　隨著超高速5G移動(dòng)網(wǎng)絡(luò)的即將面世，視頻的絕對(duì)數(shù)量和復(fù)雜程度將越來越高，如果要隨時(shí)隨地支持實(shí)時(shí)VR流式傳輸和其他超高分辨率低延遲媒體應(yīng)用，實(shí)現(xiàn)高效的數(shù)據(jù)處理將十分關(guān)鍵。

　　可以說，諸如MPEG這樣的標(biāo)準(zhǔn)組織一直都十分繁忙。這家已有30年歷史的機(jī)構(gòu)自成立以來每年平均起草和發(fā)布六項(xiàng)標(biāo)準(zhǔn)。

　　愛立信媒體解決方案(Ericsson Media Solutions)的首席技術(shù)專家Tony Jones表示：“壓縮效率是提供新服務(wù)或更好服務(wù)的主要工具之一，可將分發(fā)成本降至最低，或?qū)�兩者結(jié)合起來。”

　　所以，開發(fā)能夠處理大規(guī)模數(shù)據(jù)的工具變得非常緊迫，而其中最主要的任務(wù)之一是制定當(dāng)前視頻流標(biāo)準(zhǔn)HEVC的“繼任者”。由MPEG和ITU-T Study Group 16旗下VCEG組成的聯(lián)合視頻專家團(tuán)隊(duì)(JVET)已經(jīng)開始著手制定效率高出50%以上的多功能視頻編碼(Versatile Video Coding ，VVC)。

　　MPEG的發(fā)言人Christian Timmerer指出：“VVC的目標(biāo)是提供比現(xiàn)有HEVC標(biāo)準(zhǔn)更高的壓縮性能，并在2020年完成。”

　　同時(shí)是奧地利克拉根福特大學(xué)副教授，以及編解碼器供應(yīng)商Bitmovin研究主管的Timmerer補(bǔ)充道：“主要的目標(biāo)應(yīng)用和服務(wù)包括但不限于360度和高動(dòng)態(tài)范圍(HDR)視頻。 ”

　　MPEG指出，VVC的初步方案在超高清視頻測(cè)試材料上表現(xiàn)出“特別有效”。他們預(yù)測(cè)最終標(biāo)準(zhǔn)的壓縮效率將“遠(yuǎn)遠(yuǎn)超過目標(biāo)的50%”。

　　因此，VVC將加入一個(gè)日益擁擠的OTT流媒體市場(chǎng)，其中包括當(dāng)前最常用的編解碼器AVC，VP9和HEVC，以及新成員AV1。

　　剛剛發(fā)布了上述編解碼器比較測(cè)試結(jié)果的Bitmovin認(rèn)為，多個(gè)編解碼器標(biāo)準(zhǔn)可以同時(shí)存在。事實(shí)上，他們表示如果要支持各種設(shè)備和平臺(tái)，這是“最必要的”元素，并且補(bǔ)充說，“多視頻編解碼器的支持已通過VVC的面世得到證實(shí)。”

　　VVC的一個(gè)重要方面是編碼更專注于360度框架的特定區(qū)域，亦即大多數(shù)用戶關(guān)注的主場(chǎng)景。Timmerer說道：“VVC仍處于起步階段，但我們可能會(huì)在IBC中看到各公司發(fā)布與這個(gè)方向相關(guān)的公告。”

　　1. JPEG XS

　　MPEG通常用于終端用戶的存儲(chǔ)，傳輸和消費(fèi)，而JPEG則主要集中于靜態(tài)圖像，但它剛剛為視頻制作和流式傳輸帶來了新的編解碼器。

　　開源的JPEG XS具有6：1的壓縮比，實(shí)際上比標(biāo)準(zhǔn)JPEG(10：1)更低，與編解碼器的發(fā)展背道而馳。

　　洛桑聯(lián)邦理工學(xué)院Touradj Ebrahimi教授表示：“這是圖像編碼史上的第一次，我們?yōu)榱烁�好地維持質(zhì)量而降低了壓縮率，我們正在使用更少的資源來加快速度。”

　　領(lǐng)導(dǎo)JPEG XS開發(fā)的Ebrahimi補(bǔ)充道：“我們希望在做事方面變得更聰明。我們希望使用更少的資源，并且可以更明智地使用它們。這是一個(gè)真正的范式轉(zhuǎn)變。”

　　JPEG XS是TICO編解碼器(SMPTE RDD 35)的進(jìn)化，其本身基于JPEG2000。

　　延伸閱讀：JPEG標(biāo)準(zhǔn)小組為AR-VR發(fā)布新圖片格式JPEG XS

　　TICO背后的比利時(shí)公司IntoPix也幫助設(shè)計(jì)了JPEG XS。IntoPix市場(chǎng)營(yíng)銷總監(jiān)Jean-Baptiste Lorent認(rèn)為，對(duì)于“當(dāng)前使用未壓縮視頻”的工作流程來說，這將最為有用。

　　Lorent補(bǔ)充說：“由于分辨率提高，幀速率更高，360度捕獲和更高質(zhì)量的像素，因此我們需要新的編解碼器來處理不斷增加的數(shù)據(jù)量。”

　　JPEG XS旨在解決需要低復(fù)雜度和低延遲，但可以使用相當(dāng)高帶寬的用例。Tony Jones說：“JPEG XS是一種內(nèi)部編碼技術(shù)。也就是說，它不執(zhí)行時(shí)間預(yù)測(cè)。這實(shí)現(xiàn)了比AVC和HEVC等壓縮標(biāo)準(zhǔn)低得多的效率，但反過來提供了非常低的延遲。”

　　Jones補(bǔ)充道：“有很多潛在的專業(yè)用例，包括對(duì)延遲非常敏感，但仍然可訪問高帶寬的工作室，遠(yuǎn)程制作和其他用例。”

　　這可能適合4K和8K，尤其是制作和編輯，但其配置文件同時(shí)包括處理10K。Jones表示：“像JPEG XS這樣的輕量級(jí)壓縮技術(shù)是一種保證貸款，文件大小和文件傳輸時(shí)間的有效技術(shù)。JPEG XS對(duì)于維持低延遲遠(yuǎn)上也非常有用。”

　　Jean-Baptiste Lorent則認(rèn)為，這種低延遲，低壓縮和高效率編解碼器非常適合通過Wi-Fi和5G進(jìn)行流式傳輸?shù)囊曨l，并且未來可以協(xié)助無人駕駛飛機(jī)和自動(dòng)駕駛汽車。

　　為Adobe Premiere Pro CC開發(fā)了JPEG XS插件的Fraunhofer IIS指出，優(yōu)化過的編解碼十分適合需要通過有限帶寬傳輸高圖像質(zhì)量數(shù)據(jù)，或者必須使用有限計(jì)算資源進(jìn)行處理的用例。

　　JPEG XS很可能會(huì)在2018年年底之前獲得國(guó)際標(biāo)準(zhǔn)化組織的批準(zhǔn)，而包括相機(jī)在內(nèi)的第一批產(chǎn)品也將在這之后的不久面世。

　　2. 全向VR

　　MPEG還致力于提供沉浸式媒體，如360度視頻和VR。根據(jù)愛立信的Tony Jones的說法，這兩種情況都存在非常嚴(yán)格的運(yùn)動(dòng)到光子要求：顯示器對(duì)一切頭部位置變化的響應(yīng)速度必須非常低。

　　Jones指出：“對(duì)于360度視頻，渲染是從整個(gè)360度圖像或從其中適當(dāng)大小的一部分進(jìn)行本地執(zhí)行，而對(duì)于VR，場(chǎng)景本身必須基于頭部運(yùn)動(dòng)創(chuàng)建。如果可以在本地執(zhí)行場(chǎng)景創(chuàng)建，挑戰(zhàn)性將能大為降低。另一方面，如果渲染是遠(yuǎn)程執(zhí)行，而且需要在沒有過多比率需求的情況下實(shí)現(xiàn)，要實(shí)現(xiàn)這個(gè)目標(biāo)將面臨非常大的挑戰(zhàn)。”

　　一個(gè)可能有幫助的倡議是MPEG-I。其內(nèi)容正處于不同的發(fā)展階段，定義系統(tǒng)，音頻和視頻參數(shù)的第一部分即將發(fā)布，而其他部分仍處于大綱之中。

　　MPEG-I最有趣的階段是全向媒體格式(Omnidirectional Media Format，OMAF)。第一個(gè)版本的目標(biāo)是HEVC中的360度視頻壓縮，而且現(xiàn)在已經(jīng)完成。

　　Timmerer指出：“OMAF帶來了一系列的優(yōu)化，但可能需要一定的時(shí)間才能實(shí)現(xiàn)廣泛采用，而它基本上將對(duì)編碼，流媒體，解碼和渲染產(chǎn)生重大的影響。”

　　將在10月份起草的第二版本(OMAFv2)把目標(biāo)瞄準(zhǔn)的3DoF+，這項(xiàng)包括“運(yùn)動(dòng)視差”的進(jìn)展可以允許觀眾看到“對(duì)象的背后”。換句話說，OMAF正致力于實(shí)現(xiàn)潛在的全息顯示器。

　　OMAF的后續(xù)版本還將針對(duì)“社交VR的全方位6自由度”，甚至“光場(chǎng)的密集表示”。Timmerer將社交VR描述為“用戶可以在相同社交環(huán)境中消費(fèi)VR內(nèi)容”。

　　MPEG-I的其他方面則關(guān)于點(diǎn)云壓縮。這種深度信息形式可用于生成三維或全息場(chǎng)景。

　　根據(jù)Timmerer的說法，VVC和OMAF之間沒有關(guān)系，但未來可能會(huì)改變(也許到2020年)。他指出：“我預(yù)計(jì)OMAFv2將比VVC更早完成，因此OMAFv2仍將依靠HEVC。這是我目前的估計(jì)。”

　　OMAF的第一版本將由ISO發(fā)布，但現(xiàn)在已經(jīng)可以使用國(guó)際標(biāo)準(zhǔn)的最終草案。 “基本用例已經(jīng)可以部署。我確信IBC中將出現(xiàn)一定的演示作品。”

　　3. 用于全息圖的壓縮

　　這里還有另外一層，一個(gè)關(guān)于壓縮記錄為光場(chǎng)的海量數(shù)據(jù)的方案。盡管都屬于MPEG-I的一部分，但在解決方案上大家存在一定的分歧。

　　流式傳輸“真正本地的光場(chǎng)”需要500Gbps的寬帶速度，最高可達(dá)1TBps。這個(gè)估計(jì)來自于全息顯示器開發(fā)商Light Field Lab的CEO Jon Karafin。但他補(bǔ)充說：“這在我們有生之年都不會(huì)走進(jìn)千家萬戶。”

　　處理如此多的數(shù)據(jù)需要十分嚴(yán)格的壓縮標(biāo)準(zhǔn)，更不用說傳輸。MPEG的一個(gè)工作小組正在起草一種令“支持創(chuàng)建和渲染豐富沉浸式體驗(yàn)的內(nèi)容交換”成為可能的解決方案。

　　它的名稱是混合自然/合成場(chǎng)景數(shù)據(jù)容器(Hybrid Natural/Synthetic Scene;HNSS)。MPEG指出，HNSS應(yīng)該提供一種手段來支持“遵循自然光流，能量傳播和物理運(yùn)動(dòng)操作的場(chǎng)景”。

　　Timmerer表示該小組正在研究MPEG-I中的場(chǎng)景描述，“研究現(xiàn)有的格式和工具，以及它們是否可以用于MPEG-I。”

　　該方法不同于傳統(tǒng)的視頻壓縮技術(shù)：其主要是捕捉紋理，幾何圖形和其他體三維數(shù)據(jù)，然后將其包裹在“媒體容器”中來創(chuàng)建場(chǎng)景的3D模型。

　　但不是每個(gè)人都相信媒體容器是正確的解決方案。麻省理工學(xué)院全息技術(shù)專家V. Michael Bove指出：“目前還沒有普遍得到認(rèn)同的最佳做法。我希望這個(gè)問題可以得到解決。這不是一個(gè)無法解決的問題。”