九位業界專家齊聚，聚焦智慧時代下多媒體與XR技術的融合發展

5G、AI等技術的不斷髮展，正在逐步拉近虛擬與現實空間的物理距離，XR作為全真互聯的重要入口之一，也進入了高速發展期。近年來，XR頻繁出現在各類政府報告中，並被列為數字經濟發展的七大重點產業之一。作為XR落地產業應用的橋頭堡領域，多媒體賽道更是備受期待和關注。

針對XR技術趨勢及落地場景，在2022騰訊數字生態大會·騰訊雲多媒體技術專場上，多位行業專家就“多媒體與XR技術的演進、現狀和發展”展開深度討論。圍繞如何基於低位元速率高畫質、超分等影片處理技術帶來的畫質提升、三維影片帶來的深度感知、任意視點影片帶來的使用者互動、擴充套件現實與虛擬現實帶來的超現實感等業界關注的焦點問題，輸出自身獨到的觀點和建議。

IEEE Fellow、騰訊傑出科學家、騰訊多媒體實驗室負責人劉杉表示：“近年來XR在產學研各界被反覆提及，XR無論是發展的廣闊前景還可能的廣泛應用，都有很多技術空間可以讓我們去提升，也可以有更沉浸的體驗。除了技術性的音影片標準之外，關於XR以及相關的合規的標準也非常重要。因為這些標準不僅有其商業價值，更有其社會價值。目前國內國際包括騰訊在內的企業都非常重視這一部分的投入。

（圖：IEEE Fellow、騰訊傑出科學家、騰訊多媒體實驗室負責人劉杉）

隨著XR不斷滲透至遊戲、影視、娛樂等消費類ToC場景，以及醫療、零售、教育等產業類ToB場景。中國工程院院士、廣播電視技術專家丁文華表示，XR與多媒體的技術演進相輔相成，它不僅影響著每個人的工作、學習，未來還有可能影響到包括教育、醫療、工業乃至整個製造環境的再造。

無論是消費類ToC場景還是產業類ToB場景，在IEEE Fellow、清華大學計算機科學與技術系教授溫江濤看來，XR真正實現落地的前提，是需要更多不同技術及理論的支撐。多媒體技術是其中最主要的一部分，另外還涉及顯示材料、電池等技術方向。

全景聲科技創始人、董事長潘興德補充認為，XR產業的發展更多由內容驅動，C端文娛內容或成為第一階段最重要的落地方向。未來包括電影、音樂、遊戲、影片等行業都可以在虛擬世界裡面匹配對應的呈現方式。

騰訊多媒體實驗室擴充套件媒體中心負責人、國際標準專家許曉中，騰訊線上影片BU播放技術中心總監朱子榮參與了本次討論。

此外，騰訊多媒體實驗室還對外宣佈即將釋出一份基於產業洞察、自研技術積累梳理而出的VR技術白皮書，將為行業的高效、健康發展提供重要的參考價值。

丁文華： 重視軟硬體合規性，XR應用可對人類生活產生深遠影響

XR是一種近眼顯示的綜合技術應用，人們過去更多透過手機、ipad、電腦等遠場顯示去獲取資訊。如今，近眼顯示的發展已經融入了很多技術元素，譬如如何實現感知問題、如何讓顯示影象更具沉浸感、如何將聲音更好融入其中，甚至還能控制互動，多種技術的疊加能夠為消費者帶來更為沉浸式地體驗。

XR作為人機互動最主要的入口裝置之一，它與多媒體技術的演進相輔相成，能夠為人們的生產、生活帶來比較大的變化。它不僅影響著每個人的工作、學習，還可能影響到醫療、教育，乃至工業等整個製造環境的再造。目前，XR相關技術都在不停地更新迭代，這幾年的進步比較明顯，未來前景可以期待。

（圖：中國工程院院士、廣播電視技術專家 丁文華）

從行業標準出發，XR應用應該具備一個下限——佩戴的舒適性；同時，我們還應該去不斷追求它的上限——效果的逼真度、體驗的沉浸式，而這些都需要產業界去制定相對應的標準。

從合規角度出發，軟硬體合規非常重要，應該由政府牽頭、企業跟進，一同促進行業的高效、健康發展，目前整個行業的核心還是聚焦在內容生產方面，未來應該在多層面做進一步的革新和突破。

XR眼下大受關注，它下一步的技術拓展也遠不止於視覺、聽覺層面。而是面向互動、面向感知、面向腦機介面技術，去做更多的技術探索與突破。“X”是未知的，它的變化對人類產生的影響是非常深遠的。

溫江濤： 未來的多媒體技術應用更像是網格架構，而非金字塔架構

XR實現真正落地的前提，需要多種技術及理論的支撐。多媒體技術是其中最主要的一部分，另外還涉及顯示材料、電池等技術方向的突破，最終目標是為了能夠讓消費者更舒適、更長時間地去佩戴、體驗相關產品。

通常，大眾所理解的多媒體是包括音訊、影象等多個不同媒體形態的組成。比如電視臺，它是“一個生產者面向眾多消費者”的形態，類似金字塔架構。但在目前的融媒體生態中，無論是直播形態或是社交網路上其他各式各樣的形態，多媒體已經變成了“眾多生產者面對眾多消費者”的形態，更像是網格架構，而非金字塔架構。

在我看來，網格架構更適合未來技術趨勢的發展。所有偉大的產品，我們看到的可能不只是技術，而是體驗。譬如剛剛拿到的第一款Iphone，首先不會想到其中有上百億個電晶體、有上億行復雜的程式碼，消費者最先關注到的是更好的體驗。XR未來也是這樣，一方面我們希望多媒體的技術能夠不斷地演進去促進XR產業的發展；另外一方面可能也需要使用多媒體技術去彌補其他行業發展的不足。

（圖：IEEE Fellow、清華大學計算機科學與技術系教授 溫江濤）

此外，我認為面向XR的標準可以分為兩類：一類是企業喜歡的標準，另外一類是企業排斥的標準。比如說影片編解碼等，這些標準能夠推動產品的落地，企業都會積極參與；另一類標準可能涉及安全、倫理等問題，有些企業則避之不及，因為會阻礙相關產品的落地。未來，我希望更多的產品在投入市場之前，可以保證它的安全性、合規性得到完全驗證。

XR中的“X”象徵著未知。未來如何去使用XR技術，以及它的應用形態在哪些方面能夠落地，需要大家一起探索。

潘興德： XR產業未來的發展在第一階段更多由內容推動

我們一直在關注產業的發展。未來的XR行業必然會深入影響人們日常生活的方方面面，會深刻影響現實世界的運轉規則。但我們距離沉浸式的、或者能夠媲美現實世界的XR應用還有很長一段路要走。一方面是技術本身的鴻溝，另一方面則是標準化問題，其中涉及互通互聯、社會倫理等方面的問題。

XR落地，內容為王。未來，電影、音樂、遊戲、影片等行業都可以在虛擬世界裡面找到對應的呈現方式。

（圖：全景聲科技創始人、董事長 潘興德）

在終端顯示層面，我們也正在嘗試使用越來越少的揚聲器去實現更好的效果。比如目前使用兩隻揚聲器在理想條件下，就能夠實現接近八分之一的聲場。接下來，我們還要解決包括渲染模型個性化問題和各種更精確建模等極具挑戰性的問題。

XR對於音訊場景，需要解決的是三自由度、六自由度、沉浸感、互動性問題。在一個虛擬世界或虛實共生的世界中，使用者需要聽到真實的聲音。而聲音中又包括各種各樣的聲音源，這會涉及到大量的建模問題。未來，XR場景的聲學問題可能會帶來很多新的挑戰，需要整個產業界去一同面對、解決。

許曉中： 希望搭建一個標準平臺為業界提供更寬廣的舞臺

從底層技術角度出發，XR涉及到視覺、聽覺、觸覺和其他更接近於現實感官的技術。為了能夠支撐使用體驗，我們需要為使用者提供更高維度的資料，會涉及到諸多與多媒體相關的技術元素。

譬如，從視覺角度出發，為了能夠消費更高維度、更豐富的視覺資訊，我們需要對更高維度的內容進行壓縮編碼操作；從聽覺角度出發，包括六自由度的影片、音訊之間協同的系統設計比較重要，消費者要有更多的自由度去感知自己所消費的內容。

（圖：騰訊多媒體實驗室擴充套件媒體中心負責人、國際標準專家 許曉中）

但這個融合過程會遇到不少挑戰。一方面，視覺、聽覺等感知技術的標準化工作還在推進、探索中；另一方面，如何將更多的技術進行系統整合，從而協同一致地為使用者提升體驗，都比較考驗技術基礎和整合能力。

我個人的觀點是，XR可以有一個標準平臺，為工業界、學術界和其他研究力量提供開放寬廣的平臺，業界同仁們可以將自己的長處發揮起來，去促進XR技術方方面面的進展。

朱子榮：多技術融合才能實現XR的沉浸式體驗

從軟、硬體到人機互動，XR的底層技術非常複雜，想要實現更為沉浸式體驗感受，需要將這些技術互融互通。近些年，不管是硬體、軟體、還是內容方面，都有很大的發展。但是，目前的XR仍然處於技術的早期階段，距離我們預期的虛擬世界感受還有較大差距。

（圖：騰訊線上影片BU播放技術中心總監 朱子榮）

從XR的應用層面出發，遊戲、運動健身和影片佔據前三甲。遊戲跟運動健身比較好理解，它們本身具有一定的三維立體或者沉浸體驗的感受，使用者自然會比較青睞。在影片領域，人們從公共影院再到對私人空間的期待，使用者非常希望在觀看影片時能夠有非常好的沉浸感受。

但是在這個過程中，內容硬體的發展必不可少，使用者會要求更高的畫面清晰度、更低的時延以及更準確、更自然的人機互動方式，讓人們在VR、AR裡面有更好的體驗。這樣慢慢從生態的角度、從需求角度再傳導到上游的生產跟分發生態，整個生態就會發展起來。

圓桌論壇之後，在活動的主題分享環節，騰訊多媒體實驗室專家研究員趙欣帶來《國際影片編碼標準前沿進展》主題演講，他表示各個國際影片編碼標準組織目前正在推動下一代影片編碼標準專案，VVC標準化專案是騰訊第一次站上國際影片標準的大舞臺。根據第三方德國專利資訊分析機構IPLytics報告，騰訊在VVC採納技術提案總數中位列所有公司排名前三。

（圖：騰訊多媒體實驗室專家研究員趙欣）

開放媒體聯盟（AOMedia）在2018年釋出了AV1標準，在影片應用產業中產生了巨大影響。開放媒體聯盟2020年啟動下一代AV2影片編碼標準專案，騰訊多媒體實驗室團隊從AV2專案的籌備階段就開始參與，目前已貢獻了30多項技術提案，其中17項技術提案獲得採納並且進入了AV2的AVM編解碼軟體平臺。在AV2專案中，騰訊多媒體實驗室團隊創新地提出了“跨色度畫素偏移濾波”的自研技術，該技術屬於傳統混合編碼框架下的六大編碼模組之一的濾波技術。

騰訊多媒體實驗室高階研究員李一鳴以《O264rt編解碼——實時業務最佳化實踐》為主題，分享了實時業務場景驅動的264相關最佳化。他表示影片編碼標準目前仍然是屬於一個百家爭鳴的時代，在生態方面264仍有它獨特的優勢，比如說專利、終端支援度。

（圖：騰訊多媒體實驗室高階研究員李一鳴）

多媒體實驗室主導的實時的端側的264編碼器，被命名為O264rt。O264rt編碼器拋棄了X264的設計方向，在設計上是直接針對業務場景去深度定製的目前，O264rt的對接場景其實包含了純RTC應用，電競直播，以及雲遊戲、短影片錄製等等，場景的話包括了騰訊很多ToB、ToC的產品，比如說TRTC、全民K歌等等。

騰訊多媒體實驗室高階應用研究員田思達帶來《開箱即用的智慧音樂平臺》，他表示騰訊的智慧音樂平臺的技術能力，按照方向可以分為三個部分。音樂理解方面，不僅可以處理整曲，還可以細化到片段，甚至是音符或者字詞的粒度，實現了對一首音樂全方位無死角的解析；在音樂生成方面，不僅能作曲，還可以寫詞，也可以透過演奏和演唱的方式來對音樂的作品進行呈現；在音樂融合方面，將音樂和影片等其他模態的資訊進行跨模態的融合，這樣能夠批次產生高質量的內容。

（圖：騰訊多媒體實驗室高階應用研究員田思達）

田思達介紹了騰訊的智慧音樂平臺的業務情況，包括為騰訊雲的各條業務線提供多個演算法，為金融產品提供了音樂標籤的能力，為騰訊水墨畫提供了智慧配樂的能力等。

整場論壇中，“未知”一詞頻頻出現，這是人們對XR充滿想象和期待的縮影，它可以是AR，可以是VR，也可以是MR，不同的形態對應著不同的技術標準，業界都在實踐和探索。而騰訊多媒體實驗室分享的多項技術進展可以看到其對於XR的思考與選擇，以及XR如何改變多媒體的形態。在即將釋出的VR技術白皮書中，騰訊多媒體實驗室或將分享更多XR的研究與產業調查，敬請期待。