在元宇宙召喚栩栩如生的寵物，上科大提出ARTEMIS系統

QQ寵物曾在21世紀初風靡網際網路，成為許多人的回憶。隨著元宇宙世界到來，你是否想擁有更加栩栩如生的虛擬寵物？

滿足實時渲染及動作合成的情況下，可實現VR中的可互動的虛擬寵物。本文圖片均為受訪者 供圖電影《少年派的奇幻漂流》中，老虎理查德·帕克帶給觀眾奇妙的體驗。建立這一由電腦生成的（Computer-generated Imagery， CGI）數字化動物，需要藝術家的大量勞動，包括建立效果真實的數以萬計的毛髮，以及製作自然的動作動畫序列。除此之外，即使擁有著製作完成的模型和大量的計算資源，實時渲染如照片般真實的動物圖片依然是一項無法完成的任務。

上海科技大學資訊學院VRVC實驗室成員羅海旻表示，這意味著傳統的CGI動物模型並不適合元宇宙場景——要求實時的真實渲染、人與動物實時互動。

為了將動物帶入虛擬世界，羅海旻所在團隊提出了ARTEMIS系統，一個嶄新的由神經網路建模的渲染框架，該渲染框架擁有著同時生成虛擬寵物外觀和動作的能力。ARTEMIS的核心在於提出了一種全新的基於神經網路的影象生成（Neural-generated Imagery， NGI）動物模型，來替換傳統的CGI模型。該工作已被計算機圖形學頂級會議ACM SIGGRAPH 2022接收，將於今年8月展示。

與傳統的離線動畫和渲染的系統相比，ARTEMIS支援可互動式的動作控制、真實的動作動畫和高質量的毛髮動物渲染，並能實時呈現。ARTEMIS團隊更進一步將其整合到OpenVR框架中，以支援常見的消費級VR顯示器，例如HTC VIVE系列等。由此，戴上VR頭盔的人可以在虛擬場景中獲得與動物的互動體驗，使用者可以在虛擬世界中驅使動物前往任意的地點，也可召喚在遠處的虛擬寵物前來，讓它坐在你的身邊，抑或是向它投餵。

在高質量資料集上，NGI動物支援各式各樣的動物與動作。羅海旻介紹，傳統CGI動物模型需要模型師參考真實動物的照片或影片，來建立由數以萬計的毛髮纖維組成的動物皮毛。這一過程通常要求熟練的建模技巧，以及大量的勞動。另一方面，將這樣複雜的模型渲染成為高質量圖片同樣耗時。除渲染之外，如何實現互動式地操控這樣的模型，並且保持高度真實性是另外一個挑戰。總的來說，傳統的CGI模型不適用於虛擬世界中的數字化動物，因為它們要求實時的渲染速度和實時的互動效果。

團隊將系統整合到OpenVR框架中，以支援常見的消費級VR顯示器。為了解決這一問題，在神經建模和渲染方面，ARTEMIS提出了全新的神經網路影象生成方式，Neural-generated Imagery （NGI）來建模虛擬動物。NGI的提出是受到近年神經輻射場（NeRF）以及其後續擴充套件工作的啟發。透過提供在多視角下渲染的帶透明度影片和相應一系列動作序列下的訓練，ARTEMIS即可將傳統的CGI動物資產（包括骨架和蒙皮繫結）轉換成基於體素的高密度神經網路表示。

為了確保渲染質量，ARTEMIS採用了一個卷積神經網路作為渲染器，來進一步增強毛髮紋理細節。整個渲染流程為可微分渲染，並且支援對動物動態毛髮進行實時的高質量自由視角渲染。

除神經網路建模與渲染外，ARTEMIS還提供了真實動作合成模組，從而能讓人在虛擬世界中控制虛擬動物。“我們透過建立一套多視角的動物動作捕捉系統，採集到大量多視角影片及關鍵點運動資料並提取真實的動物動作序列。在此基礎上，ARTEMIS結合先進的神經網路狀態機技術，讓虛擬動物能夠根據使用者的指令做出相應的動作，就像在真實世界中那樣。”羅海旻說。

（本文來自澎湃新聞，更多原創資訊請下載“澎湃新聞”APP）