Mars說光場（5）— 光場在三維人臉建模中的應用

雷鋒網按：光場技術是目前最受追捧的下一代顯示技術，谷歌、Facebook、Magic Leap等國內外大公司都在大力佈局。然而目前國內對光場（Light Field）技術的中文介紹十分匱乏，曹煊博士《Mars說光場》系列文章旨在對光場技術及其應用的科普介紹。

曹煊博士系騰訊優圖實驗室高階研究員。優圖— 騰訊旗下頂級的機器學習研發團隊，專注於影象處理、模式識別、深度學習。在人臉識別、影象識別、醫療AI、OCR、哼唱識別、語音合成等領域都積累了領先的技術水平和完整解決方案。

《Mars說光場》系列文章目前已有5篇，包括：《Mars說光場（1）— 為何巨頭紛紛佈局光場技術》、《Mars說光場（2）— 光場與人眼立體成像機理》、《Mars說光場（3）— 光場採集》、《Mars說光場（4）— 光場顯示》、《Mars說光場（5）— 光場在三維人臉建模中的應用》 ，雷鋒網經授權釋出。

【摘要】

— 三維建模是計算機視覺中的一個經典問題，其主要目標是得到物體/場景的三維資訊（e。g。 點雲或深度圖）。然而只有三維資訊還不足以逼真的渲染重現真實世界，還需要表面反射場資訊才能在視覺上以假亂真。本文主要介紹美國南加州大學ICT Graphic Lab的Paul Debevec所引領開發的Light Stage技術，該技術已經成功應用在好萊塢電影特效和2014年美國總統奧巴馬的數字人臉建模等諸多應用中。

1、反射場在三維成/呈像中的重要性

三維建模可以得到物體的幾何資訊，例如點雲、深度圖等。但為了在視覺上逼真的重現三維物體，只有幾何資訊是不夠的。不同物體表面在不同光照環境下會呈現出不同的反射效果，例如玉石會呈現出高光和半透明的反射效果、棉麻織物會呈現出漫反射的效果。即使是相同表面，在不同光照下也會呈現出不同的反射效果，例如圖1中的精靈在魔法燈的照射下，臉上呈現出相應的顏色和陰影；阿凡達在發光水母的照射下臉上和身上也會呈現對應的反射效果，這就是Relighting所產生的效果。在現實生活中Relighting是一種再正常不過的現象了。然而當電影中Relighting的效果與實際不符時，人眼會感受到莫名的異常。

模擬出與真實物體表面一致的反射特性，對提高計算機渲染成/呈像的逼真度至關重要。在實際的拍攝中並不存在精靈和阿凡達，也不存在魔法燈和發光的水母，如何生成Photorealistic的影象呢？透過計算機模擬反射場（Reflectance Field）是目前好萊塢大片中慣用的方法。反射場是對所有反射特性的一個普適數學模型，物體表面不同位置（x， y， z）在時刻（t）向半球範圍內不同角度（θ， Φ）發出波長為（λ）的光線，由R（x， y， z， θ， Φ， λ， t）七個維度構成的光線的集合就是反射場。關於光場和反射場的異同點參見《Mars說光場（1）— 綜述》。

圖 1。 反射場Relighting示意圖

2、USC Light Stage介紹

Light Stage是由美國南加州大學ICT Graphic Lab的保羅德貝維奇（Paul Debevec）所領導開發的一個高保真的三維採集重建平臺系統。該系統以高逼真度的3D人臉重建為主，並已經應用於好萊塢電影渲染中。從第一代系統Light Stage 1於2000年誕生，至今已經升級到Light Stage 6，最新的一代系統命名為Light Stage X。

2.1 Light Stage 1

如圖2所示，Light Stage 1 包括1個光源（strobe light）、2個相機（解析度480x720）、1個投影儀，整個裝置直徑約3米［1］。光源可沿機械臂垂直移動，同時機械臂可帶動光源水平旋轉。整個採集過程包括兩個階段：第一階段是以人臉為中心旋轉光源，從而構成64x32個不同方向的等效光源入射到人臉上。與此同時，兩個相機同步拍攝不同光照下的左側臉和右側臉，每個相機共拍攝2048張圖片，如圖3所示。需要說明的是光源和相機前分別覆蓋了互相垂直的偏振片，用於分離散射和高光（separate diffuse and specular）。第二階段是投影儀與2個相機配合完成基於結構光的三維重建，如圖4所示。整個採集過程耗時約1分鐘，採集過程中人臉需要持續保持靜止，這對演員保持靜止的能力提出了極高的要求。

圖 2。 Light Stage 1系統樣機

Light Stage 1採集的圖片樣例如圖3所示，第二行圖片中亮點表示光源的位置，第一行圖片表示對應光源照射下采集到的人臉圖片，實際採集的反射場圖片包括64x32光源位置下的2048張圖片。採集三維幾何模型透過結構光三維重建實現，如圖4所示。

圖 3。 Light Stage 1 採集圖片樣例

圖 4。 Light Stage 1 基於結構光的三維重建

在進行Relighting渲染之前還需要透過Specular Ball / Mirror Ball採集環境光照，如圖5所示。透過Mirror Ball採集的圖片需要經過重取樣得到離散的環境光照矩陣［2］，然後將環境光照應用在反射場圖中，得到如圖6中Relighting的渲染效果。圖6中第二行圖片為Specular Ball在不同環境下采集的環境光照展開圖，第一行圖片為對應光照下人臉渲染結果。需要說明的是，圖6中人臉Relighting的渲染圖片只限於固定視點，如果需要改變視點需要結合結構光采集的三維幾何模型。

圖 5。 Specular Ball 採集環境光

圖 6。 Light Stage 1 人臉Relighting效果

2.2 USC Light Stage 2

Light Stage 2 在Light Stage 1 的基礎上增加了更多的光源，將23個白色光源分佈於弧形機械臂上［3-5］。機械臂旋轉到不同的經線位置，並依次點亮光源，最終形成42x23個不同方向的入射光源。採集時間從1分鐘縮短到4秒，降低了演員維持靜態表情的難度。如圖7所示，右側為Light Stage 2真機系統，左側為採集過程中4秒長曝光拍攝圖片。

圖 7。 Light Stage 2 採集示意圖

2.3 USC Light Stage 3

在不同的光照環境下，人臉會反射出不同的“臉色”，例如人臉在火炬前會被映紅。透過改變環境光照而使物體表面呈現與之對應的反射狀態稱為“Relighting”。然而在電影拍攝中並不能把演員置身於任意真實的環境中，例如《指環王》中男主角佛羅多·巴金斯置身於火山岩中，又例如阿凡達置身於夢幻藍色樹叢中。Light Stage 3並不用於人臉建模，而是構建一個可控的彩色光照平臺，從而可以實現人臉實時的Relighting［6-8］。

Light Stage 3的支撐結構為二十面體，包括42個頂點、120條邊、80個面，如圖8所示。在每個頂點和每條邊的中心放置一個彩色光源，一共可放置162個彩色光源。由於球體底部5個頂點及其相應的邊被移除用於演員站立，因此實際光源數量減少到156個。光源型號為Philips Color Kinetics，iColor MR gen3 LED Lamp http：//www。lighting。philips。com/main/prof/indoor-luminaires/projectors/icolor-mr-gen3。光源的亮度和顏色透過USB控制PWM佔空比來實現。用於人臉影象採集的相機為Sony DXC-9000，幀率60fps，解析度640x480，FOV 40度。Light Stage 3還包括6個紅外光源和1個灰度相機。紅外光源的峰值波長為850nm。灰度相機為Uniq Vision UP-610，幀率110 fps，解析度640x480，FOV 42度，紅外濾光片為Hoya R72。彩色相機和紅外相機之間採用分光片確保彩色影象和紅外影象對齊，30%反射進入紅外相機，70%透射進入彩色相機，如圖9所示。

圖 8。 Light Stage 3 採集系統樣機

圖 9。 Light Stage 3 分光采集系統

如圖10所示，Light Stage 3的工作流程如下：首先用Specular Ball採集目標環境光照，或者計算機生成虛擬環境的光照。然後控制156個彩色光源模擬出與目標環境光照相似的光線，演員在Light Stage 3產生的光照下進行表演。最後透過紅外成像把Relighting的人像扣出並融合到電影中。由於Light Stage 3不能重建三維人臉模型，因此不能隨意切換視點，需要演員精湛的演技將肢體形態與目標環境融合。最終Relighting合成影片如下所示。

圖 10。 Light Stage 3 採集圖片樣例及融合真實環境效果效果

2.4 USC Light Stage 5

Light Stage 5採用與Light Stage 3同樣的支撐結構，但把156個彩色光源換成156個白色光源，如圖11所示［9-12］。每個白色光源包括12個Lumileds LED燈珠，平均分成2組，分別覆蓋水平和垂直的偏振片。理想情況下，需要按照Light Stage 2的光照模式依次點亮每個光源並拍照，那麼一共需要拍攝156張圖片。Light Stage 5創新性地採用了球諧調和光照（Spherical Harmonic Lighting），如圖12所示，將光照模式（Lighting Pattern）從156個減少到4個，分別是沿X/Y/Z方向遞減的3個梯度光照和1個均勻全亮光照。由於需要拍攝水平和垂直兩種偏振狀態下的圖片，因此每個相機一共需要拍攝8種光照模式下的8張圖片。相比之前的Light Stage，整個採集的時間大大縮短。如果採用高速相機可以達到實時採集，如果採用單反相機需要2秒。

圖 11。 Light Stage 5 採集系統樣機

圖 12。 Light Stage 5 偏振光佈局

人臉包括低頻和高頻兩種幾何資訊，低頻幾何資訊主要是指鼻樑高低、臉型胖瘦等；高頻幾何資訊主要是指毛孔、鬍鬚、唇紋等。對於低頻幾何資訊，Light Stage 5採用兩種三維建模方法：一種是用DLP高速投影儀和Phantom高速攝像機構成基於結構光的實時三維重建。另一種是採用5個單反相機（Canon 1D Mark III）構成多視幾何（Multi-view Geometry）重建三維人臉模型。在上述兩種三維建模方法的基礎上，進一步採用Photometric Stereo來生成高頻幾何模型。圖13為Light Stage 5所完成的“Digital Emily”專案中重建的數字演員艾米麗［13，14］，左側為重建的高精度Normal Map，中間為只用Diffuse Component重建的人臉模型，右側為同時加上Diffuse Component和Specular Component以後重建的高精細人臉。

圖 13。 Light Stage 5 Digital Emily人臉重建效果

2.5 USC Light Stage 6

如圖14和15所示，Light Stage 6是為採集演員全身反射場而設計［15］。支撐結構直徑8米，為了使演員處於球體中心，去掉了球體底部1/3。Light Stage 6共包括1111個光源，每個光源由6顆LumiLEDs Luxeon V LED燈珠構成。採集系統包括3臺垂直分佈的高速攝像機以30fps同步採集影象，每一幀影象包括33種不同光照。所以高速相機實際的工作頻率為990Hz。在支撐結構的中心有一個旋轉平臺，該旋轉平臺為演員有效的表演區域，直徑2米。在採集過程中旋轉平臺會持續旋轉，高速相機從而拍攝到不同視點的演員影象，演員需要不斷的重複週期性動作，整個採集過程約幾分鐘。

圖 14。 Light Stage 6 採集系統樣機

圖 15。 Light Stage 6 採集系統示意圖

Light Stage 6並不對人體進行幾何建模，而是採用與Light Stage 3類似的原理來實現Relighting。Light Stage 6相比Light Stage 3的改進之處在於視點可切換。Light Stage 6為了實現視點切換，需要演員週期性的重複動作，例如跑步，然後採集到所有不同光照下不同視點的影象。圖16上側圖片為1/30秒內某一個相機採集的所有圖片，包括26張不同光照下的圖片（Lighting Frames），3張紅外圖片（Matting Frames）用於摳圖，3張跟蹤圖片（Tracking Frames）用於光流對齊圖片，1張預留圖片（Strip Frame）目前無用，將用於後續其他潛在功能應用。圖16下側圖片為相機陣列中上中下三個相機分別採集到的圖片。如圖17所示，所採集的圖片分佈於一個圓柱形上，當渲染不同視點下的Relighting圖片時，從圓柱形上選擇合適的視點進行融合。

圖 16。 Light Stage 6 採集圖片樣例

圖 17。 Light Stage 6 多視點渲染

2.6 Light Stage對比總結

Light Stage 1 和Light Stage 2都是基於稠密取樣的反射場採集，因此採集時間較長。Light Stage 3採集彩色光源照射實時生成Relighting圖片，但沒有進行三維建模，所以應用場景有限。Light Stage 4的研發被擱置了，所以取消了Light Stage 4的命名，轉而直接研發Light Stage 5。Light Stage 5基於球諧調和進行反射場的低階取樣，是相對比較成熟的一代系統，已經在《本傑明巴頓》、《蜘蛛俠》等電影特效中得到應用。最新研發的系統為Light Stage X，小型可移動，專門針對高精度人臉反射場採集建模；其光照亮度、光譜、偏振狀態都可以基於USB介面透過電腦程式設計控制，自動化程度更高，採集時間更短。2014年採集美國時任總統奧巴馬頭像時，就是基於Light Stage X系統，如圖18為採集現場，圖19為重建結果。Paul Debevec及其團隊核心成員於2016年加入谷歌DayDream部門，主要是將光場技術應用於泛VR領域，其團隊於2018年8月在steam平臺上上線了《Welcome to light field》體驗應用。

表 1. USC Light Stage彙總對比

Light Stage 1

Light Stage 2

Light Stage 3

Light Stage 5

Light Stage 6

尺寸（直徑）

3米

2米

2米

2米

8米

支撐結構

1個光源可沿機械臂上下移動

30個光源均勻分佈於弧形機械臂

二十面體，42個頂點，120條邊，80個面。

二十面體，42個頂點，120條邊，80個面。

二十面體的均勻細分，只保留整圓的2/3。圓球結構中心為旋轉舞臺。

實際光源數量

1個白色

30個白色

156個彩色LED光源，6個紅外光源（850nm峰值波長）

156個白色LED光源

1111個白色LED光源（LumiLEDs Luxeon V）

等效光源數量

64x32個白色

42x30個白色

156個彩色

156個白色

1111個白色

相機數量

2@480x720

2@480x720

（a）1個RGB相機（Sony DXC-9000@60fps @640x480 @FOV40）。

（b）1個紅外相機。

（Uniq Vision UP-610@110 fps@640x480 @FOV42 Hoya R72濾波片）。

（a）雙目高速相機（Phantom V7。1 @ 800 × 600）+結構光（DLP projector @1024x768）。

（b）5個相機構成多視幾何（Canon 1D Mark III EF 50mm f/1。8 II lenses）。

3個高速相機垂直分佈。

採集時間

60秒

4秒

實時

實時/2秒

幾分鐘

三維重建方法

結構光

結構光

無三維建模

機構光/多視幾何

無三維建模，光流配準影象

優點

互相垂直偏振片分離散射和高光。

互相垂直偏振片分離散射和高光。

只需要水平旋轉，減少採集時間。

紅外成像用於人像摳圖。

彩色光源模擬環境光，實現人像實時Relighting。

互相垂直偏振片分離散射和高光。

實時建模/靜態建模。

互相垂直偏振片分離散射和高光。

可以採集全身運動。

缺點

採集時間過長，人臉難以保持靜止。

需要機械旋轉。

需要機械旋轉。

無三維建模，不能自由切換視點，需要演員精湛演技。

只能建模人臉，不能建模全身。

只能建模週期重複性運動。

（圖片來源於 http：//vgl。ict。usc。edu/Research/PresidentialPortrait/）

圖 18。 Light Stage X為美國時任總統奧巴馬採集人臉頭像現場

（圖片來源於 http：//vgl。ict。usc。edu/Research/PresidentialPortrait/）

圖 19。 美國時任總統奧巴馬重建頭像

［1］ Debevec P， Hawkins T， Tchou C， et al。 Acquiring the reflectance field of a human face［C］// SIGGRAPH ‘00 ： Proc。 Conference on Computer Graphics and Interactive Techniques。 2000：145-156。

［2］ Debevec P。 A median cut algorithm for light probe sampling［C］// ACM SIGGRAPH。 ACM， 2008：1-3。

［3］ Tim Hawkins， Jonathan Cohen， Chris Tchou， Paul Debevec， Light Stage 2。0， In SIGGRAPH Technical Sketches， 2001。

［4］ Hawkins T， Cohen J， Debevec P。 A photometric approach to digitizing cultural artifacts［C］// Conference on Virtual Reality， Archeology， and Cultural Heritage。 ACM， 2001：333-342。

［5］ Hawkins T， Wenger A， Tchou C， et al。 Animatable facial reflectance fields［C］// Fifteenth Eurographics Conference on Rendering Techniques。 Eurographics Association， 2004：309-319。

［6］ Jones A， Gardner A， Bolas M， et al。 Simulating Spatially Varying Lighting on a Live Performance［C］// European Conference on Visual Media Production。 IET， 2006：127-133。

［7］ Wenger A， Hawkins T， Debevec P。 Optimizing Color Matching in a Lighting Reproduction System for Complex Subject and Illuminant Spectra。［C］// Eurographics Workshop on Rendering Techniques， Leuven， Belgium， June。 DBLP， 2003：249-259。

［8］ Debevec P， Wenger A， Tchou C， et al。 A lighting reproduction approach to live-action compositing［C］// Conference on Computer Graphics & Interactive Techniques。 ACM， 2002：547-556。

［9］ Wenger A， Gardner A， Tchou C， et al。 Performance relighting and reflectance transformation with time-multiplexed illumination［C］// ACM， 2005：756-764。

［10］ Ghosh A， Hawkins T， Peers P， et al。 Practical modeling and acquisition of layered facial reflectance［J］。 Acm Transactions on Graphics， 2008， 27（5）：1-10。

［11］ Ma W C， Hawkins T， Peers P， et al。 Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination［C］// Eurographics Conference on Rendering Techniques。 Eurographics Association， 2007：183-194。

［12］ Ghosh A， Fyffe G， Tunwattanapong B， et al。 Multiview Face Capture using Polarized Spherical Gradient Illumination［J］。 Acm Transactions on Graphics， 2011， 30（6）：1-10。

［13］ Alexander O， Rogers M， Lambeth W， et al。 Creating a Photoreal Digital Actor： The Digital Emily Project［C］// Visual Media Production， 2009。 CVMP ’09。 Conference for。 IEEE， 2010：176-187。

［14］ Alexander O， Rogers M， Lambeth W， et al。 The digital Emily project： achieving a photorealistic digital actor［J］。 IEEE Computer Graphics & Applications， 2010， 30（4）：20。

［15］ Einarsson P， Jones A， Lamond B， et al。 Relighting human locomotion with flowed reflectance fields［C］// ACM SIGGRAPH 2006 Sketches。 ACM， 2006：76。