EA出品2020版灌籃高手：運球、搶斷生成敏捷流暢，幫你找回童年夢想

機器之心報道

機器之心編輯部

未來的 NBA Live 要用上機器學習指導人物動作了嗎？

上世紀 90 年代，《灌籃高手》風靡亞洲，承載了無數 80、90 後的童年回憶和夢想。二十多年過去了，《灌籃高手》早已完結，但關於籃球的動畫技術卻一直在進步。在今年的 SIGGRAPH 計算機圖形學頂會中，一篇論文向我們展示了 2020 年的「灌籃高手」是什麼樣子。

這篇論文的作者來自英國愛丁堡大學和全球著名互動娛樂軟體公司藝電（Electronic Arts）。利用他們在論文中給出的方法，我們可以得到更加複雜、流暢且多樣的籃球動作。比如搶斷：

運球：

躲避障礙：

急轉彎：

怎麼樣，是不是比你還靈活？

雖然只是放出來個 demo，但其中展現的動作真實度已經摺服了一票運動發燒友：

甚至已經有網友表示要投資了：

研究者表示，這項技術可以用到電腦遊戲或 VR 中，讓人們體驗更加逼真的籃球遊戲。

當然，這麼好的效果並不是短期內做出來的，而是作者數年工作的積累。此外，論文一作 Sebastian Starke 還表示，這個專案也是他博士論文的一部分。

專案地址：https：//github。com/sebastianstarke/AI4Animation

論文連結：https：//github。com/sebastianstarke/AI4Animation/blob/master/Media/SIGGRAPH_2020/Paper。pdf

以下是論文的詳細內容。

引言

模擬角色物件與目標物體、環境以及其他角色之間多次接觸的快速而複雜的互動有著巨大的需求。例如，玩籃球時，球員們需要運球等各種動作來和對手比賽。

之前從非結構化動作捕獲庫學到的技術在動作的可擴充套件性、真實性以及多樣性上存在限制。首先，大多數技術都需要用像相位（phase）這樣的全域性時間引數來對齊動作，但在動作涉及多次非同步接觸時，要做到這點就非常困難。其次，即使動作是透過控制器學習的，使用者透過鍵盤或遊戲手柄提供的低維控制訊號再現各種動作也會存在問題。

本篇論文的研究者提出了一種新型資料驅動的框架，來學習含有多次接觸的迅速、動態的互動。研究者用一個大型的一對一籃球的資料庫作為主要的樣例，即只有一個球員做接球、運球、使用技巧躲避對方隊員攔截球等動作。研究者設計和訓練了一個神經角色控制器，它可以在一個統一的框架下學習並生成逼真的進攻和防守動作，使得球員們可以輕鬆地由進攻轉為防守。

為了讓模型學習包含快速而複雜的互動的運動（球員肢體和球或地面之間的接觸以非同步的方式迅速轉換），研究者提出了一種叫做區域性運動相位（local motion phase）的特徵。

區域性運動相位是指每個身體部位是如何與外部物體接觸的。該特徵可以透過一種進化策略自動地從非結構化運動捕獲資料中計算得到。

使用區域性運動相位，網路能夠學習人的區域性肢體部位的運動，而無需用全域性相位來對齊整個身體的運動。在籃球運動中，如果互動非常快速或複雜，用全域性相位來對齊整個身體的運動會非常困難。

為了應對低維控制訊號和整個身體的豐富運動之間的歧義，研究者提出了一種能夠在高水平控制訊號下再現各種劇烈運動的新型生成模型。該生成控制模型能夠將來自使用者指示的抽象控制訊號轉換成各種劇烈控制訊號，這些訊號能夠與完整的身體運動相對應。

系統經過籃球比賽中大量的運動捕獲資料訓練之後，使用者就可以互動地控制角色，來生成迅速且非同步的籃球技巧，例如運球、佯攻、搶斷、防守等，這對於電腦遊戲和 VR 運動訓練是很有用的。

該系統也可以用於學習其他接觸較多的運動，比如坐在椅子上，開門以及四足運動。和之前的模型相比，該模型生成的動作質量很高，而且不需要任何人為標籤。

系統概覽

該研究的深度學習框架是一個類似於 ［Zhang et al。 2018］ 和 ［Starke et al。 2019］ 的混合專家方案。系統是由運動預測網路和門網路組成的。門網路計算一套專家權重，並且學習如何透過混合係數將它們動態組合來構建運動預測網路。然後從當前角色狀態和使用者給出的控制命令以自迴歸的方式計算從一幀到下一幀的運動。

圖 2：由門網路和運動預測網路組成的系統的架構。門網路用區域性運動相位作為輸入，並計算專家混合係數，然後將其用於生成運動預測網路。運動預測網路將姿勢和使用者控制變數作為輸入，來預測從一幀到下一幀的運動。

為了使該框架能夠從大型運動資料庫中學習籃球動作，研究者提出了兩項主要改進：首先，用區域性運動相位訓練系統；其次，生成控制模型以原始的高水平使用者控制命令作為輸入，生成一種更劇烈的控制訊號。

每個和其他物體或環境接觸的骨骼的區域性運動相位是單獨計算的，並且能夠給四肢的動作進行非同步編碼。這和 ［Starke et al。 2019］ 的研究完全不同，在 ［Starke et al。 2019］ 的研究中，研究者假設每一個動作都由一個全域性相位變數進行同步，這需要仔細的標註過程，或者定義有關動作何時開始和結束的明確規則。這些工作有時非常困難，甚至是模稜兩可的。而區域性運動相位是基於單個骨骼的接觸、以統一的規則進行計算的，並且易於自動計算。

圖 4：用於單個骨骼的相位提取方法示例。

圖 5：雙腳（LF、RF）、雙手（LH、RH）和球（B）的區域性運動相位提取示例。

此外，研究者還引入了生成控制模型，以根據使用者提供的粗略高電平控制訊號生成各種劇烈動作。當有許多動作對應於相同的輸入訊號時，透過確定性模型進行的簡單迴歸將生成一個平均動作，其中劇烈程度幾乎沒有變化。研究者透過引入一個生成模型來解決這個問題。該生成模型用高水平的使用者控制命令以及隨機噪音作為輸入，從中生成一段更加劇烈的控制訊號序列。這使得系統不僅能生成較高質量的動作，還能以非確定的方式生成變化後的動作。

圖 6：生成控制方案概覽。

實驗和評估

研究者透過遊戲手柄讓角色做出各種動作，如下圖 10 所示。

圖 10：透過該研究的系統合成的動作樣式。

可以看出，除了具有多次接觸和快速動作的複雜的角色動作，角色之間的互動，例如避開對手等動作也都能夠生成。

研究者在測試資料集對該系統在肢體運動、接觸準確度以及響應性三方面進行了定量評估，他們透過每幀所有關節的確切角度更新之和來量化肢體動作。

下圖 11 將該研究方法與 PFNN、MANN 和 LSTM 做了比較，結果顯示在所有動作樣式上表現更佳。並且，在後退和轉向此類資料樣本更加稀疏的情況下，差異更加明顯。

研究者評估了球員雙腳和地面之間的接觸準確度，在球員腳高度和豎直速度低於閾值時（此時應處於接觸狀態），透過彙總水平方向的運動，計算球員腳部的滑動量。如下圖 12 所示，該研究方法的腳部滑動量最少。

如下圖 13 所示，研究者也給出了運球動作中手部和籃球之間的距離變化圖。

角色對使用者輸入的響應能力是角色控制中最重要的方面之一。響應能力能夠透過度量達到目標速度和方向平均需要的時間，以及在使用者給出輸入訊號之後完成諸如旋轉等任務平均需要的時間來進行評估。完成這些任務平均所需時間如圖 14 所示：

如下圖 15 所示，該研究系統在響應能力上略微遜色於 PFNN，但響應能力仍優於其他方法。

如下圖 16 所示，該系統也能夠合成數據集中沒有的新動作。

如下圖 17 所示，透過研究腳部與地面接觸的方法，研究者還用區域性運動相位訓練了一個四足控制器。

研究者還將區域性運動相位應用於 ［Starke et al。 2019］ 中的目標物體 / 環境互動樣例。下圖 18 演示了拿起和放下盒子、坐下和從椅子上站起來的快照及其對應的區域性運動相位。