DeepMind最新研究：“AI足球運動員”誕生，運球、搶斷、傳球、射門無所不能

圖片來源@視覺中國

文 | 學術頭條

足球，是一項全球流行的球類運動，講究身體對抗與團隊配合。

在現實生活中，不管踢不踢，踢得好還是踢得不好，每當看（聽）到“足球”這個詞，人們都會似懂非懂地聊上幾句。

確實，

足球這一運動，有太多的新聞，並不稀奇。

但是，如果

一個人工智慧（AI）學會了踢足球，而且踢得還不錯

，那算不算一件比較稀奇的事情呢？畢竟，當前的 AI 有時連“500 年前的美國總統是不是林肯”這樣的問題都回答不上來。

9 月 1 日，來自英國人工智慧公司 DeepMind 的研究團隊就首次介紹了這樣一個可以完成帶球突破、身體對抗等多種動作，然後精準射門的

“AI 足球運動員”

。

圖｜“AI 玩家”正在進行 2V2 對抗比賽（動圖製作素材來源：Science Robotics）

儘管偶爾不講規則，比如比賽中沒有角球、點球和任意球等定位球（set piece），但研究團隊認為，

這一研究推動了人工系統向人類水平運動智慧向前邁進。

相關研究論文以“From motor control to team play in simulated humanoid football”為題，已發表在科學期刊 Science Robotics 上。

AI 是怎麼學會踢足球的？

眾所周知，標準的足球比賽由兩支隊伍各派 11 名隊員參與，包括 10 名球員及 1 名守門員，在球場上互相對抗和進攻。

除了守門員可以在己方禁區內利用手部觸球外，其他球員只能運用手部以外的身體部位碰觸球（開界外球例外），比賽的最終目的則是儘可能地將足球踢入對方的球門內。

因此，無論是在現實比賽中，還是在網路遊戲上，

AI 是怎麼學會踢足球的？

，完成一次出色的傳球或一次精準的射門並不容易，“需要解決人類和動物們都會面臨的諸多問題”。

據論文描述，儘管 DeepMind 團隊在此次研究中簡化了遊戲規則，並將兩隊球員人數限定在了 2-3 人，但結果顯示，

足球都是一個既考驗個人技巧，又需要團隊成員默契協作的運動

，並在模擬遊戲中完成 2V2 和 3V3 的足球比賽。

“TA 們在一個動作技能和高水平目標導向行為緊密結合的環境中實現了綜合控制。” 論文共同一作、共同通訊作者 Siqi Liu 及其團隊寫道。

圖｜“AI 玩家”完成運球、搶斷和傳球等一系列動作（動圖製作素材來源：Science Robotics）

如上圖，在一場 2V2 的比賽中，紅隊球員先後完成了跑動、逼搶和傳球等一系列動作，

AI 玩家可以在事先不瞭解足球規則的情況下學會踢球、運球和射門等技能

那麼，

整個動作十分自然流暢，且充滿壓迫性。

原因在於研究團隊提出的 3 步機器學習框架。

“足球小白”是如何變身“優秀足球運動員”的？

，AI 玩家需要透過觀看人類運動影片學會行走，因為最開始的 AI 玩家並不知道要在足球場上做什麼。

圖｜訓練前（動圖製作素材來源：Science Robotics）

首先

，在知道自己做什麼之後，AI 玩家可以藉助強化學習演算法學會踢足球。

圖｜訓練 3 天后（動圖製作素材來源：Science Robotics）

然後

，AI 玩家更進一步，基於另外一種強化學習演算法學會如何進行團隊協作和更高難度的運動控制。

圖｜訓練 50 天后（動圖製作素材來源：Science Robotics）

可見，當訓練中的 AI 玩家不斷接受環境獎勵，並作出正確反饋，其踢足球水平就會得到增加。

最後

由“足球小白”變身“優秀足球運動員”，AI 又秀了一把。

在描述認知科學和 AI 基礎的經典言論中，圖靈獎得主 Allen Newell 認為，

但是，依然不夠

但是，依然不夠

人類行為跨越了多個組織層次。

從毫秒級的肌肉抽搐，到數百毫秒

，而如何在多空間和時間尺度上表現出智慧行為，是物理實體人工智慧長期面臨的挑戰之一。

DeepMind 團隊的這項研究，透過強化學習演算法等 AI 技術，為 AI 玩家賦予了靈活的運動控制和多智慧體協作能力，是一個有關如何在多智慧體環境下學習多尺度綜合決策的優秀案例。

圖｜對抗、推搡（動圖製作素材來源：Science Robotics）

級的認知決策，再到長期的目標導向行為，

例如，由於參與比賽的 AI 玩家數量相對較少，

更高級別的行為往往與外界環境和其他主體更復雜的互動相關聯

，並不能說明 AI 可以玩更復雜的足球比賽。如果在未來的工作中增加 AI 玩家數量，可能就會產生更有趣的團隊策略。

另外，由於時間較短，節奏較快，AI 玩家也沒有被賦予調整節奏、保持精力、決定陣型或替換更偏向防守或進攻的球員的能力。

此外，研究團隊也表示，他們的方法不適合直接在機器人硬體上學習，研究成果

當然，這項研究也具有一定的侷限性。

相比於現實世界還是缺少一定的複雜度

，也解決了模擬訓練中出現的模擬到真實遷移的主要挑戰之一。

在論文的最後，研究團隊這樣寫道，“如何在敏捷機器人硬體上實現類似複雜程度的多尺度運動智慧，將是令人興奮的研究方向之一”。

未來，AI 的強大將超乎想象。對此，你怎麼看？

也不會快速從模擬世界轉移應用到現實世界。

www。science。org/doi/10。1126/scirobotics。abo0235