您現在的位置是:首頁 > 人文

猴子用意念控制機器人,腦機介面之父米格爾·尼科萊利斯演講回顧

由 BrainCo強腦科技 發表于 人文2023-01-03
簡介可以看到的是,猴子大腦的活動正發出運動指令,傳到日本,並且控制這個機器人的行走,而行走的鏡頭被髮送回杜克,所以猴子就能看到機器人的雙腿就在眼前行走,它也因此獲得獎勵,但獎勵並不是因為它自己身體的動作,而是來源於地球另一端的機器人在它大腦活動

通同作弊是什麼動物

原文來源:

Miguel Nicolelis: A monkey that controls a robot with its thoughts。 No, really。 | TED Talk

我們能不需要身體作為中間人,用我們的大腦直接控制機器嗎?

早在2000年,被譽為“腦機介面之父”的米格爾

·尼科萊利斯

教授就帶領他的團隊,給出了答案,他們實現了讓一隻猴子透過腦機介面技術在體外控制機械臂;2006年,他們讓在美國的一隻猴子僅用它的思想來控制一臺在日本的機器人行走,橫跨整個世界;2014年,全球逾十億觀眾見證了尼科萊利斯教授在“重拾行走計劃(WAP)”中透過腦機介面控制外骨骼,讓一位全身癱瘓的少年透過腦機介面控制外骨骼站起來併為巴西世界盃開球。

猴子用意念控制機器人,腦機介面之父米格爾·尼科萊利斯演講回顧

你可能好奇,在發明“機械戰甲”之前,這位“腦機介面之父”究竟都做了什麼?

本期的科普小課堂將帶你回顧尼科萊利斯教授在2013年發表的一次TED演講

讓我們一起走進尼科萊利斯教授探索“腦機介面”的前10年

米格爾·尼科萊利斯(Miguel Nicolelis):

神經生物學家、“腦機介面”領域的學術奠基人,美國杜克大學醫學院神經科學名譽教授,法國科學院和巴西科學院院士,被美國科普雜誌《科學美國人》評為全球最具影響力的20位科學家之一。2000年,尼科萊利斯在《自然》雜誌發表評論性論文,正式提出“腦機介面(BMI)”,開始被全世界使用。2014年,他在巴西世界盃上主導發明基於腦機介面技術的“機械戰甲”,幫助28歲的截癱青年朱利亞諾·平託為當屆世界盃開球。2021年,米格爾·尼科萊利斯宣佈加入非侵入式腦機介面公司BrainCo強腦科技任首席科學顧問。

米格爾·尼科萊利斯:《一隻猴子用意念控制一個機器人》

我和我同事們所從事的神經科學研究,就像是進行天氣預報觀測——我們總在觀測風暴,但這次我們想要觀測的是

頭腦風暴

。平日裡我們總在談論頭腦風暴,但我們很少真正看到或聽到它,所以每當我談到頭腦風暴時,總希望能先讓你們真實體驗一下。

猴子用意念控制機器人,腦機介面之父米格爾·尼科萊利斯演講回顧

實際上,這是我們第一次記錄到多個神經細胞:同時觀測100個腦細胞時所測到的電位發放—來自同一個動物的100個細胞。我們擷取到了思想的一個小片段,就這樣呈現在我們面前。

我總是告訴我的學生們,從某種意義上講,我們可以把神經學家叫做天文學家,因為我們所處理的這個系統包含數量巨大的細胞,數量大到只有宇宙中的星系數量可以比擬。現在,在數十億計的神經元中我們可以記錄到的(細胞),已經從10 年前的100個,到了現在的1000個。

我們想理解

人性的基礎

,因為這對我們來說是未知的。實際上

我們用來確立人性的一切,都源於這些頭腦風暴,

這些席捲我們大腦溝回的風暴,

形成了我們的記憶、信仰、情感,以及我們的未來規劃,我們每一個人所做的一切,都基於大量的神經細胞工作所產生的這些風暴。

而頭腦風暴的聲音,如果你們沒聽過的話,就是這個樣子的(現場音訊)。你們可以放大音量來聽。(現場音訊)我兒子說這就像“一邊聽著沒調準的收音機,一邊做爆米花”。

這就是大腦。這是這些電風暴在揚聲器中播放的聲音,你可以聽到一百個腦細胞同時開火的聲音,你我的大腦聽起來都像這樣,任何大腦都如此。而此時,

作為神經學家,我們想做的實際上就是欣賞這些交響樂——頭腦的交響樂,並試著獲取這其中承載的資訊

需要特別提一句的是,

大概12年前我們建立了一個模式,我們把它叫做腦機介面(BMI)。

我可以在這裡介紹一下它的工作原理。大致就是:使用某些感測器,去聆聽這些電風暴,與此同時,我們在這些風暴離開大腦到達動物四肢的半秒左右的時間內讀取這些訊號,將其中攜帶的運動資訊提取出來轉化成數字命令,併發送到人工裝置上,裝置將同步做出大腦指令的動作。透過比較裝置指令和動物身體所做的動作,我們可以衡量這種“資訊翻譯”的準確程度。如果我們可以提供反饋,把大腦控制下的機器人、機械裝置、計算執行器發出的訊號再次傳回大腦,大腦將如何處理這些從人工裝置接收回的資訊?

這就是我們 10 年前做的事情。我們在一隻名叫Aurora的猴子身上開始試驗,

它現在已經成了這個領域的超級巨星了。Aurora喜歡玩電子遊戲。就像你們現在看到的,就像我們和我們的孩子一樣,它喜歡用操縱桿玩這個遊戲,作為優秀的靈長類動物,找到正確答案前它甚至還會試著作弊,它需要用操縱桿控制游標穿過目標,但在目標出現之前Aurora就已經開始到處尋找目標了。只要它每次操作游標穿過目標,就可以得到一滴巴西橙汁。 我可以跟你們說,只需一小滴巴西橙汁,任何猴子都肯為你赴湯蹈火。這適用於任何靈長類動物。(笑)

透過玩你們看到的這種遊戲,Aurora每天進行一千次判斷,達到 97%的正確率,獲得350毫升橙汁獎勵。

我們記錄了Aurora大腦中產生的頭腦風暴,將它們傳送到一個機械手臂,機械手臂重現了Aurora正在進行的動作。因為我們的想法就是:開啟一個腦機介面,讓Aurora透過思考就可以玩遊戲,不需要肢體的加入,它頭腦發出的指令將控制機械臂,機械臂移動游標穿過目標。後來我們驚訝地發現,Aurora正是這麼做的。它玩遊戲時,完全無需移動自己的身體。

所以你們目前看到的每一條游標軌跡,都是來自那一刻它的頭腦風暴,

一個意識可以被靈長類動物從物理意義的身體中解放出來,並透過控制人工裝置,在外部世界進行動作。

可以看到Aurora一直玩遊戲,不斷尋找目標並得到它渴望的橙汁,在那個時候,它已經獲得了“新”手臂。

猴子用意念控制機器人,腦機介面之父米格爾·尼科萊利斯演講回顧

你們在這裡看到機械手臂的動作,是在第一個影片的30天后錄製的,在Aurora的大腦的控制之下,它正將游標移到目標。Aurora現在知道,它可以用機械臂玩這個遊戲,同時還可以隨心所欲使用自己的生物手臂去幹別的,用自己的手臂撓自己的背,可以撓我們,還可以玩另一個遊戲。總而言之,

Aurora的大腦已經整合了這個人工裝置,作為它身體的延伸,Aurora意識裡的自我已經擴充套件,它為自己增添了一隻手臂。

這就是我們 10 多年所做的事。

讓我們快進隨後的10 年

,就在去年我們意識到,你甚至不需要有一個機械裝置,你可以只生成一個計算意義的身體,一個猴子的化身,你就可以使用這個“化身”與猴子互動,或者訓練猴子,讓它們學會在一個虛擬的世界中以化身的角度,用大腦活動控制化身的肢體動作。

基本上,我們所做的就是訓練動物學習如何控制這些“化身”,探索出現在虛擬世界中的物件。這些物件看上去一樣,但當“化身”穿過物件表面,物件就會發出與自身表面微結構觸感對應的電資訊,這些電資訊反饋給猴子的大腦,告訴大腦,“化身”觸控到了什麼,短短四個星期內,大腦就學會了處理這種新的感覺,並建立起了新的感官通路——就像一種新的感覺。現在你真正地解放了大腦,因為可以讓大腦傳送運動命令來移動“化身”,同時來自“化身”的反饋可以直接透過大腦處理,無需面板的參與。

猴子用意念控制機器人,腦機介面之父米格爾·尼科萊利斯演講回顧

這裡看到的是任務設計,你將看到實驗動物觸控這三個目標,但它只能選擇其中一個,因為只有正確選中攜帶獎勵的目標才能獲得它們想要的橙汁,它必須使用並不實際存在的一隻虛擬手臂觸控和選擇(它們就是這麼做的)。

這是對大腦的徹底解放,從實際身體的限制中獲得解放,完成觸覺感知任務

猴子用意念控制機器人,腦機介面之父米格爾·尼科萊利斯演講回顧

可以看到這隻實驗動物正控制“化身”去觸控目標,它透過大腦直接接收電資訊來感覺紋理,大腦判斷哪種紋理會帶來獎勵,猴子看不見這個影片上的標示,它們也不懂英語,這裡的標示只是為了顯示正確的目標始終在變換位置,而動物仍然可以透過觸感的區別,找到並選擇它。

所以,讓我們看看這些動物的大腦:上方的影象中,你可以看到125個神經細胞的排列 顯示當動物使用操縱桿時,大腦的活動以及產生的電風暴的情況,這是每個神經生物學家都熟知的影象,神經元的排列方式顯示這些細胞正在編碼所有的可能方向;下面的影象是在身體停止移動,實驗動物開始控制機械裝置或者計算化身時的情況,就像我們重置電腦一樣快,大腦的活動開始發生變化,就像這個新工具本來就是這個靈長類動物身體的一部分一樣,大腦以最快速度同化了它。

這說明,

我們的感覺本身並不會中止於身體的最外層面板,而是中止於我們大腦控制的最終端的裝置工具。我們的小提琴、汽車、腳踏車、足球、衣服等等,它們都被這個叫做“大腦”的 “貪婪而令人驚歎的動態系統”同化了。

我們還能走得更遠麼?

在前幾年的實驗中,我們達到了新的高度。

猴子用意念控制機器人,腦機介面之父米格爾·尼科萊利斯演講回顧

我們曾讓一隻實驗動物在美國東海岸杜克大學的跑步機上運動,產生運動所需要的頭腦風暴。同時,我們有人形機器人裝置(CB1),放置在日本京都 ATR 實驗室。這個機器人一生的夢想就是獲得一個人類或其它靈長類動物的大腦指令。

可以看到的是,猴子大腦的活動正發出運動指令,傳到日本,並且控制這個機器人的行走,而行走的鏡頭被髮送回杜克,所以猴子就能看到機器人的雙腿就在眼前行走,它也因此獲得獎勵,但獎勵並不是因為它自己身體的動作,而是來源於地球另一端的機器人在它大腦活動的控制下正確走的每一步。更加有趣的是,這個過程(資訊環繞地球的往返時間間隔),比從猴子的大腦離開達到其本身的肌肉所花的時間還要短20毫秒。

一隻猴子正在移動地球另一端一個大於它身體六倍的機器人,這就是機器人自主行走的實驗之一。這是正在日本的CB1,在靈長類動物大腦活動的控制下,完成自己的夢想。

我們所談的所有這一切是為了什麼?除了學習我們雙耳間的這個“動態宇宙”,這項研究還可以用來做什麼?我們的想法是,

使用所有的這些知識和技術,嘗試解決世界上最嚴重的神經問題。

數以百萬計的人失去了將頭腦風暴翻譯成動作、翻譯成運動的能力。雖然他們的大腦還在產生這些風暴,為運動編碼,但他們無法跨越脊髓病變所製造的障礙。

猴子用意念控制機器人,腦機介面之父米格爾·尼科萊利斯演講回顧

所以我們的理念是繞道而行,

用腦機介面技術來讀取這些訊號,放大這些攜帶“重新運動願望”的頭腦風暴,利用計算機工程繞過病變組織,將它傳送到一個新身體,一個可以稱為外骨骼的完整身體。

這個完整的機器人裝置,將成為這些患者的全新軀體。

你們眼前的這個圖景,由一個叫做“

重拾行走計劃(WAP)

”的非營利組織製作,這個組織聚集了來自歐洲、美國和巴西的科學家,為構建這個“全新軀體”而共同努力。我們相信,與Aurora和其它猴子在腦機介面技術中所使用的合成裝置一樣,我們可以把它們整合並應用於日常生活。透過同樣的合成裝置,我們希望能讓這些病人不僅能夠把他們想要做的動作翻譯成新身體的動作,同時還可以與這個大腦控制的新身體完美融合。

10 年前,別人告訴我這是痴人說夢,幾乎是不可能的。作為一個科學家,我只能告訴你:60年代中期,我在巴西南部長大,看著幾個瘋狂的傢伙告訴我們說他們會去月球。那時我五歲,我想不通美國國家航空航天局(NASA)為什麼不僱柯克船長和斯波克(電影《星際迷航》中的兩個著名角色)去登月。畢竟,這方面他們才是專家。但兒時所見的這一切令我相信,我祖母曾經告訴過我的話,

“所有不可能其實都是可能的,只是人們還沒有付出足夠的努力讓它們成真”。

所以,當有人告訴我,讓一個人恢復行走能力是不可能的時候,我覺得我還是會相信我祖母的建議。

謝謝。

“這項研究對四肢癱瘓的人有很大的影響——也許對我們所有人都有影響。

事實上,它為

2014

年世界盃的外骨骼提供了動力。”

TED官網評)

參考資料:

1

Miguel Nicolelis: A monkey that controls a robot with its thoughts。 No, really。 | TED Talk

2

專訪腦機介面研究先驅米格爾 尼科萊利斯:馬斯克的觀點我不同意 | 雷峰網 (leiphone。com)

雷鋒網2017-07-06

3

專訪“腦機介面之父”米格爾·尼科萊利斯—新聞—科學網 (sciencenet。cn)

中國科學報2022-2-7

4

腦機介面權威:不會有心靈感應,也不會有永生—新聞—科學網 (sciencenet。cn)

科學網2020-11-08

推薦文章