AI 是否擁有意識？從意識的定義說起

鮮少探索人類意識的科學家們，開始討論起「AI 意識」。

作者 | Antonio

編輯 | 陳彩嫻

毫無疑問，人類有自己的意識。在某種意義上，這種「意識」甚至可以被視為人類智慧的內涵之一。

隨著「人工智慧」（Artificial Intelligence）的深入發展，「AI 能否擁有意識」也漸漸成為科學家們心中的一個疑問，「意識」也被視為衡量 AI 是否智慧的標準之一。

例如，2月中旬，OpenAI 的首席科學家 IIya Sutskever 就曾在推特上發起對 AI 意識的討論。當時，他說：

如今的大型神經網路可能已初具意識。

他的觀點立即引起了一眾 AI 大咖的討論。針對 IIya Sutskever 的見解，圖靈獎得主、Meta AI 首席科學家 Yann LeCun 首先就丟擲了反對意見，給出一個直截了當的觀點：「Nope。」（不。）Judea Pearl 也力挺 Lecun，表示現有的深度神經網路還無法「深度理解」某些領域。

唇槍舌戰幾回合後，Judea Pearl 稱：

……事實上我們都沒有一個關於「意識」的正式定義。我們唯一能做的也許就是向歷代研究意識的哲學家請教。。。

#FormatImgID_4#

這是一個關於源頭的問題。如果需要討論「AI 意識」，那麼：什麼是「意識」？擁有「意識」意味著什麼？要回答這些問題，光有計算機知識是遠遠不夠的。

事實上，關於「意識」的討論最早可以追溯到古希臘「軸心時代」。自那時起，「意識」作為人的認識論的本質就已成為後代哲學家們無法迴避的議題。關於 AI 意識的討論興起後，曾任 OpenAI 研究科學家的學者 Amanda Askell 也就該話題作了一番有趣的見解。

圖注：Amanda Askell，她的研究方向是 AI 與哲學的交叉

在她的最新博文《My mostly boring views about AI consciousness》中，Askell 探討了現象學意義上的「現象意識」（phenomenal consciousness），而非「自覺意識」（access consciousness）。

現象意識強調主體的體驗過程，側重感覺、經驗，

被動注意

；而自覺意識則強調主體的主觀能動性，它強調主體在主觀上的

主動留意

。比如，你在輕鬆的音樂下寫作業，你可以

感受

到背景中的音樂（現象意識），但不會留意它的具體內容；作業對你而言是主觀

留意

的（自覺意識），你真切地知道你到底在做什麼。

這有點像計算機視覺和認知科學中常用到的兩種不同的注意力機制。現象意識對應「bottom-up」，而自覺意識對應「top-down」。

圖注：一眼就可以注意到書本的大字部分是「現象意識」；意識到其中的細節則屬於「自覺意識」。

Askell 認同更高階的智慧和自覺意識更相關，這也可以將人類和其它動物有效地區分開來，但她「更感興趣的是老虎與岩石的區別，而不是人與老虎的區別」，而現象意識足以完成這樣的區分。

而且她認為，如果出現了「現象意識」，就意味著一些道德和倫理問題也將隨之出現。這也是她認為研究意識具有重要意義的原因所在。

1

當下的AI系統是否有意識？

Askell 提出一個有趣的觀察：

當下的 AI 系統比椅子更有可能具有現象意識，但遠不如老鼠有意識，甚至還沒有昆蟲、魚或雙殼類動物有更多意識。

她把 AI 系統大致類比為植物的區域——由於植物的行為方式似乎需要規劃，並且可以做出一些看似需要內部和外部交流的事情。AI 系統似乎也有類似的行為。

不過她也確信，AI 系統作為一個整體

在未來

會比植物或雙殼類動物具有更大的意識潛力。尤其未來有更多受生物啟發的神經網路的AI研究可能會產生更多與意識相關的架構、行為和認知系統。

圖注：有研究已經表明，植物也具有意識和智慧，它們也可以感知疼痛，並與環境很好地交流互動

那麼考慮AI到底有無意識，該從哪些方面考慮證據呢？Askell 列出了四個型別的證據：

架構、行為、功能和理論

。

架構證據是指系統的物理結構與人類的相似程度，例如大腦的結構要遠比指頭的更加像有意識。

行為證據是實體做出與意識、認知等相關的行為，例如可以意識到周圍環境，對外部刺激的反應，或更復雜的行為，如言語和推理。

功能性證據考慮它的目標以及這些目標與環境的關係。例如桌子或椅子並沒有真正受到環境的演化壓力，因此它沒有任何理由形成像老鼠對環境所擁有的的那種意識。

理論證據包括理論本身的連貫性、說服力等。

現在研究心智的哲學家大致有兩方面的理論傾向：一是包容派，例如認為原子都可以擁有意識的泛心派；二是機械主義派，他們否認非人類實體擁有意識。但無論是哪種傾向，都可以從上述的四種不同證據中討論 AI 的意識問題。

2

AI 是否有意識重要嗎？

絕大多數 AI 從業者都不會將意識這一特性考慮進去，AI 和意識似乎還只存在於某些科幻電影對未來的想象中。不過在安全、倫理、偏見與公正性方面，意識與 AI 的結合已在學術界和工業界中引起越來越多的重視。

Askell 認為，AI 具有現象意識，這就意味著它很有可能發展出倫理觀，而這與它的創作者之間有莫大關係。尤其是當 AI 犯了錯誤或者受到「虐待」的時候，它的創造者應該承擔一定的責任。

Askell 討論了道德倫理學中的兩個重要概念：道德行為體（moral agent）和道德關懷物件（moral patient）。其中，「道德行為體」是具有分辨善惡對錯能力、並可以承擔後果的行為體，如成年人；而「道德關懷物件」則無法分辨善惡是非，即無法從道德上進行約束、一般不會承擔後果的實體，如動物或者幼小的嬰兒。

道德關懷物件

Askell 認為，實體一旦擁有類似快樂和痛苦的

道德關懷物件

就極可能成為道德關懷物件。而如果發現道德關懷物件（比如一隻貓）受到

知覺（sentisent）

，而普通人卻沒有試圖去盡道德義務減輕其痛苦，這是不合理的。她同時認為，現象意識是感知的必要條件，因而進一步，現象意識是成為道德關懷物件的先決條件。

可能的爭論是某些群體是否具有道德地位（moral status），或者是否擁有更高的道德地位。道德地位來自倫理學，是指一個群體是否可以從道德意義上討論它們的過失。例如，多數生物具有道德地位，而無生命物體則沒有。過分強調某一群體具有這一地位似乎在暗示這一群體更加重要，其他群體沒那麼重要。這就像「給予動物、昆蟲、胎兒、環境等更多道德地位的論點一樣讓人擔憂」。

Askell 指出，幫助一個群體並不需要以犧牲其他群體為代價。例如，食用素食對動物和人類健康都有好處。「團隊通常不會競爭相同的資源，我們通常可以使用不同的資源來幫助兩個團隊，而不是強迫在它們之間進行權衡。如果我們想增加用於全球脫貧的資源，將現有的捐款從慈善事業中拿出來並不是唯一的選擇——我們還可以鼓勵更多的人捐款和捐款。」

所以，當未來有感知能力的 AI 系統成為道德關懷體時，並不意味著我們對其它人類的福祉不再關心，也不意味著我們需要轉移現有資源來幫助他們。

痛苦

道德行為體因為懂得善惡是非，他們傾向以好的方式行事，避免以壞的方式行事。當做了道德或法律上不允許的事情的時候，他們會受到相應的懲罰。

道德行為體中最弱的部分只需要對積極和消極的激勵做出反應。這就是說，另外的實體

道德行為體

該行為體的不良行為或獎勵其良好行為，因為這將改善行為體今後的行為。

值得注意的是，Askell 指出：

道德行為體

。當前的 ML 系統在某種意義上已經符合這一規律，比如模型需要降低損失函式，或者強化學習中更明顯的「獎勵」和「懲罰」。

圖注：強化學習的獎勵反饋機制

那麼對於更強的道德行為體呢？我們通常認為，只有當行為體有能力理解是非對錯，並沒有被糊弄採取其它行為時，Ta 才能對他們的行為負有道德責任。比方說，一個人說服他的朋友在森林放火，如果這位朋友被抓到，不管他怎麼辯解自己是受到別人教唆才放火的，承擔道德責任的都是引發火災的人（即朋友本人），而不是說服他的人。但是，如果一個人訓練他的狗去放火，在這種情況下，我們會將大部分的道德責任放在這位訓練師而不是他的寵物身上。

為什麼我們讓人類縱火犯承擔道德責任，而不是訓練有素的狗？首先，人類縱火犯有能力考慮他們的選擇，並選擇不聽從朋友的勸說，而狗則缺乏這種能力來推理他們的選擇。其次，狗從不明白自己的行為是錯誤的，也從不表現出做錯事的意圖（disposition）——它只是做了它受過訓練的事情。

假設先進的機器學習系統在這種更強的意義上成為道德行為體，即它完全有能力理解是非，充分考慮可行的選項，並按照自己的意願行事，那麼這是否意味著：

如果機器學習系統做錯了事，那些建立該系統的人應該被免除道德責任？

對此，Askell 持反對意見。為了更加細緻地考慮這一問題，她認為可以詢問創造者們以下幾個問題：

創造特定的實體（如AI）預期的影響是什麼？

創造者為獲得有關其影響的證據付出了多少努力？

他們對他們創造實體的行為可以在多大程度上進行控制（無論是直接影響其行為還是間接影響其意圖）？

在他們力所能及的範圍內，他們為改善實體的行為付出了多少努力？

即使創造者盡一切努力確保 ML 系統執行良好，它們還是可能會失敗。有時這些失敗還是由於創造者的錯誤或疏忽而導致的。Askell 認為：

創造道德行為體肯定會使事情複雜化，因為道德行為體比自動機（automata）更難預測，

比方自動駕駛對於路況的判斷。但這並不能免除創作者為其創造的 AI 系統的安全問題負責的義務。

可以懲罰

接收刺激並得到反饋似乎並不要求現象意識

目前 AI 領域專門針對意識（甚至其它哲學方面的思考）的研究非常少，但也已經有學者在針對該話題進行跨領域的合作研究。比如，GPT-3問世後，專注哲學問題探討的部落格 Daily Nous

3

就專門開闢了一個板塊討論語言哲學在 AI 上的思考。

但同時，Askell 強調，對 AI 意識的討論不應僅僅停留在哲學式的抽象思辨上，還要致力於發展相關的實用框架，比如為機器意識和感知建立一系列高效的評估。目前已經有一些方法可以用於檢測動物疼痛，似乎可以從那裡獲得一些靈感。

反過來說，我們對 AI 意識的理解多一分，對人類本身的理解就多一分。因此，對 AI 意識的討論雖暫未達成統一的共識，但討論本身已是一種進步。期待更多的 AI 意識研究工作。

研究 AI 意識的工作有多重要？

https：//askellio。substack。com/p/ai-consciousness？s=r

雷峰網