劍橋高階機器學習講師Ferenc Huszár評馬騰宇新作：它改變了我對上下文學習的思考方式

不久前，劍橋高階機器學習講師 Ferenc Huszár 在個人部落格上力薦斯坦福馬騰宇與 Percy Liang 團隊的工作《將上下文學習視作隱式貝葉斯推理的闡釋》（被 ICLR 2022 接收），稱其改變了他“對上下文學習以及將語言模型訓練成小樣本學習工具的思考方式”。

對一項工作的深入思考與精彩點評，同樣是科學進步的源泉。同行切磋，堪比華山論劍。為此，AI科技評論將馬騰宇團隊的新作進行簡單介紹，並整理了 Ferenc Huszár 的評論筆記，希望對該領域的研究者有所啟發。

作者 | 叢末

編輯 | 陳彩嫻

1

從隱式貝葉斯推理看上下文學習

根據 Ferenc Huszár 的介紹，他是在 ICLR 審稿期間閱讀到馬騰宇等人的這篇工作，覺得該論文所取得的成果十分引人入勝，並進行了深入思考。

ICLR 2022 在去年11月公佈初審結果，馬騰宇團隊有3篇工作入選，《將上下文學習視作隱式貝葉斯推理的闡釋》（An Explanation of In-Context Learning as Implicit Bayesian Inference）便是其中之一。

作者：Sang Michael Xie， Aditi Raghunathan， Percy Liang，馬騰宇

論文地址：https：//arxiv。org/pdf/2111。02080。pdf

馬騰宇與Percy Liang分別為斯坦福大學計算機系的助理教授與副教授，是人工智慧領域的著名新秀，都曾獲得斯隆研究獎，其研究工作受到同行關注。

圖注：馬騰宇

如AI科技評論此前對

馬騰宇

的專訪介紹，馬騰宇主要從事人工智慧基礎理論的研究工作，課題覆蓋非凸最佳化、深度學習及理論等等。這篇被 ICLR 2022 接收的工作也是從理論出發，研究上下文學習/

語

境學習

（In-Context Learning）與隱式貝葉斯推理之間的關係。

當前，GPT-3等大規模預訓練語言模型進行上下文學習的表現驚人：模型只需基於由輸入—輸出示例組成的提示進行訓練，學習完成下游任務。在沒有明確經過這種預訓練的情況下，語言模型會在正向傳播過程中學習這些示例，而不會基於“分佈外”提示更新引數。

但研究者尚不清楚是什麼機制讓上下文學習得以實現。

在這篇論文中，馬騰宇等人研究了在預訓練文字具有遠端連貫性的數學設定下，預訓練分佈對上下文學習的實現所起到的作用。在該研究中，對語言模型進行預訓練需要從條件文字中推斷出潛在的文件級別概念，以生成有連貫性的下一個標記。在測試時，該機制透過推斷提示示例之間共享的潛在概念，並應用該概念對測試示例進行預測，從而實現上下文學習。

他們證明了：當預訓練分佈是混合隱馬爾可夫模型時，上下文學習是透過對潛在概念進行貝葉斯推理隱式地產生的。即便提示和預訓練資料之間的分佈不匹配，這種情況依舊成立。

與自然語言中用於上下文學習的混亂的大規模預訓練資料集不同，他們生成了一系列小規模合成數據集（GINC），在這個過程中，Transformer 和 LSTM 語言模型都使用了上下文學習。除了聚焦預訓練分佈效果的理論之外，他們還實證發現，當預訓練損失相同時，縮放模型的大小能夠提高上下文（預測）的準確性。

2

Ferenc Huszár 的評價

Ferenc Huszár 是劍橋大學計算機系的高階機器學習講師，對貝葉斯機器學習有深入的研究。2016年與2017年，他在基於深度學習的影象超解析度與壓縮技術上取得兩大突破（如下），谷歌學術引用了超過1萬4。

Photo-realistic single image super-resolution using a generative adversarial network（谷歌學術引用7。5k+）

Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network（3。5k+）

圖注：Ferenc Huszár

Ferenc Huszár 對馬騰宇等人的工作給予了高度評價。AI科技評論對 Ferenc 的點評做了不改原意的整理：

我喜歡這篇論文，因為它與可交換性（exchangeability）相關，這是我最喜歡的概念和想法之一。它讓我想起了我在2015年（當時還處於深度學習的發展早期）的想法——利用可交換序列模型實現大規模通用學習機。在那篇舊博文中，我對可交換模型做了如下思考：

如果我們有一個可交換的迴圈神經網路（RNN），我們就可以在同一輸入空間的多個無監督學習問題上對它進行訓練。這個系統其實就學會了學習。如果想在一個新的資料集上使用該系統，只需將它輸入到迴圈神經網路中，它就能夠輸出貝葉斯預測機率，無需任何額外的計算。所以，它就是一個終極通用推理機。

實際上，終極通用推理機（很慶幸我給它註冊了商標）跟 OpenAI 的 GPT-3 有時給人呈現的樣子和使用的方式並沒有太大區別。實踐顯示，使用者可以在多種多樣的任務中將它們重新調整為小樣本（或在某些情況下為零樣本）學習工具。語言模型的這種透過輸入精心設計的提示來解決不同任務的能力，有時候被稱為“提示駭客”（prompt-hacking）或“上下文學習”。

老實說，在我讀到馬騰宇等人發表的這篇論文之前，我從來沒有把大型可交換序列模型視作通用學習工具的動機和使用GPT-3進行上下文學習的最新趨勢聯絡起來。事實上，我對後者深表懷疑，認為它本質上就是必然存在根本缺陷的另一種駭客行為。但是這篇論文將這些點都聯絡起來了，這也是它為什麼如此吸引我的原因，因為我永遠無法想到“提示駭客行為”和上下文學習竟然完全一樣。

1）將可交換序列作為隱式學習機

在探討這篇論文前，讓我們先來溫習下關於可交換序列和隱式學習的已有概念。

可交換序列模型是一個序列機率分佈

，在序列

中，對於任意一個置換 π，該分佈都是對標記的置換不變數。

de Finetti 定理將這些序列模型與貝葉斯推理聯絡在一起，假設任意分佈都可以分解成混合獨立同分布（I。I。D。）序列模型：

因此，前一步的預測分佈（用來預測序列的下一個標記）總能分解成貝葉斯積分：

其中，

是由先驗

計算得到的貝葉斯後驗，計算的貝葉斯公式為：

在這種情況下，如果我們有一個可交換序列模型，就可以將這些前一步的預測分佈視作隱式執行的貝葉斯推理。關鍵是，即便我們並不知道θ個 π 是什麼，以及可能性

是什麼，也能實現這一操作。我們不必明確指出公式的這些組成部分是什麼，de Finetti 定理都能夠確保這些組成部分都存在，而只需要讓預測

與可交換序列模型保持一致。

這一想法驅使我透過構建這一模型，來嘗試設計總是能夠產生可變換分佈的迴圈神經網路（當時Transformer 還沒有出現）。最終證明這種想法很難實現，不過這一想法最後衍生出了 BRUNO（名字取自Bruno de Finetti）這一工作。

論文地址：https：//arxiv。org/pdf/1802。07535。pdf

BRUNO 是一個用於可交換資料的靈活的元訓練模型，擁有小樣本概念學習能力。這個想法後來在 Ira Korshunova 的博士論文中得到多種方式的拓展。

2）從可交換序列到混合隱馬爾可夫模型（HMM）

但GPT-3是一個語言模型，很明顯語言標記是不可交換的，所以兩者聯絡是什麼？

伴隨著de Finetti 型定理出現了一些引人關注的泛化成果，可交換性的概念也出現了一些有趣的擴充套件。Diaconis、Freedman（1980）等人定義，偏導可交換性（Partial exchangeability），指的是能確保序列可被分別為混合馬爾可夫鏈的序列分佈的不變屬性。因此，可以說，使用偏導可交換過程對馬爾可夫鏈進行貝葉斯推理，與使用可交換過程對獨立同分布（I。I。D。）資料生成過程進行推理的方式非常相似。

馬騰宇等人在這篇論文中，假設使用的序列模型是混合隱馬爾可夫模型。這比 Diaconis 和Freedman 提出的偏導可交換混合馬爾可夫鏈更具泛化性。

我不知道是否混合隱馬爾可夫模型能用可交換性此類的不變性來表徵，但這不打緊。實際上這篇論文根本沒有提及可交換性，其關於隱式貝葉斯推理的核心論點是：每當使用由簡單分佈組成的序列模型時，可以將前一步的預測闡釋為“對一些引數隱式地進行貝葉斯推理”。雖然網際網路上人類語言的分佈不太可能遵循多觀察隱馬爾可夫模型（Multi Observation Hidden Markov Model，MoHMM）分佈，但假設GPT-3輸出的序列可能是混合隱馬爾可夫模型的某些部分，這種說法就是合理的。並且如果真是這樣，預測下一個標記就會對一些引數（作者所指的“概念”）隱式地進行貝葉斯推理。

3）上下文學習和隱式貝葉斯推理

這篇論文的核心思想是，也許上下文推理能夠利用這種與語言統計模型密切相關的隱式貝葉斯推理來解決問題。語言模型能夠學習隱式地對任何概念進行機率推理，因為要想在預測下一個標記的任務上表現得好，就必須進行這種推理。如果模型具備這種隱式學習能力，那它就能夠操縱這種能力去執行其他同樣需要這種推理的任務，包括小樣本分類等等。

我認為這是一個非常有意思的泛化想法。

但令我稍感遺憾的是，作者聚焦的關鍵問題是特定性和人為性：

雖然多觀察隱馬爾可夫模型可以用來“補全”從某個特定的隱馬爾可夫模型（混合組成部分的其中一個）中提取的序列，但如果讓多觀察隱馬爾可夫模型補全它們根本無法直接生成的序列，例如一個人為構建的嵌入了小樣本分類任務的序列，會發生什麼？這就變成了一個分佈不匹配的問題。

論文關鍵的發現在於，即便這種分佈不匹配，多觀察隱馬爾可夫模型中的隱式推理機制也能夠識別正確的概念，並且能在小樣本任務中使用這種分佈來做出正確的預測。

這一分析為嵌入序列中的上下文學習任務與多觀察隱馬爾可夫模型分佈的相關性，做出了強有力的假設（具體細節請閱讀原論文）。從某種程度上來說，

作者研究的上下文任務，與其說是一個分類任務，不如說是一個小樣本序列補全任務。

總而言之，這是一篇值得思考的、有意思的論文，它顯著地改變了我對整個上下文學習以及將語言模型訓練成小樣本學習工具的研究方向的思考方式。

大家怎麼看？

參考連結：

1。https：//www。inference。vc/implicit-bayesian-inference-in-sequence-models/

2。https：//www。inference。vc/exchangeable-processes-via-neural-networks/

雷峰網