斯坦福教授曼寧：展望NLP自然語言處理發展前景

導讀：NLP領域著名學者，斯坦福大學教授克里斯托弗 · 曼寧（Christopher Manning）在美國人文與科學學院（AAAS）期刊的 AI & Society 特刊上發表了題為《Human Language Understanding & Reasoning》的文章。從NLP學界、業界的現實出發，回顧了NLP語言模型的發展歷史，展望大型語言模型的發展趨勢，並對語言模型理解人類語言的本質做了哲學層面的探討。NLP語言模型是否在向認知智慧的“奇點”鄰近，讓我們循著大師的理解來一探究竟。

翻譯：達觀資料解決方案副總監 高長寬

Abstract

：

在過去的十年裡，透過使用簡單的人工神經網路計算，基於以GPU、TPU為代表的強大算力資源，並在巨量的資料上進行訓練，自然語言處理取得了令世人矚目的成就和突破。由此產生的預訓練語言模型，如BERT和GPT-3，提供了一個強大的通用語言理解和生成基礎（A Powerful Universal Language Understanding and Generation Base），它們可以很容易地遷移到許多語義理解、智慧寫作和推理任務當中。這些模型顯示了一種更普遍的人工智慧形式的雛形，這可能會導致在語言以外的感官經驗領域產生強大的基礎模型（Foundation Models）。

當科學家們考慮人工智慧時，他們大多想到的是對個體人腦的能力進行建模或再造。但是，現代人類的智慧遠遠超出了個體大腦的智慧。人類的語言是強大的，對我們這個物種來說是變革性的，它不僅是人類區別於其他動物的最顯著的特徵，更因為它提供給人類一種將眾多個體大腦“聯網”的方法。人類個體可能並不比我們的近親黑猩猩或倭黑猩猩的智力高多少。這些猿猴已被證明擁有許多人類智慧的標誌性技能，諸如使用工具、做計劃和在族群中獲取權力。此外，它們的短期記憶比我們更好。

直到現在，人類發明語言的時間仍然是不確定的，也許永遠都是不確定的，但是在地球生命漫長的進化史中，人類只是在最近很短的時間內不可思議地發展出了語言。原生動物、猴子和猿類的共同祖先可以追溯到6500萬年前；人類從黑猩猩中分離出來可能是600萬年前，而人類的語言一般被認為只有幾十萬年的歷史。儘管我們不像大象那樣強壯，也不像獵豹那樣快，然而，一旦人類發展出了語言，交流、溝通的力量會迅速導致智人超越其他生物。最近幾十萬年，人類才發展出文字（僅在五千多年前），並逐漸擁有了建構複雜句子的能力，使得知識能夠在不同的時間和空間的進行流轉。在短短的幾千年裡，這種資訊共享機制把我們從悠遠的青銅時代帶到了現今的智慧手機時代。一個高保真編碼既允許人類之間的理性討論，也允許資訊的傳播，這使得複雜社會的文化演變和現代技術知識積累成為可能。語言的力量是人類社會智慧的根本，在人類能力被人工智慧工具逐步增強的未來世界中，語言仍將保持重要的作用。

鑑於上述原因，自然語言處理（NLP）領域是人工智慧的最早的熱門研究方向之一。事實上，關於機器翻譯這類NLP問題的最初工作，包括1954年著名的Georgetown-IBM演示，甚至略早於1956年 “人工智慧 ”一詞的誕生。然後，我描述了最近NLP的戲劇性發展，這些發展源自對大量資料進行訓練的大型人工神經網路模型的使用。我追溯了在使用這些技術建立有效的NLP系統方面所取得的巨大進展，並在最後對這些模型所取得的成就和該領域下一步的發展方向提出了自己的一些想法。

到目前為止，自然語言處理的歷史可以大致分為四個階段。

第一個階段，是從1950年開始再到1969年結束。NLP研究肇始於對機器翻譯的研究。人們想象，翻譯可以迅速建立在計算機在二戰期間破譯密碼的巨大成功之上。冷戰時期，美蘇兩方的研究人員都試圖開發能夠翻譯其他國家的科學成果的系統。然而，在這個時代的開始，人們對人類語言的結構、人工智慧或機器學習幾乎一無所知。現在回想起來，當時可用的算力和資料規模小得可憐。雖然最初的系統被大張旗鼓地推廣，但這些系統只提供了單詞級的翻譯查詢和一些簡單的、不是很有原則的基於規則的機制來處理單詞的屈折形式（詞法）和詞序。

第二個階段，是從1970年到1992年，這段時間開發了一系列的NLP示範系統，在處理人類語言中的句法和參照物等現象方面表現出複雜性和深度。這些系統包括Terry Winograd的SHRDLU，Bill Woods的LUNAR，Roger Schank的SAM等系統，Gary Hendrix的LIFER，以及Danny Bobrow的GUS。

語言學和基於知識的人工智慧發展迅猛，在這個時代的第二個十年，新一代的手工構建（Hand-Built）的系統出現了，它們在陳述性語言知識和程式性處理之間有了明確的分離，並且受益於一系列更現代的語言學理論的發展。

然而，NLP的工作方向在第三個階段發生了顯著的變化，大約是在1993年~2012年期間。在這一時期，數字化的文字資料大量出現，引人注目的方向是開發能夠在大量自然文字上實現某種程度的語言理解（Language Understanding）的演算法，並利用這些文字的存在來幫助提供這種能力。這導致該領域圍繞NLP的經驗性機器學習模型進行了根本性的重新定位，也就是從規則轉向統計，這一方向至今仍主導著該領域。在這一時期的開始，主流的操作方式是掌握可觀數量的線上文字——在那些日子裡，文字資料集一般都在幾千萬字以下——並從這些資料中提取某種模型，主要是透過計算特定的事實。例如，你可能會了解到，人們捕捉到的事物種類在有人的地點（如城市、城鎮或堡壘）和隱喻性概念（如想象力、注意力或本質）之間相當均衡。但是，在提供語言理解能力方面，對詞彙的計數只能走到這一步，早期從文字集合中學習語言結構的經驗性嘗試相當不成功。這導致該領域的大多數人集中於構建基於人工標註的語言資源，比如標註詞語在某一場景下特定含義、文字中人名或公司名稱的例項，或treebank中句子的語法結構，然後使用有監督機器學習技術來構建模型，在執行時對新的文字片段產生類似的標籤。

2013年至今延續了第三個階段的經驗取向，但由於引入了深度學習或人工神經網路方法，這項工作發生了巨大的變化。在這種方法中，詞彙和句子的語義透過在一個（幾百或一千維）實數向量空間中的位置來表示，而意義或句法的相似性則透過在這個空間中的接近程度（距離遠近）來表示。從2013年到2018年，深度學習為建立高效能的模型提供了更強大的基線方案：更容易對較長距離的語境進行建模，而且模型對具有相似含義的詞彙或短語的泛化性更好，因為它們可以利用向量空間中的接近性，而不是取決於符號層面的相似性（比如兩個詞彙在詞形方面很接近，但意義無關甚至相反）。儘管如此，在建立有監督的機器學習模型以執行特定的分析任務方面，這種方法是不變的。

word2vec模型訓練原理示例

經word2vec訓練後，得到的詞彙表示在語義空間可以進行加減乘除等數學運算

然而，一切都在2018年10月份之後發生了變化 ——- 當時NLP是非常大規模的自監督神經網路學習的第一次重大成功。在這種方法中，模型只需接收到極大量（20GB起步）的文字（現在通常是幾十億字），就能學習到大量關於語言和現實世界的大部分知識。做到這一點，得益於transformer系模型強大的自監督學習方式：模型從文字中自動建立能挑戰自己的預測任務——-類似“完形填空”，例如， 例如在給定先前詞彙的情況下依次識別文字中的每個下一個單詞，或在文字中填寫一個被遮掩的詞彙或短語。透過數十次重複這樣的預測任務，並從錯誤中學習，所以模型在下一次給定類似的文字上下文語境時做得更好，由此關於語言和現實世界的一般知識被積累起來，然後這些知識可以被應用到下游的語義理解任務中，比如文字分類、文字檢索、情緒分析或閱讀理解。

事後看來，大規模自監督學習方法（Large-Scale Self-Supervised Learning Approaches）的發展很可能被視為根本性的變化，而第三個階段2017年戛然而止。基於自監督的預訓練方法的影響是革命性的：現在有可能在大量未標記的人類語言材料上訓練模型，從而產生一個大型的預訓練模型，透過微調（Fine-Tuning）或提示（Prompting），可以輕而易舉的在各種自然語言理解和生成任務取得較好的結果。因此，NLP的進展和興趣已經爆炸性增長。 樂觀一些的看法是，具有一定程度通用智慧的蘊含海量知識的系統（Knowledge-Imbued Systems）正逐漸湧現。

我不能在這裡對現在占主導地位深度學習預訓練模型進行全面描述，因為18年~22年期間誕生的此類模型及其變種實在是太多了，但我可以提供一個線索。這些模型透過實數向量來表示一切，並且能夠在接觸到許多文字資料後，透過誤差的反向傳播（歸結為做微分計算）從一些預測任務回到文字中的詞的表示，從而學習到較好的語義表示。自2018年以來，NLP應用的主流模型一直是transformer系的神經網路。transformer是一個比早幾十年探索的簡單的詞彙序列神經網路複雜得多的模型。其主導思想是attention（注意力機制），透過這種思想，一個位置的表徵被計算為其他位置的表徵的加權組合。transformer模型中一個常見的自監督目標是遮掩文字中的偶發詞（Occasional Words）。該模型會計算出曾經出現過的詞彙。它透過從每個詞的位置（包括遮蔽位置）計算出代表該位置的查詢、鍵和值的向量來實現這一目標。將某個位置的查詢與每個位置的值進行比較，以計算出對每個位置的關注程度；在此基礎上，計算出所有位置的值的加權平均值。這個操作在transformer神經網的每一層都要重複多次，所得的值透過全連線神經網層並透過使用歸一化層和殘差連線進一步處理，為每個詞產生一個新的向量。整個過程重複多次，給transformer神經網帶來額外的深度層。最後，掩碼位置上方的表示應該捕捉到原始文字中存在的詞彙。例如，如圖1所示的committee：

透過transformer深度神經網路的諸多簡單計算可以實現或學習什麼，這一點很難直觀瞭解到。起初，這可能聽起來像是某種複雜的統計關聯學習器（Statistical Association Learner）。然而，考慮到像transformer這樣一個非常強大的、靈活的、高參數的模型和海量的文字資料來學習和預測，這些模型發現並表徵了人類語言的大部分結構。事實上，很多研究表明，這些模型學習並表徵了語句的句法結構，並將學習、記憶現實世界中的許多事實，因為這些東西都有助於模型成功地預測遮蔽詞（Masked Words）。此外，雖然預測一個被遮掩的詞最初看起來是一個相當簡單和低層次的任務——一種無幽默感的 “瘋狂的自由”，而並不是什麼複雜的任務，如用圖示顯示一個句子的語法結構，但這項任務被證明是非常強大的，因為它是普遍的：每一種形式的語言和世界知識，從句子結構、詞的內涵和關於現實世界的事實，幫助人們更好地完成這一任務。因此，這些模型集合了它們所接觸的語言和現實世界的大量一般知識。一個這樣的大型預訓練語言模型（LPLM）可以被應用到許多特定的NLP任務中，只需要少量的訓練資料做進一步“指導”。從2018年到2020年，這樣做的標準方式是透過少量的額外有監督學習對模型進行微調，對感興趣的特定任務（如情緒分析、閱讀理解和實體抽取）進行訓練。但是最近，研究人員出人意料地發現，這些模型中最大的模型，如GPT-3（Generative Pre-trained Transformer-3），只需一個提示（Prompt）就可以很好地完成新的任務。給他們一個人類語言描述或幾個希望他們做什麼的例子，他們就能完成許多他們從未接受過訓練的任務。

傳統的自然語言處理模型是由幾個通常獨立開發的元件精心“拼裝”而成的，經常被構建成一個流水線（Pipeline），它首先捕捉文字的句子結構和低層次的實體，然後再理解一些高層次的語義資訊，並將其輸入一些特定領域的執行元件。在過去的幾年裡，各公司已經開始用LPLM來取代這種傳統的NLP解決方案，通常會對其進行微調以執行特定的任務。我們可以期待這些系統在2020年代做什麼？早期的機器翻譯系統涵蓋了有限領域的有限語言結構。基於平行翻譯語料庫建立大型統計模型，使得具有較強泛化能力的機器翻譯成為可能，這是大多數人在2006年穀歌翻譯推出後首次體驗的東西。十年後的2016年底，當谷歌轉向使用神經機器翻譯時，谷歌的機器翻譯有了明顯的改善。但該系統的壽命較短：基於transformer的神經網路翻譯在2020年推出。這個新系統不僅透過不同的神經架構，而且使用與以往網路結構截然不同的模型進行最佳化。新系統不是從平行文字中建立雙語匹配，從而在兩種語言之間進行翻譯，而是從一個巨大的神經網路中獲益，該網路同時對谷歌翻譯所涵蓋的所有語言進行訓練，只需用一個明顯的標記（target_language、source_language）來表示語言。雖然這個系統仍然會犯錯，機器翻譯的研究也在繼續，但今天自動翻譯的質量是非常出色的。當我從今天的《世界報》文化版中輸入幾個句子：

Il avait été surnommé， au milieu des années 1930， le Fou chantant ， alors qu’il faisait ses débuts d’artiste soliste après avoir créé， en 1933， un duo à succès avec le pianiste Johnny Hess。 Pour son dynamisme sur scène， silhouette agile， ses yeux écarquillés et rieurs， ses cheveux en bataille， surtout pour le rythme qu’il donnait aux mots dans ses interprétations et l’écriture de ses textes。（20世紀30年代中期，他在1933年與鋼琴家約翰尼-赫斯成功創作了一首二重奏後，首次以獨唱藝術家的身份亮相，被人稱為 “唱歌的傻瓜”。他以充滿活力的舞臺形象、敏捷的身手、寬大的笑眼、狂野的頭髮而聞名，最重要的是他在演繹和撰寫歌詞時賦予文字以節奏。）

由機器出的譯文質量較高：

He was nicknamed the Singing Madman in the mid-1930s when he was making his debut as a solo artist after creating a successful duet with pianist Johnny Hess in 1933。 For his dynamism on stage， his agile figure， his wide， laughing eyes， his messy hair， especially for the rhythm he gave to the words in his interpretations and the writing of his texts。

在智慧問答中，一個系統在一系列文字中尋找相關的資訊，然後為特定的問題提供答案（是一個片段，而不是像早期的網路搜尋那樣，只返回被認為包含相關資訊的頁面）。智慧問答有許多直接的商業應用，包括售前和售後客戶支援。現代神經網路問題回答系統在提取文字中的答案方面有很高的準確性，甚至在找出沒有答案的情況下也相當出色。例如，從這段話中可以看出：

三星為Galaxy Note 20 Ultra保留了最好的功能，包括比Galaxy S20 Ultra更精緻的設計——我不推薦這款手機。你會發現一個特殊的6。9英寸螢幕，銳利的5倍光學變焦相機和一個更迅速的手寫筆，用於註釋螢幕截圖和做筆記。與Note 10 Plus相比，Note 20 Ultra還做了一些小而重要的改進，特別是在相機領域。這些功能是否證明了Note 20 Ultra的價格合理？128GB版本的起價為1300美元。這個零售價是一個很高的要求，特別是當你結合全球經濟深度衰退和失業率上升的環境時。

人們可以得到如下問題的答案，答案是從上面大段文字中抽取的片段，很精確：

三星Galaxy Note 20 Ultra的價格是多少？

128GB版本為1300美元

Galaxy Note 20 Ultra有20倍光學變焦嗎？

沒有

Galaxy Note 20 Ultra的光學變焦是多少？

5x

Galaxy Note 20 Ultra的螢幕有多大？

6。9英寸

對於常見的傳統NLP任務，如在一段文字中找出人名或組織名稱，或對關於產品的文字進行情感分類（積極或消極），目前最好的系統還是基於LPLMs，一般透過提供一些訓練資料進行微調。雖然這些任務即使在最近的大型語言模型之前也可以做得很好，但這些模型中蘊藏了海量關於語言和現實世界的更廣泛知識，從而進一步提高了這些任務的效能。

最後，LPLMs還具有生成流暢、連貫且內在語義一致的文字的能力。除了許多創造性的用途外，這種系統還有平淡無奇的用途，從編寫“程式化”的新聞文章，如天氣預報、體育報道，到自動總結。例如，這樣的系統可以幫助放射科醫生，根據放射科醫生的發現來輸出診斷摘要。對於下面的研究結果，我們可以看到，系統生成的摘要與放射科醫生自己撰寫的總結非常相似：

發現：管線/管子：右髂骨鞘，中心靜脈導管尖端在最初的X光片上，氣管導管在鎖骨頭之間，腸管的側口在ge交界處，尖端在視場外的橫膈膜下；這些在隨後的膠片上被移除。縱隔引流管和左胸造口管沒有變化。肺部：肺容積較小。心後空隙疾病，在最近的片子中略有增加。胸膜：左胸腔少量積液。沒有氣胸。心臟和縱隔：手術後心髒縱隔輪廓變寬。主動脈弓鈣化。骨骼：完整的胸骨正中切口線。

放射科醫生生成的印象：左側基底空隙病變和左側小量胸腔積液。線條和管道位置如上。

系統自動生成的摘要：線條和管子的位置如上所述。心後空隙疾病，在最近的片子上略有增加。左側小胸腔積液。

最近，這些NLP系統在許多工上表現得非常好。事實上，給定一個較為明確的NLU任務，它們往往可以被“調教”得和人類的表現一樣好。然而，我們仍然有理由懷疑這些系統是不是真的理解它們在做什麼，或者它們是否只是“精心設計”的改寫系統，而不是真正意義上的理解語義。

不僅在語言學和語言哲學中，而且在程式語言中，描述意義的主流方法是指稱語義學方法或指稱理論：一個詞、短語或句子的意義是它所描述的世界上的一組物件或情況（或其數學抽象）。這與NLP中現代經驗性工作的簡單的分散式語義學（Distributional Semantics）形成了對比，根據後者，一個詞的意義只是對它出現的上下文語境的描述。意義不是全有或全無；在許多情況下，我們只能在部分的理解語言形式（Linguistic Form）的意義。我認為，意義產生於對語言形式與其他事物之間的聯絡網路的理解，無論是世界上的物體還是其他語言形式。如果我們擁有一個密集的連線網路，那麼我們就對語言形式的意義有一個很好的感知。例如，如果我接觸過印度的舍尼琴（shehnai），那麼我對這個詞的意義就有一個較為合理的概念，跟進一步，如果我還聽過舍尼琴的演奏曲，那麼“舍尼琴”將會在我的心目中有著更為豐富的內涵。反過來說，如果我從來沒有見過、摸過或聽過舍奈琴，但有人告訴我它就像傳統的印度雙簧管，那麼這個詞對我來說就有一些“較淺”的意義：它與印度、與使用簧片的管樂器、與演奏音樂有聯絡。如果有人補充說，它的孔有點像直笛，但它有多個簧片和一個外翻的末端，更像雙簧管，那麼我就有更多的舍尼琴的物品屬性知識。相反，我可能沒有這些資訊，而只是有一些包含“舍尼琴”的語句，比如說，“從一週前開始，舍尼琴的演奏者就坐在房子門口的竹製馬車裡，吹著他們的管子”、“Bikash Babu不喜歡舍尼琴的哭聲，但他決心滿足新郎家可能有的所有傳統期望”。那麼，在某些方面，我會對“舍尼琴”這個詞的內涵理解得比較少，但我仍然知道它是一種“管狀的樂器”，我對“舍尼琴”的瞭解並不是那些僅僅拿過舍尼琴的人的理解的子集，因為我知道這個詞所關聯的某些文化聯絡，而他們是不瞭解的，只知道是個能吹的樂器。

使用這個定義，即理解意義（Understanding Meaning）包括理解語言形式的連線網路，毫無疑問，諸如BERT這類預訓練語言模型會學習意義。除了詞彙本身的意義之外，這些模型還學習了很多關於現實世界的知識。如果它們在維基百科的文字上接受訓練（正如它們通常所做的那樣），它們就會了解到亞伯拉罕-林肯於1809年出生在肯塔基州，以及“命運之子（Destiny’s Child）”的主唱是碧昂斯-諾爾斯-卡特。機器可以像人一樣，從作為人類知識倉庫的書寫文字中受益匪淺。然而，模型所學習到的詞義和世界知識往往是非常不完整的，需要用其他的感官資料和知識來補充（比如是影象、聲音和結構化的知識圖譜）。

LPLMs在語言理解任務上的成功，以及將大規模自監督學習擴充套件到其他型別的資料上——如視覺、機器人、知識圖譜、生物資訊學和多模態資料（Multimodal Data）的激動人心的前景，表明我們正在探索一個更具普適性的方向。我們提出了基礎模型（Foundation Models）這一術語，是指在大量資料上透過自監督模式訓練出的具有數百萬級規模引數的通用模型，它們可以很容易地在許多下游任務上進行微調並做出合理的預測。其中，一個方向是將語言模型與更多的結構化的知識庫連線起來，這些知識庫以知識圖譜神經網路的形式表示，或者以大量文字的形式提供，以便在執行時進行“查閱”。這方面的一個例子是最近的DALL-E模型，在對海量的影象-文字資料進行自監督學習後，可以透過輸入一段文字產生栩栩如生、顆粒度極為精細的影象。

我們仍然處於基礎模型（Foundation Models）時代的早期，但讓我勾勒出一個可能的未來。大多數資訊處理和分析任務，甚至像機器人控制這樣的事情，都將由相對較少的基礎模型中的一個專門化來處理。這些模型的訓練將是昂貴和耗時的，但使它們適應不同的任務將是相當容易的；事實上，人們可能只需用自然語言指令就能做到。由此產生的對少數模型的趨同帶來了一些風險：有能力建立這些模型的團體可能有過度的權力和影響，許多終端使用者可能會受到這些模型中存在的任何偏見的影響，而且由於模型和它們的訓練資料是如此之大，將很難判斷模型在特定情況下是否可以安全使用。儘管如此，這些模型將從大量訓練資料中獲得的知識部署到許多不同的執行時任務的能力將使這些模型變得強大，它們將首次展示人工智慧的目標，即一個機器學習模型根據簡單的現場指示完成許多特定的任務。雖然對這些模型的最終可能性只有朦朧的瞭解，但它們可能仍然是有限的，缺乏人類水平的仔細邏輯或因果推理的能力。但基礎模型的廣泛有效性意味著它們將被非常廣泛地部署，並且它們將在未來十年為人們提供更普遍形式的人工智慧的第一瞥。

原文標題：Human Language Understanding & Reasoning

原文作者：Christopher D。 Manning，現任斯坦福大學教授、斯坦福自然語言處理組負責人。Christopher Manning是自然語言處理領域著名學者，是國際計算機學會（ACM）、國際人工智協會（AAAI）、國際計算語言學會（ACL）等國際權威學術組織的會士，曾獲ACL、EMNLP、COLING、CHI等國際頂會最佳論文獎，著有《統計自然語言處理基礎》、《資訊檢索導論》等自然語言處理著名教材。

原文地址：1。https：//www。amacad。org/sites/default/files/publication/downloads/Daedalus_Sp22_09_Manning。pdf

2。American Academy of Arts and Sciences （amacad。org）

Endnotes

1、Frans de Waal， Are We Smart Enough to Know How Smart Animals Are？ （New York： W。 W。 Norton， 2017）。

2、Mark Pagel， “Q&A： What Is Human Language， When Did It Evolve and Why Should We Care？” BMC Biology 15 （1） （2017）： 64。

3、W。 John Hutchins， “The Georgetown-IBM Experiment Demonstrated in January 1954，” in Machine Translation： From Real Users to Research， ed。 Robert E。 Frederking and Kathryn B。 Taylor （New York： Springer， 2004）， 102–114。

4、A survey of these systems and references to individual systems appears in Avron Barr， “Natural Language Understanding，” AI Magazine， Fall 1980。

5、Larry R。 Harris， “Experience with Robot in 12 Commercial， Natural Language Data Base Query Applications” in Proceedings of the 6th International Joint Conference on Artificial Intelligence， IJCAI-79 （Santa Clara， Calif。： International Joint Conferences on Artificial Intelligence Organization， 1979）， 365–371。

6、Glenn Carroll and Eugene Charniak， “Two Experiments on Learning Probabilistic Dependency Grammars from Corpora，” in Working Notes of the Workshop Statistically-Based NLP Techniques， ed。 Carl Weir， Stephen Abney， Ralph Grishman， and Ralph Weischedel （Menlo Park， Calif。： AAAI Press， 1992）。

7、Ashish Vaswani， Noam Shazeer， Niki Parmar， et al。， “Attention Is All You Need，” Advances in Neural Information Processing Systems 30 （2017）。

8、Christopher D。 Manning， Kevin Clark， John Hewitt， et al。， “Emergent Linguistic Structure in Artificial Neural Networks Trained by Self-Supervision，” Proceedings of the National Academy of Sciences 117 （48） （2020）： 30046–30054。

9、Tom Brown， Benjamin Mann， Nick Ryder， et al。， “Language Models Are Few-Shot Learners，” Advances in Neural Information Processing Systems 33 （2020）： 1877–1901。

10、For example， Météo translated Canadian weather reports between French and English； see Monique Chevalier， Jules Dansereau， and Guy Poulin， TAUM-MTO： Description du système （Montreal： Traduction Automatique à l’Université de Montréal， 1978）。

11、Gideon Lewis-Kraus， “The Great A。I。 Awakening，” The New York Times Magazine， December 18， 2016。

12、Isaac Caswell and Bowen Liang， “Recent Advances in Google Translate，” Google AI Blog， June 8， 2020

13、Sylvain Siclier， “A Paris， le Hall de la chanson fête les inventions de Charles Trenet，” Le Monde， June 16， 2021。

14、Daniel Khashabi， Sewon Min， Tushar Khot， et al。， “UnifiedQA： Crossing Format Boundaries with a Single QA System，” in Findings of the Association for Computational Linguistics： EMNLP 2020 （Stroudsburg， Pa。： Association for Computational Linguistics， 2020）， 1896–1907。

15、Yuhao Zhang， Derek Merck， Emily Bao Tsai， et al。， “Optimizing the Factual Correctness of a Summary： A Study of Summarizing Radiology Reports，” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics （Stroudsburg， Pa。： Association for Computational Linguistics， 2020）， 5108–5120。

16、For an introduction to this contrast， see Gemma Boleda and Aurélie Herbelot， “Formal Distributional Semantics： Introduction to the Special Issue，” Computational Linguistics 42 （4） （2016）： 619–635。

17、Emily M。 Bender and Alexander Koller， “Climbing towards NLU： On Meaning， Form， and Understanding in the Age of Data，” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics （Stroudsburg， Pa。： Association for Computational Linguistics， 2020）， 5185–5198。

18、From Anuradha Roy， An Atlas of Impossible Longing （New York： Free Press， 2011）。

19、Rishi Bommasani， Drew A。 Hudson， Ehsan Adeli， et al。， “On the Opportunities and Risks of Foundation Models，” arXiv （2021）。

20、Jacob Devlin， Ming-Wei Chang， Kenton Lee， and Kristina Toutanova， “BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding，” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics （Stroudsburg， Pa。： Association for Computational Linguistics， 2019）， 4171–4186。

21、Robert Logan， Nelson F。 Liu， Matthew E。 Peters， et al。， “Barack’s Wife Hillary： Using Knowledge Graphs for Fact-Aware Language Modeling，” in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics （Stroudsburg， Pa。： Association for Computational Linguistics， 2019）， 5962–5971； and Kelvin Guu， Kenton Lee， Zora Tung， et al。， “REALM： Retrieval-Augmented Language Model Pre-Training，” Proceedings of Machine Learning Research 119 （2020）。

22、Aditya Ramesh， Mikhail Pavlov， Gabriel Goh， et al。， “Zero-Shot Text-To-Image Generation，” arXiv （2021）。