大模型能自己「寫」論文了，還帶公式和參考文獻，試用版已上線

機器之心編譯

編輯：小舟、陳萍

Meta AI 提出了一個可以總結學術文獻，解決數學問題的新模型，該模型還能生成百科文章，編寫科學程式碼，註釋分子和蛋白質等等。

近年來，隨著各學科領域研究的進步，科學文獻和資料呈爆炸式增長，使學術研究者從大量資訊中發現有用的見解變得越來越困難。通常，人們藉助搜尋引擎來獲取科學知識，但搜尋引擎不能自主組織科學知識。

現在，來自 Meta AI 的研究團隊提出了一種新的大型語言模型 Galactica，可以儲存、組合和推理科學知識。

論文地址：https：//galactica。org/static/paper。pdf

試用地址：https：//galactica。org/

Galactica 模型有多強大呢，它可以自己總結歸納出一篇綜述論文：

也可以生成詞條的百科查詢：

對所提問題作出知識性的回答：

這些任務對於人類學者來說尚且是具有挑戰性的任務，但 Galactica 卻很好地完成了。圖靈獎得主 Yann LeCun 也在推特上發文稱讚：

我們來看一下 Galactica 模型的具體細節。

模型概述

Galactica 模型是在大量的論文、參考資料、知識庫和許多其他來源的科學語料庫上進行訓練的，包括超過 4800 萬篇論文、教科書和講義、數百萬種化合物和蛋白質知識、科學網站、百科全書等。與依賴於未經整理的、基於網路爬蟲文字的現有語言模型不同，Galactica 訓練所用的語料庫是高質量且經過高度整理的。該研究在不過擬合的前提下對模型進行多個 epoch 的訓練，其中在上游和下游任務上的效能透過使用重複的 token 得到改善。

Galactica 的效能在一系列科學任務上優於現有模型。在 LaTeX 方程式等技術知識的探索任務上，Galactica 與 GPT-3 的效能是 68。2% VS 49。0%。Galactica 在推理方面也表現出色，在數學 MMLU 基準上的表現顯著優於 Chinchilla。

儘管沒有接受過通用語料庫的訓練，Galactica 在 BIG-bench 上的效能也優於 BLOOM 和 OPT-175B。此外，它還在 PubMedQA 和 MedMCQA 開發等下游任務上創下了 77。6% 和 52。9% 的效能新高。

簡單來說，該研究將逐步推理封裝在特殊的 token 中，以模仿內部工作原理。這允許研究人員使用自然語言與模型進行互動，下圖是 Galactica 的試用介面。

值得一提的是，除了文字生成，Galactica 還可以執行涉及化學公式和蛋白質序列的多模態任務。這將為藥物發現領域做出貢獻。

實現細節

本文的語料庫包含 1060 億個 token，這些 token 來自論文、參考文獻、百科全書以及其他科學資料。可以說該研究將自然語言資源（論文、參考書）與自然界中的序列（蛋白質序列、化學形式）都囊括了。表 1 和表 2 中顯示了語料庫的細節。

語料庫有了，接下來是對資料怎麼操作。一般來講，對 tokenization 的設計是非常重要的。例如，蛋白質序列是根據氨基酸殘基來編寫的，那麼基於字元的 tokenization 是合適的。為了實現 tokenization，該研究對不同的模態進行了專門的 token 化。具體表現在（包括但不僅限於）：

引用：用特殊的參考 token［START_REF］和 ［END_REF］ 來包裝引用；

逐步推理：用 working memory token 來封裝逐步推理，模擬內部 working memory 上下文；

數字：把數字分成單獨的 token。例如， 737612。62 → 7，3，7，6，1，2，。，6，2；

SMILES 公式：用 ［START_SMILES］ 和［END_SMILES］包裝序列，並應用基於字元的 tokenization。同樣，該研究使用 ［START_I_SMILES］ 和［END_I_SMILES］來表示異構體 SMILES。例如：C（C（=O）O）N→C，（，C，（，=，O，），O，），N；

DNA 序列：應用一種基於字元的 tokenization，將每個核苷酸鹼基視為一個 token，其中起始 token 為 ［START_DNA］ 和［END_DNA］。例如，CGGTACCCTC→C， G， G， T， A， C， C， C， T， C。

如下圖 4 顯示了對一篇論文的引用進行處理的示例。在處理引用時使用全域性識別符號和特殊 token［START_REF］和 ［END_REF］ 來表示引用的地方。

資料集處理好之後，接下來就是怎麼實現。Galactica 在 Transformer 架構的基礎上進行了以下修改：

GeLU 啟用：將 GeLU 啟用用於各種大小的模型；

上下文視窗：對於不同大小的模型，使用 2048 長度的上下文視窗；

無偏置：遵循 PaLM，在密集核心或層規範中不使用偏置；

學習位置嵌入：學習位置嵌入用於模型；

詞彙表：使用 BPE 構建一個包含 50k token 的詞彙表。

表 5 列出了不同大小模型以及訓練超引數。

實驗

重複的 token 被認為是無害的

從圖 6 可以看出，在經過四個 epoch 的訓練之後，驗證損失繼續下降。擁有 120B 引數的模型在第五個 epoch 開始時才開始過擬合。這是出乎意料的，因為現有的研究表明重複的 token 可能對效能有害。該研究還發現，30B 和 120B 的模型在 epoch-wise 後表現出雙下降效應，即驗證損失達到平穩（或上升），然後是下降。這種效果在每個 epoch 後都變得更強，最明顯的是 120B 模型在訓練結束時。

圖 8 結果顯示實驗沒有出現過擬合跡象，這表明重複 token 能夠提高下游和上游任務效能。

其他結果

鍵入公式太慢了，現在用提示就能生成 LaTeX：

在化學反應中，要求 Galactica 在化學方程 LaTeX 中預測反應的產物，模型僅根據反應物就能進行推理，結果如下：

表 7 中報告了一些其他結果：

Galactica 的推理能力。該研究首先在 MMLU mathematics 基準上進行評估，並在表 8 中報告了評估結果。Galactica 與較大的基礎模型相比表現強勁，並且使用 token 似乎可以提高 Chinchilla 的效能，即使對於較小的 30B Galactica 模型也是如此。

該研究還對 MATH 資料集進行了評估，以進一步探索 Galactica 的推理能力：

從實驗結果可以得出：Galactica 在思維鏈和提示方面都大大優於基礎 PaLM 模型。這表明 Galactica 在處理數學任務上是個更好的選擇。

在下游任務的評估結果如表 10 所示。Galactica 顯著優於其他語言模型，並且在大多數任務中優於更大的模型（Gopher 280B）。與 Chinchilla 相比，效能表現差異更大，Chinchilla 在子集任務上似乎更強：特別是高中科目以及數學較少、記憶密集型任務。相比之下，Galactica 往往在數學和研究生水平的任務中表現更好。

該研究還評估了 Chinchilla 在給定輸入上下文的情況下預測引用的能力，這是對 Chinchilla 組織科學文獻能力的一個重要測試。結果如下：

更多實驗內容，請參考原論文。