學(xué)習(xí)一門不同的語(yǔ)言時(shí)，最簡(jiǎn)單的入門方法是填空練習(xí)。“正在下貓雨……”

通過(guò)犯錯(cuò)并改正錯(cuò)誤，您的大腦（語(yǔ)言學(xué)家認(rèn)為這是語(yǔ)言學(xué)習(xí)的天生）開(kāi)始發(fā)現(xiàn)語(yǔ)法、詞匯和單詞序列中的模式——這不僅可以用于填空，還可以向其他人傳達(dá)意義（或計(jì)算機(jī)、狗等）。

在談?wù)撍^的“基礎(chǔ)模型”時(shí)，最后一點(diǎn)很重要，這是目前人工智能領(lǐng)域最熱門（但報(bào)道不足）的話題之一。

根據(jù)2021 年的一篇評(píng)論文章，基礎(chǔ)模型是“在廣泛的數(shù)據(jù)（通常使用大規(guī)模自我監(jiān)督）上訓(xùn)練的，可以適應(yīng)廣泛的下游任務(wù)。”

在非學(xué)術(shù)語(yǔ)言中，就像學(xué)習(xí)填空練習(xí)一樣，基礎(chǔ)模型以一種以后可以應(yīng)用于其他任務(wù)的方式學(xué)習(xí)事物，從而使它們比當(dāng)前的 AI 模型更靈活。

為什么基礎(chǔ)模型不同？

訓(xùn)練基礎(chǔ)模型的方式解決了 AI 中最大的瓶頸之一：標(biāo)記數(shù)據(jù)。

當(dāng)（為了證明你不是機(jī)器人）網(wǎng)站要求你選擇“所有包含船的圖片”時(shí)，你實(shí)際上是在標(biāo)記。然后，該標(biāo)簽可用于將船只圖像輸入算法，以便算法在某個(gè)時(shí)候能夠可靠地自行識(shí)別船只。傳統(tǒng)上，這是訓(xùn)練 AI 模型的方式；使用人類標(biāo)記的數(shù)據(jù)。這是一個(gè)耗時(shí)的過(guò)程，需要很多人來(lái)標(biāo)記數(shù)據(jù)。

基礎(chǔ)模型不需要這種類型的標(biāo)簽。他們不依賴人工注釋，而是使用填空法和自我生成的反饋來(lái)不斷學(xué)習(xí)和提高性能，而無(wú)需人工監(jiān)督。

這使得基礎(chǔ)模型對(duì)于尚未擁有廣泛可用數(shù)據(jù)的行業(yè)來(lái)說(shuō)更容易獲得。事實(shí)上，根據(jù) IBM 院士兼IBMAI 首席技術(shù)官 Dakshi Agrawal 的說(shuō)法，根據(jù)您在其中訓(xùn)練基礎(chǔ)模型的領(lǐng)域，幾千兆字節(jié)的數(shù)據(jù)就足夠了。

這些復(fù)雜的模型聽(tīng)起來(lái)可能與您這樣的用戶相去甚遠(yuǎn)，但您幾乎可以肯定在網(wǎng)上的某個(gè)時(shí)候看到了一個(gè)基礎(chǔ)模型在工作。一些比較著名的是 GPT-3 語(yǔ)言模型，在輸入著名作家的作品后，它可以產(chǎn)生出色的模仿，或者 DALL-E，它根據(jù)用戶的提示產(chǎn)生令人驚嘆的圖像。

除了創(chuàng)造新的娛樂(lè)之外，基礎(chǔ)模型帶來(lái)的靈活性還可以幫助加速突破性的醫(yī)學(xué)研究、科學(xué)進(jìn)步、工程、建筑，甚至編程。

突發(fā)特性

基礎(chǔ)模型具有兩個(gè)非常有趣的特性：涌現(xiàn)和同質(zhì)化。

出現(xiàn)意味著模型顯示的新的意想不到的特性，這些特性在前幾代中是不可用的。它通常發(fā)生在模型尺寸增大時(shí)。進(jìn)行基本算術(shù)推理的語(yǔ)言模型是模型的涌現(xiàn)屬性的一個(gè)例子，它有點(diǎn)出乎意料。

同質(zhì)化是一個(gè)復(fù)雜的術(shù)語(yǔ)，指的是經(jīng)過(guò)訓(xùn)練可以理解和使用英語(yǔ)來(lái)執(zhí)行不同任務(wù)的模型。這可能包括總結(jié)一段文本、以著名作家的風(fēng)格輸出一首詩(shī)或解釋人類給出的命令（GPT-3 語(yǔ)言模型就是一個(gè)很好的例子）。

但基礎(chǔ)模型并不局限于人類語(yǔ)言。從本質(zhì)上講，我們教計(jì)算機(jī)做的是找到過(guò)程或現(xiàn)象中的模式，然后它可以在特定條件下復(fù)制這些模式。

讓我們用一個(gè)例子來(lái)解開(kāi)它。取分子。物理和化學(xué)規(guī)定分子只能以特定的配置存在。下一步將是定義分子的用途，例如藥物。然后可以使用大量醫(yī)學(xué)數(shù)據(jù)訓(xùn)練基礎(chǔ)模型，以了解不同分子（即藥物）在治療疾病時(shí)如何與人體相互作用。

然后可以使用這種理解來(lái)“微調(diào)”基礎(chǔ)模型，以便它可以就在特定情況下可能起作用的分子提出建議。這可以顯著加快醫(yī)學(xué)研究，讓專業(yè)人士可以簡(jiǎn)單地要求模型提出可能具有某些抗菌特性的分子，或者可能作為一種藥物來(lái)對(duì)抗某種病毒。

但是，如前所述，這有時(shí)會(huì)產(chǎn)生意想不到的結(jié)果。最近，一組使用 AI 基礎(chǔ)模型來(lái)發(fā)現(xiàn)罕見(jiàn)疾病治療方法的科學(xué)家發(fā)現(xiàn)，同一模型也可用于發(fā)現(xiàn)人類已知的最強(qiáng)大的化學(xué)武器。

基本的擔(dān)憂

這些模型可以帶來(lái)巨大變化的一個(gè)小跡象是提供“提示生成器”的公司不斷涌現(xiàn)，這些公司利用人類為 Midjourney 或 DALL-E 等模型提供提示，從而可靠地輸出有趣或準(zhǔn)確的圖像。

當(dāng)然，像這樣的模型會(huì)引起爭(zhēng)議。最近，許多藝術(shù)家公開(kāi)反對(duì)使用他們的作品來(lái)訓(xùn)練圖像生成模型。

還有一個(gè)關(guān)于訓(xùn)練大型模型所需的能源使用的案例。此外，創(chuàng)建基礎(chǔ)模型所需的大量計(jì)算資源意味著只有世界上最大的科技公司才能負(fù)擔(dān)得起培訓(xùn)它們的費(fèi)用。

然而，正如 Agrawal 解釋的那樣，提高這些模型的培訓(xùn)和使用效率意味著它們正以越來(lái)越快的速度為更多人所用——從而降低能源消耗和成本。

這些模型的另一個(gè)更基本（抱歉）的問(wèn)題是原始模型中的任何偏差或錯(cuò)誤都可以轉(zhuǎn)移到使用它們構(gòu)建的工具中。因此，如果種族主義語(yǔ)言被用作語(yǔ)言模型的訓(xùn)練數(shù)據(jù)，它可能會(huì)導(dǎo)致一些令人反感的輸出，甚至?xí)?dǎo)致對(duì)相關(guān)公司的訴訟。

避免這種情況的一種方法是手動(dòng)清除不需要的訓(xùn)練數(shù)據(jù)，但另一種更具未來(lái)感的方法是使用所謂的合成數(shù)據(jù)。合成數(shù)據(jù)是由 AI 模型生成的重要假數(shù)據(jù)，用于模仿真實(shí)事物，但以更可控的方式進(jìn)行。這對(duì)于確保基礎(chǔ)模型在學(xué)習(xí)過(guò)程中不會(huì)吸收任何攻擊性或隱私敏感數(shù)據(jù)很有用。

更先進(jìn)的人工智能模型會(huì)取代我們的工作嗎？

好吧，是的，不是。

大多數(shù)人工智能研究人員將這些模型視為一種工具。就像電動(dòng)螺絲刀意味著組裝木結(jié)構(gòu)所需的時(shí)間更少一樣，仍然需要一個(gè)人來(lái)使用電動(dòng)螺絲刀。

以 IBM 的基礎(chǔ)模型 Ansible Wisdom 為例。為了弄清楚是否可以教會(huì)計(jì)算機(jī)編程，研究人員對(duì)模型進(jìn)行了微調(diào)，以生成以前必須手動(dòng)編寫的 Ansible 代碼片段。有了它，開(kāi)發(fā)人員可以使用自然語(yǔ)言詢問(wèn)模型，例如建議部署新 Web 服務(wù)器的可靠自動(dòng)化。

Agrawal 認(rèn)為這將徹底改變程序員的工作。

得益于人工智能，整個(gè)創(chuàng)新周期將加速。例如，如果您查看代碼，通過(guò)使用基礎(chǔ)模型，使用第一代基礎(chǔ)模型編碼會(huì)變得更快。我相信它會(huì)在短短幾年內(nèi)使生產(chǎn)力翻一番。

該公司與 Red Hat 合作將該模型作為開(kāi)源項(xiàng)目發(fā)布，Red Hat 最著名的是開(kāi)源操作系統(tǒng) Linux 的分發(fā)和維護(hù)。

這種用途類似于電動(dòng)螺絲刀。它需要一項(xiàng)平凡的任務(wù)，并使用一種工具來(lái)自動(dòng)化其中的一部分，以便更有效地執(zhí)行任務(wù)，從而節(jié)省開(kāi)發(fā)人員的時(shí)間，然后他們可以將這些時(shí)間用于更具創(chuàng)造性的工作。

“它可以接管人類今天正在進(jìn)行的活動(dòng)，而人類將繼續(xù)從事其他活動(dòng)。我認(rèn)為 80% 的美國(guó)人口曾經(jīng)從事農(nóng)業(yè)?，F(xiàn)在只有不到 2% 的人（根據(jù)美國(guó)農(nóng)業(yè)部 ERS——農(nóng)業(yè)和食品行業(yè)與經(jīng)濟(jì)）——人類轉(zhuǎn)向其他活動(dòng)，與此同時(shí)，我們的生活質(zhì)量也得到了改善，”Agrawal 說(shuō)。

基礎(chǔ)模型有可能改變?cè)S多現(xiàn)在對(duì)人類來(lái)說(shuō)乏味或重復(fù)的過(guò)程。它們還提供了為我們面臨的一些最棘手的問(wèn)題創(chuàng)建激進(jìn)的和不可預(yù)測(cè)的解決方案的可能性。實(shí)際上，基礎(chǔ)模型可能意味著知識(shí)創(chuàng)建和應(yīng)用方式的完全范式轉(zhuǎn)變。關(guān)鍵是要確保這些模型可供更廣泛的公眾使用，并采取適當(dāng)?shù)谋Ｕ洗胧?/p>