AI走過(guò)多少路，才迎來(lái)了ChatGPT？

發(fā)表于

ChatGPT的橫空出世，引發(fā)了人工智能浪潮，科技公司們在人工智能領(lǐng)域的動(dòng)作和競(jìng)爭(zhēng)愈演愈烈。

早在57年前，麻省理工學(xué)院教授約瑟夫•魏岑鮑姆（Joseph Weizenbaum）就開(kāi)發(fā)了 全球第一個(gè)聊天機(jī)器人Eliza，將它定位為醫(yī)生的助手。 Eliza會(huì)主動(dòng)向病人詢問(wèn)情況，并根據(jù)病人的回答進(jìn)行接下來(lái)的對(duì)話。

 

這樣可以根據(jù)輸入的文本而進(jìn)行流暢對(duì)話的聊天機(jī)器人是前所未有的。盡管患者在向Eliza描述病情時(shí)，得到的反饋非常有限，患者們還是很樂(lè)于和這個(gè)新奇的機(jī)器人交流，對(duì)Eliza展現(xiàn)出了相當(dāng)大的狂熱情緒，甚至有人堅(jiān)信Eliza可以真實(shí)理解和感受人類。約瑟夫表示，“我沒(méi)想到，普通人只是短暫接觸到一個(gè)相對(duì)簡(jiǎn)單的計(jì)算機(jī)程序，也會(huì)產(chǎn)生嚴(yán)重的妄想癥。”

 

ChatGPT的崛起背后是人類幾十年來(lái)對(duì)人工智能的不懈探索。 人工智能誕生之初，社會(huì)各界對(duì)AI無(wú)比樂(lè)觀， 專家甚至表示機(jī)器將在20年內(nèi)完成人類的所有工作。很快， 研究成果的匱乏直接帶來(lái)了資金支持的削減和大批項(xiàng)目的流產(chǎn)，極度的樂(lè)觀被極度的悲觀取代，AI寒冬到來(lái)。 接著， 新技術(shù)、新發(fā)現(xiàn)又再次點(diǎn)燃了人們對(duì)于AI的熱情，使得資金重新注入、進(jìn)展再次到來(lái)。 如此循環(huán)往復(fù)， 人們對(duì)AI的情緒在悲觀和樂(lè)觀之間反復(fù)震蕩，AI就這樣螺旋式上升發(fā)展。

 

AI走了幾十年，ChatGPT才來(lái)到了我們面前。人工智能是如何一步步發(fā)展起來(lái)的？科學(xué)家通過(guò)什么思路、以哪些方法模擬人類智能？近年來(lái)人工智能的迅速發(fā)展，以及AIGC行業(yè)的大熱，是由什么技術(shù)而推動(dòng)的？以下，Enjoy：

 

 

1

AI誕生：激情與寒冬

 

1956年，一些來(lái)自知名大學(xué)、企業(yè)和實(shí)驗(yàn)室的科學(xué)家匯聚在達(dá)特茅斯學(xué)院，就人工智能領(lǐng)域的研究開(kāi)展暑期研究項(xiàng)目， AI學(xué)科正式誕生。

 

約翰·麥卡錫（John McCarthy）是該項(xiàng)目第一次會(huì)議的發(fā)起人，也是人工智能一詞的創(chuàng)造者。在《關(guān)于達(dá)特茅斯學(xué)院人工智能主題的暑期研究項(xiàng)目的提議》中，他這樣 定義人工智能： “人類學(xué)習(xí)的每個(gè)方面或智能的任何特征，原則上都可以被非常精確地描述。 人類可以制造出能夠根據(jù)這些描述模擬人類智能的機(jī)器。 ”

 

在相關(guān)領(lǐng)域有所建樹(shù)的科學(xué)家們相聚達(dá)特茅斯，其中不少人在未來(lái)成為了圖靈獎(jiǎng)和其他獎(jiǎng)項(xiàng)的得主。除發(fā)起人約翰·麥卡錫（John McCarthy）外，參會(huì)的科學(xué)家還包括：馬文·明斯基（Marvin Minsky）、克勞德·香農(nóng)（Claude Shannon）、艾倫·紐厄爾（Allen Newell）、赫伯特·西蒙（Herbert Simon）和奧利弗·塞弗里奇（Oliver Selfridge）等。

在會(huì)議召開(kāi)之前，他們已經(jīng)對(duì)人工智能的實(shí)現(xiàn)方式進(jìn)行了有意或無(wú)意的初步探索。

 

人類的大腦可以實(shí)現(xiàn)復(fù)雜的計(jì)算和記憶，靠的是1000億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。一些科學(xué)家從生物學(xué)家那里得到靈感，希望用機(jī)器模擬人腦的運(yùn)行， 建立神經(jīng)網(wǎng)絡(luò)就是實(shí)現(xiàn)這一想法的主要方法。 馬文·明斯基（Marvin Minsky）就是其中之一。他從學(xué)生時(shí)代開(kāi)始就研究神經(jīng)網(wǎng)絡(luò)這一未知領(lǐng)域，在研究生期間，他與同學(xué)一起建立了世界上第一個(gè)人工神經(jīng)網(wǎng)絡(luò)——隨機(jī)神經(jīng)網(wǎng)絡(luò)模擬強(qiáng)化計(jì)算器（SNARC）。它由40個(gè)“神經(jīng)元”組成，可以模仿小鼠走迷宮的過(guò)程，我們可以從中窺見(jiàn)現(xiàn)代神經(jīng)網(wǎng)絡(luò)的影子。

 

艾倫·紐厄爾（Allen Newell）、赫伯特·西蒙（Herbert Simon）選擇了另一條路。 他們認(rèn)為運(yùn)用邏輯推理法則能夠模擬出人腦的思維，這才是人工智能的出路。 二人合力開(kāi)發(fā)了邏輯理論家（Logic Theorist），世界上第一個(gè)可以模仿人類一些方面的能力來(lái)解決復(fù)雜問(wèn)題的程序。該程序能夠證明數(shù)學(xué)家阿爾弗雷德·諾斯·懷特黑德(Alfred North Whitehead)和伯特蘭·羅素(Bertrand Russell)的《數(shù)學(xué)原理》(Principia Mathematica)中前52個(gè)定理中的38個(gè)，其中某些證明比原著更加新穎和精巧。

 

在更早的時(shí)候，神經(jīng)生理學(xué)家威廉·格雷·沃爾特（W. Grey. Walter）在40-50年代進(jìn)行了另一種嘗試。他雖然沒(méi)參加這次會(huì)議，但走出了人工智能的另一條路。 他試圖讓機(jī)器模仿動(dòng)物行為，發(fā)明了Elmer和Elsie這對(duì)烏龜機(jī)器人， 它們可以通過(guò)一個(gè)旋轉(zhuǎn)的光電管來(lái)自我指引，緩慢探索周圍環(huán)境，向有光源的地方移動(dòng)。如果光源過(guò)于明亮，它們就會(huì)退后并朝著另一個(gè)新的方向探索。傳感器感應(yīng)到障礙物時(shí)，它們就會(huì)改變方向。

 

 

以上對(duì)人工智能實(shí)現(xiàn)方式的三種探索分別代表了 人工智能的三種學(xué)派——聯(lián)結(jié)主義、符號(hào)主義、和行為主義， 它們迎來(lái)過(guò)各自的強(qiáng)盛期，但 終究以彼此融合的方式推動(dòng)了AI研究的發(fā)展。

 

1950年，艾倫·圖靈（Alan Turing）發(fā)表了劃時(shí)代的《計(jì)算機(jī)器與智能》一文，提出了“ 機(jī)器可以思考嗎 ”的重要問(wèn)題，并提出了著名的“ 圖靈測(cè)試 ”以檢驗(yàn)機(jī)器是否擁有真正的智能。圖靈測(cè)試的內(nèi)容是： 如果一臺(tái)機(jī)器能夠與人類展開(kāi)對(duì)話而不被辨別出其機(jī)器身份，那么稱這臺(tái)機(jī)器具有智能。 直到現(xiàn)在， 圖靈測(cè)試也被認(rèn)為是測(cè)試機(jī)器是否存在智能的標(biāo)準(zhǔn)。 從那時(shí)開(kāi)始，72年來(lái)，人類一直在試圖解決這個(gè)問(wèn)題。

計(jì)算機(jī)下棋也許是“人工智能”行為最直觀的例子。讓機(jī)器自動(dòng)玩智力游戲并尋求戰(zhàn)勝人類，一直是人工智能領(lǐng)域追求的重要目標(biāo)之一。因?yàn)?/span>智力游戲被公認(rèn)為是智能的一種具體表現(xiàn)，而人工智能的終極目的就是用機(jī)器實(shí)現(xiàn)人類（部分）智能。 1950年，達(dá)特茅斯會(huì)議的重要參加者、狂熱下棋愛(ài)好者克勞德·香農(nóng)（Claude Shannon）為《科學(xué)美國(guó)人》撰文，闡述實(shí)現(xiàn) 人機(jī)博弈 的方法。這篇論文為計(jì)算機(jī)下棋的理論研究奠定了基礎(chǔ)，其主要思路在多年后的Deep Blue及AlphaGo中仍能看到。

 

克勞德·香農(nóng)對(duì)于人機(jī)博弈的想法很快就變成了現(xiàn)實(shí)。在達(dá)特茅斯會(huì)議召開(kāi)的1956年，IBM發(fā)布了亞瑟·塞繆爾（Arthur Samuel）設(shè)計(jì)的 西洋跳棋程序 。這個(gè)程序能夠通過(guò)觀察棋子的走位來(lái)構(gòu)建新的模型，并以此提高自己的下棋技巧。Samuel和這個(gè)程序在進(jìn)行對(duì)弈后發(fā)現(xiàn)，隨著時(shí)間的推移，程序的棋藝變得越來(lái)越好。

 

 

之后，AI迎來(lái)了飛速發(fā)展。1957年，馬文·明斯基（Marvin Minsky）的高中同學(xué)弗蘭克·羅森布拉特（Frank Rosenblatt）發(fā)明了一種叫 感知機(jī)的神經(jīng)網(wǎng)絡(luò)模型 。這是 首個(gè)意圖讓機(jī)器去學(xué)習(xí)的機(jī)器， 本質(zhì)是一個(gè)模擬單個(gè)神經(jīng)元工作方式的簡(jiǎn)單數(shù)學(xué)模型。Rosenblatt在定制的硬件上用感知機(jī)實(shí)現(xiàn)了單層神經(jīng)網(wǎng)絡(luò)，并讓它學(xué)會(huì)去分類一些簡(jiǎn)單的形狀，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸實(shí)踐。這就是最初的機(jī)器學(xué)習(xí)。 他的研究不僅開(kāi)啟了機(jī)器學(xué)習(xí)的浪潮，也成為了后來(lái)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。

 

這個(gè)機(jī)器的誕生不但讓Rosenblatt本人空前自信，甚至 表示基于感知機(jī)的電子計(jì)算機(jī)將擁有自己的意識(shí)，能夠代替人類進(jìn)行星際探索，當(dāng)時(shí)的社會(huì)對(duì)于AI的前景也極其看好。 《紐約時(shí)報(bào)》在1958年報(bào)道，“海軍披露了一臺(tái)尚處初期的電子計(jì)算機(jī)，期待這臺(tái)電子計(jì)算機(jī)能行走、談話、看和寫，自己復(fù)制出自身存在意識(shí)……Rosenblatt博士說(shuō)，感知機(jī)能作為機(jī)械太空探險(xiǎn)者被發(fā)射到行星上。”

 

本以為感知機(jī)的發(fā)現(xiàn)是AI發(fā)展全盛期的到來(lái)，沒(méi)想到是寒冬前的短暫巔峰。1969年，Rosenblatt的高中同學(xué)Minsky成為了圖靈獎(jiǎng)得主，并撰寫了《感知機(jī)》一書。他在書中批評(píng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展，認(rèn)為神經(jīng)網(wǎng)絡(luò)在當(dāng)時(shí)的情況下不可實(shí)現(xiàn)，新晉圖靈獎(jiǎng)得主的發(fā)言給大熱的神經(jīng)網(wǎng)絡(luò)研究潑了一大盆冷水，神經(jīng)網(wǎng)絡(luò)從天堂來(lái)到了地獄。

 

同時(shí)，逐漸有學(xué)者指出， AI研究者們之前的偉大許諾無(wú)一實(shí)現(xiàn)，大筆項(xiàng)目資金打了水漂， 政府因此中斷了資金支持，AI研究因此被重創(chuàng)。人們最初對(duì)AI有多少美好的幻想和期待，此時(shí)就有多少的失望和幻滅。 AI狂熱散去，寒冬來(lái)臨。

 

 

 2

ANI誕生：AI應(yīng)用走出專家系統(tǒng)新路

 

神經(jīng)網(wǎng)絡(luò)的發(fā)展受到質(zhì)疑后，AI寒冬來(lái)臨。歸根結(jié)底， 計(jì)算機(jī)的算力不足仍然是AI發(fā)展路上的最大障礙。 在20世紀(jì)70-80年代初， 大部分人不再尋求通用智能的研究，而是轉(zhuǎn)向了更小范圍專業(yè)任務(wù)的AI領(lǐng)域，我們所說(shuō)的“窄AI”（ANI）一詞也正是誕生在這個(gè)時(shí)期。

 

在這一時(shí)期， AI走上了“專家系統(tǒng)”的應(yīng)用之路， AI研究迎來(lái)逐步復(fù)蘇。但AI專家們一改對(duì)神經(jīng)網(wǎng)絡(luò)研究的極度樂(lè)觀，轉(zhuǎn)而希望通過(guò)符號(hào)和邏輯來(lái)搭建人工智能體系，用數(shù)理邏輯的手段實(shí)現(xiàn)人工智能。

 

專家系統(tǒng)是人工智能最活躍和最廣泛的領(lǐng)域之一，也是人工智能的重要分支。 專家系統(tǒng)定義為：使用人類專家推理的計(jì)算機(jī)模型來(lái)處理現(xiàn)實(shí)世界中需要專家作出解釋的復(fù)雜問(wèn)題，并得出與專家相同的結(jié)論。簡(jiǎn)言之，專家系統(tǒng)可視作“知識(shí)庫(kù)(knowledge base)”和“推理機(jī)(inference machine)”的結(jié)合。

 

1965年，根據(jù)NASA的要求， 斯坦福大學(xué)創(chuàng)造出來(lái)了世界上的第一個(gè)專家系統(tǒng)DENDRAL。 這是 世界上第一個(gè)主要借助能解決問(wèn)題的知識(shí)，而非先進(jìn)技術(shù)本身運(yùn)行的成功程序。

 

DENDRAL背后的男人叫做費(fèi)根鮑姆（Edward·Albert·Feigenbaum）。他進(jìn)入卡內(nèi)基理工學(xué)院（卡內(nèi)基梅隆的前身）攻讀電子工程(EE)本科時(shí)才16歲，并在這里遇到了引發(fā)他關(guān)于人工智能興趣的重要老師、達(dá)特茅斯會(huì)議的關(guān)鍵參會(huì)者赫伯特·西蒙（Herbert Simon）。本科畢業(yè)后，費(fèi)根鮑姆留校任教，后于1964年來(lái)到了斯坦福大學(xué)。在這里，他見(jiàn)到了李德伯格（Joshua Lederberg），一位在33歲就斬獲了諾貝爾生理學(xué)獎(jiǎng)的遺傳學(xué)大師。

 

李德伯格早年深受“萊布尼茨之夢(mèng)”影響，希望能借助符號(hào)計(jì)算，把人類思想還原為計(jì)算的普遍語(yǔ)言，再制造出一個(gè)能執(zhí)行該計(jì)算的強(qiáng)大機(jī)器。他和費(fèi)根鮑姆一樣對(duì)科學(xué)哲學(xué)非常熱愛(ài)。他們相遇的時(shí)候，李德伯格正在研究火星上是否有新生命，而費(fèi)根鮑姆正在研究機(jī)器歸納法（也就是現(xiàn)在的機(jī)器學(xué)習(xí)），一個(gè)有火星來(lái)的數(shù)據(jù)，一個(gè)有最先進(jìn)的方法，兩位一拍即合。

 

盡管如此，二人在實(shí)際開(kāi)發(fā)過(guò)程中，發(fā)現(xiàn)他們?nèi)鄙傺邪l(fā)一個(gè)化學(xué)系統(tǒng)最關(guān)鍵的東西——專業(yè)化學(xué)知識(shí)。于是，他們找上了斯坦福的化學(xué)家翟若適（Carl Djerassi），翟若適更為人所知的發(fā)明成就是避孕藥。三人合力下，1965年，DENDRAL誕生了。DENDRAL 接收到輸入的數(shù)據(jù)后，可以自動(dòng)生成輸出給定物質(zhì)的化學(xué)結(jié)構(gòu)。 DENDRAL也可以被視作是科學(xué)家嘗試?yán)迷缙谟?jì)算機(jī)實(shí)現(xiàn)科研自動(dòng)化的一種嘗試。

 

 

DENDRAL讓人工智能的研究者們明白，智能行為需要大量的知識(shí)作為基礎(chǔ)。他們也因此開(kāi)始研究如何建立能夠以知識(shí)來(lái)解決輸入的問(wèn)題的程序。

 

DENDRAL的核心成員布坎南（Bruce G. Buchanan）在DENDRAL大獲成功后，開(kāi)始尋找新的方向。很快，他把目光投向了醫(yī)學(xué)領(lǐng)域。他邀請(qǐng)醫(yī)學(xué)專家肖特萊福（Edward Shortliffe）參與到項(xiàng)目中來(lái)，兩人牽頭開(kāi)發(fā)了 醫(yī)療專家系統(tǒng)MYCIN。

 

該系統(tǒng)于1973年開(kāi)始研制，1974年基本完成，1976年發(fā)表。MYCIN具有內(nèi)科醫(yī)生的知識(shí)和經(jīng)驗(yàn)，可用于血液感染病的診斷、治療和咨詢服務(wù)。MYCIN 的處方準(zhǔn)確率高達(dá) 69%，遠(yuǎn)遠(yuǎn)優(yōu)于非專科醫(yī)生，就算與當(dāng)時(shí)專科醫(yī)生的80%準(zhǔn)確率相比，MYCIN也并不遜色太多，肖特萊福因此獲得 1976 年 的霍普（Grace Murray Hopper）獎(jiǎng)，該獎(jiǎng)項(xiàng)是ACM專門為青年計(jì)算機(jī)科學(xué)家設(shè)立的。

 

MYCIN系統(tǒng)采用了“知識(shí)庫(kù)”（Knowledge Base）、“推理機(jī)”（Inference Engine）的系統(tǒng)結(jié)構(gòu)，引入了“可信度”的概念，進(jìn)行非確定性知識(shí)推理，能對(duì)用戶的咨詢提問(wèn)進(jìn)行回答解釋，并給出答案的可信度估計(jì)。MYCIN是功能較全面，結(jié)構(gòu)較完善的專家系統(tǒng)。它的研制成功，為其他許多專家系統(tǒng)的研究與開(kāi)發(fā)提供了范例和經(jīng)驗(yàn)。

 

之后，MIT又研發(fā)了 MACSYMA系統(tǒng)作為一位數(shù)學(xué)家的助手 。經(jīng)過(guò)持續(xù)改進(jìn)后，該系統(tǒng)可以解決超過(guò)600個(gè)數(shù)學(xué)問(wèn)題。這些專家系統(tǒng)的成功得到了學(xué)界和業(yè)界的廣泛認(rèn)可。許多研究者也因此認(rèn)為，知識(shí)表達(dá)，知識(shí)利用，和知識(shí)獲取是人工智能系統(tǒng)的三大基本問(wèn)題。

 

專家系統(tǒng)作為一個(gè)時(shí)代的人工智能應(yīng)用標(biāo)志性產(chǎn)物曾風(fēng)靡一時(shí)，然而，1980年代以來(lái)，專家系統(tǒng)的問(wèn)題也逐漸暴露出來(lái)，如應(yīng)用范圍狹窄、昂貴的專用硬件支持、算法成本過(guò)高、推理機(jī)制不完善等等…… 單一的 專家系統(tǒng)逐漸轉(zhuǎn)向能夠解決更復(fù)雜問(wèn)題的基于框架的專家系統(tǒng)等，但還是不復(fù)往日輝煌。

 

AI應(yīng)用發(fā)展遇阻的同時(shí)，理論界雖有突破，但也不足以提振整個(gè)AI行業(yè)。

 

1985年，為了更好地開(kāi)發(fā)醫(yī)療專家系統(tǒng)，增加治愈疾病的可能，裘德·珍珠（Judea Pearl）提出 貝葉斯網(wǎng)絡(luò) (Bayesian network)，又稱信念網(wǎng)絡(luò)(Belief Network)，以從概率上對(duì)相關(guān)問(wèn)題進(jìn)行分析。 社會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)的進(jìn)展反響樂(lè)觀，媒體報(bào)道稱：可以采購(gòu)到神經(jīng)網(wǎng)絡(luò)程序，用于診斷心臟病。

次年，大衛(wèi)·魯姆哈特（David·Rumelhart）、杰弗里·辛頓（Geoffrey·Hinton 等人提出了 反向傳播算法 ( Backpropagation algorithm )，也就是我們通常所說(shuō)的 BP算法 。 BP算法是現(xiàn)在的深度學(xué)習(xí)中仍然被使用的訓(xùn)練算法，奠定了神經(jīng)網(wǎng)絡(luò)走向完善和應(yīng)用的基礎(chǔ)。 BP網(wǎng)絡(luò)是前文提到的感知機(jī)的層次化，而多個(gè)BP網(wǎng)絡(luò)的層次化也將在未來(lái)帶來(lái)進(jìn)一步技術(shù)升級(jí)。

 

這是神經(jīng)網(wǎng)絡(luò)復(fù)興的關(guān)鍵一步， BP算法的大獲成功給了科學(xué)家重拾神經(jīng)網(wǎng)絡(luò)研究的激情與信心。 然而， 計(jì)算機(jī)算力的限制還是未能使得理論在應(yīng)用中充分發(fā)揮出效果。 沒(méi)過(guò)幾年， AI發(fā)展迎來(lái)了第二次寒冬。

 

與此同時(shí)，針對(duì)計(jì)算機(jī)進(jìn)行的研究也在持續(xù)開(kāi)展，一些大事件發(fā)生了。專家系統(tǒng)發(fā)展的70-80年代，蘋果、IBM陸續(xù)推出第一臺(tái)臺(tái)式機(jī)，個(gè)人計(jì)算機(jī)的出現(xiàn)將在未來(lái)變革人類的工作和生活方式。日本在80年代初野心勃勃，提出用8.5億美元開(kāi)發(fā)第5代計(jì)算機(jī)——人工智能計(jì)算機(jī)以引領(lǐng)世界，卻終于在1991年宣布計(jì)劃中止，上億美元都打了水漂。

 

直到90年代末， IBM的超級(jí)計(jì)算機(jī)”深藍(lán)“問(wèn)世，擊敗頂尖棋手， AI發(fā)展才漸有回暖跡象。 之后我們來(lái)到21世紀(jì)，自動(dòng)機(jī)器人取得長(zhǎng)足進(jìn)步，掃地機(jī)器人、跳舞機(jī)器人等機(jī)器人層出不窮，吸引著人們的目光。隨后，谷歌率先以語(yǔ)音識(shí)別應(yīng)用開(kāi)啟數(shù)字化語(yǔ)音助手的潮流，AI應(yīng)用越來(lái)越多地回歸到人們的視野中。

 

 

 3

AIGC爆發(fā)：ChatGPT攪動(dòng)風(fēng)云

 

AIGC可謂是今年最熱的話題，各類內(nèi)容生成模型不斷更新著我們對(duì)AI的認(rèn)識(shí)。事實(shí)上， AIGC的爆發(fā)背后是深度學(xué)習(xí)技術(shù)十余年來(lái)的快速發(fā)展。 谷歌、DeepMind、OpenAI等公司和實(shí)驗(yàn)室也正是借了深度學(xué)習(xí)技術(shù)發(fā)展的東風(fēng)，才能頻繁帶著我們所熟悉的AI成果出現(xiàn)在大家面前。

 

那么深度學(xué)習(xí)是什么呢？拋開(kāi)復(fù)雜的概念不談，簡(jiǎn)單來(lái)說(shuō)，深度學(xué)習(xí)從底層模擬人腦神經(jīng)元的主要工作機(jī)制，通過(guò)計(jì)算機(jī)對(duì)數(shù)據(jù)的復(fù)雜運(yùn)算和優(yōu)化實(shí)現(xiàn)人工智能。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種，使得機(jī)器學(xué)習(xí)領(lǐng)域有了新的突破。李開(kāi)復(fù)在《人工智能》一書中以識(shí)別圖中的漢字為例，講解了深度學(xué)習(xí)的概念：

 

假設(shè)深度學(xué)習(xí)要處理的信息是“水流”，而處理數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)是一個(gè)由管道和閥門組成的巨大水管網(wǎng)絡(luò)。網(wǎng)絡(luò)的入口是若干管道開(kāi)口，網(wǎng)絡(luò)的出口也是若干管道開(kāi)口。這個(gè)水管網(wǎng)絡(luò)有許多層，每一層由許多個(gè)可以控制水流流向與流量的調(diào)節(jié)閥。根據(jù)不同任務(wù)的需要，水管網(wǎng)絡(luò)的層數(shù)、每層的調(diào)節(jié)閥數(shù)量可以有不同的變化組合。對(duì)復(fù)雜任務(wù)來(lái)說(shuō)，調(diào)節(jié)閥的總數(shù)可以成千上萬(wàn)甚至更多。水管網(wǎng)絡(luò)中，每一層的每個(gè)調(diào)節(jié)閥都通過(guò)水管與下一層的所有調(diào)節(jié)閥連接起來(lái)，組成一個(gè)從前到后，逐層完全連通的水流系統(tǒng)。

 

深度學(xué)習(xí)和這些AI巨頭的故事要從十年前（2012年）的一篇論文講起。這篇論文開(kāi)啟了難以阻擋的歷史洪流，而谷歌等科技公司正是乘上了這股洪流，在搜索引擎、翻譯軟件、聊天機(jī)器人等領(lǐng)域帶來(lái)了Google Photos, Google Translate, Uber, Alexa, DALL-E, AlphaFold, ChatGPT等令人印象深刻的現(xiàn)實(shí)成果。

 

在介紹論文之前，也許你還記得在這篇論文發(fā)布的前一年，2011年，一件轟動(dòng)世界的比賽把人類的目光聚焦于AI。那一年， IBM研發(fā)的Watson參加了美國(guó)家喻戶曉的電視智力競(jìng)賽節(jié)目Jeopardy!，并打敗了人類冠軍Ken Jennings， 震撼了無(wú)數(shù)電視機(jī)前的觀眾，也讓社會(huì)對(duì)Watson的信心一路飆升。

 

Watson采用了100多項(xiàng)與自然語(yǔ)言處理、知識(shí)問(wèn)答相關(guān)的技術(shù)，利用節(jié)目40多年的問(wèn)答進(jìn)行訓(xùn)練，儲(chǔ)存了數(shù)百萬(wàn)份資料，可以在3秒內(nèi)給出一個(gè)問(wèn)題的回答，可以說(shuō)在當(dāng)時(shí)已經(jīng)非常智能。IBM認(rèn)為這只是Watson輝煌的開(kāi)始，并承諾將把Watson打造為一個(gè)在醫(yī)院、農(nóng)場(chǎng)、辦公室和工廠通用的熱心機(jī)器助手，變革醫(yī)療、金融、法律和學(xué)術(shù)等領(lǐng)域。

 

然而，IBM的數(shù)百萬(wàn)美金都付之東流，結(jié)果現(xiàn)在我們已經(jīng)知道，Watson沒(méi)能重塑任何一個(gè)行業(yè)，IBM這步走得并不到位。科學(xué)家David Ferrucci解釋道， Watson是針對(duì)益智類游戲設(shè)計(jì)的，它能夠識(shí)別詞組，并預(yù)測(cè)正確的答案，卻遠(yuǎn)遠(yuǎn)沒(méi)有準(zhǔn)備好正式進(jìn)入商業(yè)世界。 盡管在AI領(lǐng)域深耕數(shù)十年之后，IBM并沒(méi)有通過(guò)Watson取得歷史性的成功，但Watson帶給整個(gè)世界的巨大震撼以及對(duì)于其他公司AI發(fā)展的引領(lǐng)作用仍然是不可否認(rèn)的。與此同時(shí)，一些公司已經(jīng)準(zhǔn)備好接過(guò)IBM的接力棒，引領(lǐng)2010年代的AI潮流。而這就要回到2012年的那篇論文。

 

這篇2012年發(fā)布的論文題目是《 使用深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)ImageNet數(shù)據(jù)庫(kù)分類 》，由“深度學(xué)習(xí)之父”杰弗里·辛頓（Geoffrey Hinton）和他的兩位博士生亞歷克斯·克里熱夫斯基（Alex Krizhevsky）和 伊利亞·蘇茨凱弗（Ilya Sutskever，他正是后來(lái)OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家，開(kāi)發(fā)了GPT、CLIP、DALL-E、Codex等模型）完成。

Ilya Sutskever（左）、Alex Krizhevsky（中）和 Geoffrey Hinton（右）

該論文闡述了他們使用ImageNet數(shù)據(jù)庫(kù)創(chuàng)建了一個(gè)名為AlexNet的開(kāi)創(chuàng)性神經(jīng)網(wǎng)絡(luò)，AlexNet在各種圖像的分類方面都要比以往任何方法準(zhǔn)確得多。在著名的ImageNet圖像識(shí)別大賽中，AlexNet拿下冠軍。在這場(chǎng)比賽中，參賽者必須使用自己的系統(tǒng)來(lái)處理數(shù)百萬(wàn)的測(cè)試圖像，并且以盡可能高的準(zhǔn)確率進(jìn)行識(shí)別。AlexNet贏得了比賽，錯(cuò)誤率不到亞軍的一半。AlexNet的Top-5錯(cuò)誤率是15.3%；而在2012年以前，最好成績(jī)是26%的錯(cuò)誤率。 該論文成功解鎖了計(jì)算機(jī)視覺(jué)乃至整體深度學(xué)習(xí)的全面進(jìn)步，將深度學(xué)習(xí)推向主流。

 

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的分支，引領(lǐng)了接下來(lái)十余年的人工智能領(lǐng)域的發(fā)展。 深度學(xué)習(xí)的興起標(biāo)志著數(shù)字技術(shù)的構(gòu)建方式出現(xiàn)了根本的改變。工程師們不再細(xì)致地定義機(jī)器應(yīng)該如何運(yùn)行規(guī)則和代碼，而是打造可以通過(guò)自身經(jīng)驗(yàn)學(xué)習(xí)任務(wù)的機(jī)器，這些經(jīng)驗(yàn)包含了巨量的數(shù)字信息，甚至沒(méi)有人能完全理解。

 

獲獎(jiǎng)后，Hinton成立了一家名為DNNresearch的小公司，為了把它賣出個(gè)好價(jià)格，他決定組織一場(chǎng)拍賣。 四家公司加入了這場(chǎng)競(jìng)拍，包括我們所熟知的國(guó)內(nèi)大廠百度，國(guó)際巨頭谷歌和它的老對(duì)手微軟， 還有一家剛成立不過(guò)兩年的英國(guó)實(shí)驗(yàn)室。這家實(shí)驗(yàn)室就是 DeepMind 。當(dāng)時(shí)還沒(méi)有人想到，它將成為這個(gè)時(shí)代最著名且最有影響力的人工智能實(shí)驗(yàn)室，在人工智能領(lǐng)域?yàn)槭澜鐜?lái)一次又一次驚喜。

 

百度出價(jià)1200萬(wàn)美元，但 谷歌最終贏得了這場(chǎng)拍賣，順便攬下了獲獎(jiǎng)?wù)逜lex Krizhevsky 和 Ilya Sutskever,還在兩年后收購(gòu)了DeepMind。 當(dāng)時(shí)的DeepMind被認(rèn)為是最有可能研發(fā)出AGI（通用人工智能：具有一般人類智慧，可以執(zhí)行人類能夠執(zhí)行的任何智力任務(wù)的機(jī)器智能）的實(shí)驗(yàn)室，谷歌收購(gòu)DeepMind后實(shí)力大增，極有壟斷AI行業(yè)的可能。 為了對(duì)抗這種可能性，OpenAI于2015年誕生了。

 

盡管主流研究還集中在ANI的研究（如機(jī)器視覺(jué)、語(yǔ)音輸入等），OpenAI從創(chuàng)立起，每一位參與者都堅(jiān)信AGI是可行的，他們希望能夠研制像人一樣思考、能夠應(yīng)用于多種途徑的機(jī)器智能。OpenAI以非盈利組織的形式成立，承諾發(fā)布研究成果并開(kāi)源所有技術(shù)，匯集了眾多理想主義的技術(shù)大牛，也吸引了不少投資。

 

這一年（2015年），神經(jīng)網(wǎng)絡(luò)研究再次迎來(lái)突破，Hinton所參加的ImageNet競(jìng)賽迎來(lái)了新冠軍。何凱明在這年提出了ResNet深度殘差網(wǎng)絡(luò)，這是世界上第一個(gè)上百層的深度神經(jīng)網(wǎng)絡(luò)，開(kāi)創(chuàng)了深度學(xué)習(xí)領(lǐng)域的里程碑。人工智能研究開(kāi)始嘗試輸入更高量級(jí)的數(shù)據(jù)，以更精確地模擬人腦。

 

2016年， DeepMind所發(fā)布的AlphaGo已經(jīng)擊敗了世界圍棋冠軍李世石，震動(dòng)世界。 人機(jī)大戰(zhàn)最終局結(jié)束后，李世石獨(dú)自一人掩面坐在棋盤前。這場(chǎng)比賽主動(dòng)挑戰(zhàn)執(zhí)黑的李世石沒(méi)能再次展現(xiàn)出“神之一手”，最終180手投子不敵AlphaGo。而人類VS人工智能也最終以1：4落下大幕。

 

 

李世石表示，“如果我再次與AlphaGo比賽的話，我不確定我能不能贏。在心理和技術(shù)上，我覺(jué)得人類已經(jīng)很難趕上AlphaGo了，它已經(jīng)做得很好了。”李世石失利后，不少棋手表示要為人類挽回顏面。

 

次年（2017年），世界排名第一的圍棋冠軍柯潔0：3不敵AlphaGo， 人工智能的威力再次得到彰顯，AlphaGo自此不再參加圍棋比賽。10月，DeepMind發(fā)布了AlphaGo Zero。與學(xué)習(xí)大量人類棋譜的AlphaGo不同，AlphaGo Zero是自學(xué)成才類選手，自己和自己對(duì)弈，學(xué)成后以100：0的戰(zhàn)績(jī)碾壓前輩AlphaGo。

 

12月，谷歌緊鑼密鼓地發(fā)布了AlphaZero。這次，棋類AI終結(jié)者真的來(lái)了。它發(fā)揚(yáng)了Alpha家族“后浪推前浪”的光榮傳統(tǒng)，輕松擊敗了早出生兩個(gè)月的AlphaGo Zero，還拿下了當(dāng)時(shí)最好的國(guó)際象棋引擎Stockfish以及日本將棋程序Shogi。而AlphaZero完成這些成就之前自我訓(xùn)練的時(shí)間更是讓人驚異：國(guó)際象棋9小時(shí)，日本將棋12天，圍棋13天。只靠十幾天的努力，它就下出了人類畢生努力也難達(dá)到的水平。

 

在人工智能在圍棋領(lǐng)域已無(wú)敵手的這一年， 谷歌繼續(xù)一路開(kāi)掛，發(fā)布了空前強(qiáng)大的Transformer模型。 Transformer 被廣泛認(rèn)為是當(dāng)時(shí)世界上發(fā)明最新和最強(qiáng)大的模型之一， 一些人把它帶來(lái)的人工智能領(lǐng)域方面的進(jìn)步稱作transformer AI。Transformer擁有強(qiáng)大的表征能力和并行計(jì)算優(yōu)勢(shì)，直到現(xiàn)在也深深影響著我們：我們?cè)诠雀杌虮貞?yīng)瀏覽器上的每一次搜索，都與它有關(guān)。斯坦福大學(xué)的研究人員在2021年8月的一篇論文中將Transformer稱作“基礎(chǔ)模型”，認(rèn)為它推動(dòng)了AI的范式轉(zhuǎn)變。最近大火的ChatGPT的GPT模型中的T就來(lái)自于Transformer。

 

谷歌團(tuán)隊(duì)將Transformer模型概括為一句話：Attention is All You Need. 這是一個(gè)完全基于注意力機(jī)制的編解碼器模型Transformer，完全拋棄了之前其他模型引入注意力機(jī)制后仍然保留的循環(huán)與卷積結(jié)構(gòu)，在任務(wù)表現(xiàn)、并行能力和易于訓(xùn)練性方面都有大幅提升，因此也成為了后續(xù)機(jī)器翻譯和其他許多文本理解任務(wù)的重要基準(zhǔn)模型。

 

Transformer可以讀取許多單詞或句子來(lái)訓(xùn)練模型，充分理解詞之間的相互關(guān)聯(lián)，并預(yù)測(cè)接下來(lái)出現(xiàn)的詞。Transformer架構(gòu)不斷發(fā)展并擴(kuò)展到多種不同的變體，從語(yǔ)言任務(wù)擴(kuò)展到其他領(lǐng)域。該模型應(yīng)用相當(dāng)廣泛，可以實(shí)時(shí)翻譯文本和語(yǔ)音，保證聽(tīng)障者也可以順利參會(huì)；可以幫助研究人員了解DNA中的基因鏈和蛋白質(zhì)中的氨基酸鏈，加快藥物設(shè)計(jì)進(jìn)程等等。前者應(yīng)用如谷歌翻譯，后者應(yīng)用的例子就是大名鼎鼎的AlphaFold。

 

2020年， DeepMind的AlphaFold在國(guó)際蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)競(jìng)賽上擊敗了其余的參會(huì)選手 ，再次爆紅。 AlphaFold能夠精確地基于氨基酸序列，預(yù)測(cè)蛋白質(zhì)的3D結(jié)構(gòu)。 其準(zhǔn)確性可以與使用冷凍電子顯微鏡（CryoEM)、核磁共振或X射線晶體學(xué)等實(shí)驗(yàn)技術(shù)解析的3D結(jié)構(gòu)相媲美。DeepMind創(chuàng)始人哈薩比斯表示，這對(duì)于DeepMind來(lái)說(shuō)是一個(gè)非常關(guān)鍵的時(shí)刻， DeepMind為此投入了巨大的人力及其他資源，以達(dá)成其解決這個(gè)非常重要的、現(xiàn)實(shí)世界的科學(xué)問(wèn)題的目標(biāo)。

 

該消息引起巨大震動(dòng)。前基因泰克首席執(zhí)行官亞瑟·萊文森（Arthur D. Levinson）博士稱這一成就為 “ 劃時(shí)代的進(jìn)步” 。有評(píng)論稱，AlphaFold必將成為科研“第四范式”時(shí)代的標(biāo)志性事件，徹底變革科研方式。“第四范式”時(shí)代是圖靈獎(jiǎng)得主吉姆·格雷（Jim Grey）在去世前最后一次報(bào)告中預(yù)測(cè)的內(nèi)容，他認(rèn)為未來(lái)的科研發(fā)現(xiàn)都將建立在大量數(shù)據(jù)基礎(chǔ)上，科學(xué)家將借助算法自動(dòng)形成推論，最后通過(guò)現(xiàn)實(shí)實(shí)驗(yàn)確認(rèn)。

 

 

看到這里，谷歌似乎已經(jīng)在人工智能領(lǐng)域占據(jù)了絕對(duì)優(yōu)勢(shì)，難以被其他公司所趕超。然而改變已經(jīng)悄悄發(fā)生。

 

2022年是AI的變革之年，也是AIGC元年。 人工智能深度學(xué)習(xí)的快速發(fā)展所帶來(lái)的深度神經(jīng)網(wǎng)絡(luò)技術(shù)在大模型和多模態(tài)兩個(gè)方面不斷突破。OpenAI等企業(yè)持續(xù)發(fā)力， 以 Stable Diffusion 為首的一眾 AI 畫圖框架或者平臺(tái)，以及其他類似的音視頻生成等平臺(tái)接連發(fā)布， 引起巨大轟動(dòng)。AIGC成為繼PGC、UGC后最新的內(nèi)容生產(chǎn)方式。AIGC時(shí)代下，人人都是創(chuàng)作者，只需一些簡(jiǎn)單的描述，精美的圖文或視頻就出現(xiàn)在用戶面前。

 

2022年8月，美國(guó)科羅拉多州，一位毫無(wú)繪畫基礎(chǔ)的參賽者在當(dāng)?shù)嘏e辦的新興藝術(shù)家競(jìng)賽中獲得了一等獎(jiǎng)，引發(fā)多方爭(zhēng)議。而這位參賽者正是借助人工智能，生成了下面這幅精美的AIGC繪畫作品《太空歌劇院》。

 

 

在AIGC潮流下，谷歌順勢(shì)而上，一口氣在2022年年末發(fā)布四款A(yù)IGC產(chǎn)品：文本圖像模型Imagen、AI寫作協(xié)助工具LaMDA Wordcraft、結(jié)合Imagen Video和Phenaki的超長(zhǎng)連貫視頻生成模型、無(wú)需任何訓(xùn)練的音頻模型AudioLM。

 

然而，OpenAI沒(méi)能讓谷歌過(guò)個(gè)好年。OpenAI在2020年投喂海量數(shù)據(jù)、更接近人腦的超大基礎(chǔ)模型GPT-3模型上持續(xù)提升，終于在 2022年11月，ChatGPT橫空出世， 憑借其有反饋的交互式問(wèn)答和像與人聊天一樣的聊天體驗(yàn)成為了AIGC領(lǐng)域最閃亮的新星和毋庸置疑的代言人，其龐大的用戶體量和討論度令人震驚。OpenAI不忘初心，以強(qiáng)有力的姿態(tài)出現(xiàn)并打破了谷歌的壟斷。谷歌匆忙迎戰(zhàn)，短短幾個(gè)月就推出Bard，然而B(niǎo)ard對(duì)谷歌談不上加成，因?yàn)榇疱e(cuò)簡(jiǎn)單的問(wèn)題引發(fā)群嘲，進(jìn)一步驗(yàn)證了ChatGPT的強(qiáng)大。

 

如今的ChatGPT在文本方面引領(lǐng)熱潮，通過(guò)引入RLHF機(jī)制，持續(xù)優(yōu)化模型效果，能完成問(wèn)答、詩(shī)歌創(chuàng)作、代碼寫作等，可以說(shuō)是非常全能。在ChatGPT引發(fā)的潮流之下，多個(gè)科技巨頭加碼布局交互式文本。

 

同時(shí)，其他AIGC產(chǎn)品的集中發(fā)布，從效率、質(zhì)量、多樣性等方面為內(nèi)容生產(chǎn)帶來(lái)了巨大變革。新一代AIGC模型可以處理文字、語(yǔ)音、代碼、圖像、視頻、機(jī)器人動(dòng)作等格式，為用戶帶來(lái)AIGC時(shí)代的內(nèi)容生成新體驗(yàn)。

 

 

 4

真正的AGI還會(huì)遠(yuǎn)嗎？

 

1996年，IBM的超級(jí)計(jì)算機(jī)深藍(lán)大戰(zhàn)人類國(guó)際象棋冠軍卡斯帕羅夫，卡斯帕羅夫是世界上最富傳奇色彩的國(guó)際象棋世界冠軍，這次比賽最后以4：2比分戰(zhàn)勝了深藍(lán)。這是全世界第一次感到計(jì)算機(jī)智能水平有了質(zhì)的飛躍的時(shí)刻。

 

卡斯帕羅夫在22歲就成為了最年輕的國(guó)際象棋世界冠軍，在與深藍(lán)交戰(zhàn)之前和之后都獲得了無(wú)數(shù)世界冠軍。盡管他在代表人類對(duì)弈深藍(lán)時(shí)失敗，但一幕將永遠(yuǎn)被歷史銘記。卡斯帕羅夫?qū)ψ约旱氖∫脖硎境隽烁叨葮?lè)觀：

 

機(jī)器的勝利，也是背后開(kāi)發(fā)者的勝利。 機(jī)器先是取代了人的體力勞作，現(xiàn)在正給有大學(xué)學(xué)位的腦力工作者帶來(lái)壓力。作為一個(gè)跟機(jī)器斗爭(zhēng)過(guò)并敗下陣來(lái)的人，我要說(shuō)這是個(gè)好消息。如果這種壓力消失，就意味著技術(shù)停止進(jìn)步了。真正重要的是人類與機(jī)器一起生活工作的感受。如果我們想最大程度地利用科技，就必須直面我們的恐懼。

 

卡斯帕羅夫也許可以給現(xiàn)在因?yàn)镃hatGPT而感到驚喜和沖擊的我們一些思考。如今，OpenAI引領(lǐng)AGI（通用人工智能）的探索，或許在不遠(yuǎn)的將來(lái)，AGI時(shí)代真正來(lái)臨，我們將面對(duì)一個(gè)意想不到的、完全不同的世界。

 

在AI的螺旋式上升發(fā)展過(guò)程中，挑戰(zhàn)和機(jī)遇并存，驚喜和意外同在，人們的樂(lè)觀和悲觀情緒更是時(shí)常轉(zhuǎn)換。而我們能做的，只有在科技發(fā)展這條不可逆行的快車道上，以勇敢和樂(lè)觀擁抱人工智能，將人工智能為我們所用。

 

References:

1.Eliza:The Chatbot Who Revolutionised Huamn-Machine Interaction[An Introduction],medium，https://medium.com/nerd-for-tech/eliza-the-chatbot-who-revolutionised-human-machine-interaction-an-introduction-582a7581f91c

2.達(dá)特茅斯官網(wǎng)：https://home.dartmouth.edu/about/artificial-intelligence-ai-coined-dartmouth

3.Claude E. Shannon:Founder of Information Theory, Scientific American,https://www.scientificamerican.com/article/claude-e-shannon-founder/

4.Alan Turing and the Turing Test, Turing Organization,https://www.turing.org.uk/publications/testbook.html

5.The Robot Scientists Are Coming. But That's Not a Bad Thing, Discover,https://www.discovermagazine.com/technology/the-robot-scientists-are-coming-but-thats-not-a-bad-thing

6.Meet the Roomba's Ancestor" The Cybernetic Tortoise,IEEE Spectrum, https://spectrum.ieee.org/amp/meet-roombas-ancestor-cybernetic-tortoise-2650279709

7.A brief history and technical review of the expert system research,IOP Conference, https://iopscience.iop.org/article/10.1088/1757-899X/242/1/012111/pdf

8.IBM官網(wǎng)：https://www.ibm.com/ibm/history/ibm100/us/en/icons/ibm700series/impacts/

9.Newell and Simon's Logic Theorist: Historical Background and Impact on Cognitive Modeling,HFES,https://journals.sagepub.com/doi/abs/10.1177/154193120605000904

10.What Ever Happened to IBM's Watson? The New York Times,https://www.nytimes.com/2021/07/16/technology/what-happened-ibm-watson.html

11.《人工智能實(shí)踐錄》作者/中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院（賽迪研究院）人工智能產(chǎn)業(yè)創(chuàng)新聯(lián)盟

12.《人工智能簡(jiǎn)史》作者/尼克

13.《深度學(xué)習(xí)導(dǎo)論》作者/[美]尤金·查爾尼克（Eugene Charniak），譯者/沈磊，鄭春萍

14.《深度學(xué)習(xí)革命》作者/[美]凱德·梅茨

15.中金證券：《AI十年展望（一）：底層模擬人腦，算力決定上限》

16.華泰證券：《傳媒：AIGC引領(lǐng)內(nèi)容生產(chǎn)方式變革》

17.前沿技術(shù)：神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)，作者/羅威博士，宇航智控(ID:yhznkz_lab)