陳永偉/文 神經(jīng)網(wǎng)絡(luò )的誕生

1935年的一天，英國哲學(xué)家伯特蘭·羅素（Bertrand　Russel）收到了一封來(lái)自美國底特律的信。寫(xiě)信人自稱(chēng)叫沃爾特·皮茨（Walter　Pitts），在閱讀羅素和其老師懷特海（Alfred　North　Whitehead）合著(zhù)的《數學(xué)原理》時(shí)發(fā)現了幾處錯誤，因而特別來(lái)信指出。讀完信，羅素找來(lái)《數學(xué)原理》進(jìn)行了一番核對，發(fā)現來(lái)信人確實(shí)言之有理。于是，他立即向皮茨回信表示了感謝，并邀請皮茨來(lái)劍橋大學(xué)跟隨他攻讀研究生。

然而，皮茨并沒(méi)有接受這個(gè)邀請。這并不是因為他過(guò)于傲慢，而是因為他當時(shí)只有12歲，甚至連高中都還沒(méi)上。當時(shí)，皮茨生活的街區治安并不好，他經(jīng)常被街頭的小混混欺負。在家里，他脾氣暴躁的父親又經(jīng)常對他拳打腳踢。為了避免挨打，他經(jīng)常將社區圖書(shū)館作為庇護所。那天，他又出于同樣的目的來(lái)到了圖書(shū)館，并偶然發(fā)現了書(shū)架上的《數學(xué)原理》。然后，他奇跡般地只用三天就看完了這部2000頁(yè)的皇皇巨著(zhù)，并發(fā)現了其中的問(wèn)題給羅素寫(xiě)了信。

盡管皮茨不能跟隨羅素去讀研究生，但通過(guò)這番通信，兩人也算成了熟人。1938年，皮茨聽(tīng)說(shuō)羅素要去芝加哥講學(xué)，就果斷離家出走，來(lái)到了芝加哥。在芝加哥大學(xué)，皮茨終于見(jiàn)到了自己的筆友。羅素十分高興，并將他推薦給了在芝加哥任教的著(zhù)名哲學(xué)家魯道夫·卡爾納普（Rudolf　Carnap）。卡爾納普把他留在了芝加哥，還為他找了一份清潔工的工作用以維持生計。于是，皮茨就成了芝加哥大學(xué)的一位旁聽(tīng)生。

在芝加哥大學(xué)期間，皮茨的天才引起了很多人的注意，其中就包括一位叫杰羅姆·萊特文（Jerome　Lettvin)的醫學(xué)院研究生。萊特文對這位神童十分欽佩，不久后又將他介紹給了著(zhù)名的神經(jīng)學(xué)家沃倫·麥卡洛克（Warren　McCuloch）。在麥卡洛克結識皮茨時(shí)，他已經(jīng)42歲，但他卻發(fā)現自己和這位比自己小25歲的年輕人聊得十分投機——可能，這是因為兩人都崇拜萊布尼茨，并且都讀過(guò)《數學(xué)原理》。當時(shí)，皮茨在芝加哥沒(méi)有住所，麥卡洛克就干脆邀請他住到了自己的家中。此后，這對同住一個(gè)屋檐下的神經(jīng)學(xué)家和數學(xué)神童就經(jīng)常在一起探討問(wèn)題、交流思想。

那段時(shí)間，麥卡洛克正在嘗試用邏輯運算對大腦進(jìn)行建模。作為一名神經(jīng)學(xué)家，他在實(shí)驗中觀(guān)察到：在大腦中，每個(gè)神經(jīng)元都與其他神經(jīng)元相連，當神經(jīng)元興奮時(shí)，就會(huì )向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元內的電位；如果某個(gè)神經(jīng)元的電位超過(guò)了一個(gè)閾值，它就會(huì )被激活，即興奮起來(lái)，并向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)。他覺(jué)得，這種現象似乎可以和《數學(xué)研究》中的邏輯概念聯(lián)系起來(lái)。具體來(lái)說(shuō)，每一個(gè)神經(jīng)元信號就像是一個(gè)命題，它們像邏輯門(mén)一樣運行，接收多種信號的輸入，并產(chǎn)生單獨的輸出信號。通過(guò)變更神經(jīng)元的放電閾值，神經(jīng)元就可以表現出連接、分離、否定等行為，而它們就正好對應于邏輯中的“與”“或”和“非”。基于這個(gè)認識，他想把神經(jīng)元的運動(dòng)模式用一個(gè)數學(xué)模型表示出來(lái)。遺憾的是，麥卡洛克本人的數學(xué)能力并不強，所以他沒(méi)能完成這個(gè)模型。

麥卡洛克將這個(gè)想法告訴了皮茨，希望他可以用自己的數學(xué)天才幫助自己。皮茨沒(méi)有辜負他的希望，一番努力之后，他將麥卡洛克的想法發(fā)展成一個(gè)數學(xué)模型。模型中，神經(jīng)元被描述成了一個(gè)邏輯門(mén)，它會(huì )將來(lái)自周邊神經(jīng)元的信號加權求和，然后將得到的值代入一個(gè)非線(xiàn)性函數中，這個(gè)函數會(huì )根據輸入的值來(lái)決定神經(jīng)元究竟是關(guān)閉還是打開(kāi)。通過(guò)這樣的設定，神經(jīng)元的法則就被表示成了一個(gè)數學(xué)模型。雖然這個(gè)模型看似十分簡(jiǎn)單，但通過(guò)組合，它可以表達復雜的腦神經(jīng)活動(dòng)。麥卡洛克對皮茨的工作十分滿(mǎn)意，他很快將這個(gè)模型整理成了一篇論文，還讓自己的女兒為論文配上了手繪插圖。

1943年，這篇名為《神經(jīng)活動(dòng)中思想內在性的邏輯演算》（ALogicalCal－culusofIdeasImmanentinNervousAc－tivity）正式發(fā)表，“麥卡洛克—皮茨模型”（簡(jiǎn)稱(chēng)M-P模型）也因此而被人所知。這個(gè)模型，就是神經(jīng)網(wǎng)絡(luò )領(lǐng)域的開(kāi)山之作。直至今天，神經(jīng)網(wǎng)絡(luò )的大部分研究都依然以此作為基礎。

憑著(zhù)這篇開(kāi)創(chuàng )性論文，皮茨獲得了芝加哥大學(xué)的準學(xué)士學(xué)位——由于他在芝加哥大學(xué)沒(méi)有學(xué)籍，所以他并沒(méi)有能獲得正式的學(xué)生學(xué)位。不過(guò)，在當時(shí)那個(gè)年代，學(xué)位并不是一件大不了的事，相比于一紙文憑，那篇開(kāi)創(chuàng )性的論文更加可以證明皮茨的天賦。

不久之后，皮茨在萊特文的引薦下認識了麻省理工學(xué)院的數學(xué)家維納（NorbertWiener）。對于這位年紀輕輕就寫(xiě)出重量級論文的年輕人，維納也十分欣賞，于是就破格收下他作為自己的博士生。那時(shí)，維納正著(zhù)手創(chuàng )建“控制論”（Cybernetics），一門(mén)旨在用數學(xué)的方法描述機器、生命和社會(huì )的一般規律的新學(xué)科。皮茨順理成章地成為了他的助手。

維納的器重，讓皮茨感到了前所未有的溫暖。但他不知道的是，這其實(shí)是他后半生悲劇的開(kāi)始。幾年之后，維納莫名與皮茨反目，這讓一直對維納敬愛(ài)有加的皮茨精神備受打擊，從此一蹶不振。關(guān)于維納與皮茨師徒反目的原因，外人并不能確知。有人說(shuō)維納躁狂的性格導致了這一切，也有人說(shuō)，這是由于他們在研究思路上出了分歧。從后來(lái)的證據看，后一種說(shuō)法似乎更有道理，因為在維納的本來(lái)思路中，控制論包括對神經(jīng)網(wǎng)絡(luò )的研究，但師徒二人分道揚鑣后，這一塊內容從維納的研究版圖中被抹去了。無(wú)論如何，這場(chǎng)決裂確實(shí)毀掉了一個(gè)天才，此后，皮茨就終日借酒澆愁，直到二十多年后在貧病交加中孤獨死去。

通向魔宮的道路

當皮茨跟隨維納攻讀博士時(shí)，還有一位比他年輕三歲的學(xué)生，名叫奧利弗·塞弗里奇（OliverSelfridge），也在跟隨維納學(xué)習。塞弗里奇本來(lái)是學(xué)習數學(xué)的，但在皮茨和萊特文的熏陶之下，他也開(kāi)始對神經(jīng)網(wǎng)絡(luò )感興趣。幾年后，麥卡洛克也來(lái)到了麻省理工學(xué)院，于是麥卡洛克、皮茨、萊特文和塞弗里奇這四人就經(jīng)常在一起討論問(wèn)題、交流思想。

后來(lái)，維納和皮茨的那場(chǎng)決裂顯然波及了塞弗里奇，維納也因此和他斷絕了往來(lái)。這導致了塞弗里奇沒(méi)有能拿到博士學(xué)位。不過(guò)，憑借著(zhù)優(yōu)秀的數學(xué)和工程能力，他還是順利地在麻省理工學(xué)院的林肯實(shí)驗室找到了工作，并參與了第一個(gè)擴頻系統的建造。在工作之余，他還是熱衷于神經(jīng)網(wǎng)絡(luò )方面的研究。

1959年，塞弗里奇讀到了一篇由他的昔日老友麥卡洛克、皮茨、萊特文，以及另一位智利生物學(xué)家馬圖拉納（HumbertoMaturana）合寫(xiě)的論文《青蛙的眼睛告訴青蛙的大腦什么》（WhattheFrog’sEyeTellsFrog’sBrain）。這篇文章講了一個(gè)顛覆常識的故事：過(guò)去，人們認為眼睛作為感覺(jué)器官，只是負責接受信息，信息的處理都是由大腦完成的。但實(shí)驗表示，眼睛在接收了信息之后，至少進(jìn)行了部分解釋工作，然后再將它傳遞給大腦。大腦是在此基礎之上進(jìn)一步進(jìn)行的計算。比如，當青蛙看到有蟲(chóng)子飛過(guò)來(lái)時(shí)，其眼睛就會(huì )立即將蟲(chóng)子的信息傳遞給大腦；而當一般的環(huán)境變化時(shí)，蛙眼則不會(huì )傳遞任何信息。這表明，蛙眼在接受信息之后，確實(shí)會(huì )首先對其進(jìn)行一次識別，然后再決定是否將其傳遞給大腦。

這篇老友的作品讓塞弗里奇大受啟發(fā)，一個(gè)信息識別過(guò)程的模型慢慢在他的腦中浮現。不久之后，他就將這個(gè)想法整理成了一個(gè)模型，并將這個(gè)模型起了一個(gè)十分聳人聽(tīng)聞的名字——“魔宮模型”（PandemoniumModel，Pande－monium是傳說(shuō)中撒旦的宮殿）。這個(gè)模型將信息識別的過(guò)程比作了進(jìn)入魔宮的過(guò)程。在通往魔宮的道路上，共有四道門(mén)，每一道門(mén)后面都站著(zhù)不同類(lèi)型的妖魔。在第一道門(mén)背后站著(zhù)的是“圖像魔鬼”，它們負責記錄和傳遞輸入數據或圖像；第二道門(mén)背后站的是“特征魔鬼”，它們負責從輸入的信息中提取某些特征；第三道門(mén)背后站的是“認知魔鬼”，它們負責根據各種特征整理出有用的信息；第四道門(mén)背后站的是“決策魔鬼”，它們負責最后確認并輸出結果。所有這些“群魔”集中在一起，就可以共同完成對外部信息的識別。以識別手寫(xiě)的單詞為例，“圖像魔鬼”將負責感知信息；“特征魔鬼”將負責提取出文字中的各種特征，如“弧形”“彎鉤”等；“認知魔鬼”將負責根據特征識別出一個(gè)個(gè)的字母；最后“決策魔鬼”將所有識別出的文字加在一起，就得到了要識別的單詞。

當然，所謂的“魔宮”“群魔”，只不過(guò)是塞弗里奇為了引起讀者注意而故意搞的怪。事實(shí)上，這一個(gè)個(gè)亂舞的群魔完全可以被正式地表述成M-P模型中所刻畫(huà)的神經(jīng)元。這樣，通往魔宮的道路就變成了一張多層的神經(jīng)網(wǎng)絡(luò )。因而，“魔宮模型”實(shí)際上第一次向人們展示了用神經(jīng)網(wǎng)絡(luò )識別圖形和文字信息的方法，而塞弗里奇也因這個(gè)成就被后人尊為了“模式識別之父”。

感知機的成與敗

“魔宮模型”的提出在理論上揭示了用神經(jīng)網(wǎng)絡(luò )來(lái)進(jìn)行模式識別的可能性，那么，人們是否可以用這一原理來(lái)制作用以識別圖形或文字的機器呢？答案是肯定的。事實(shí)上，早在塞弗里奇構建他的“魔宮”之前，就已經(jīng)有人做出了用神經(jīng)網(wǎng)絡(luò )進(jìn)行圖形識別的機器。這個(gè)機器就是著(zhù)名的“感知機”（Percep－tron）。

創(chuàng )造“感知機”的人叫弗蘭克·羅森布拉特（FrankRosenblatt），是康奈爾大學(xué)的心理學(xué)教授。作為一位心理學(xué)家，羅森布拉特對腦的構造十分感興趣。他讀過(guò)麥卡洛克和皮茨的那篇經(jīng)典論文，并敏銳地意識到這個(gè)神經(jīng)網(wǎng)絡(luò )模型可以用來(lái)從事圖形識別等工作。

為了驗證這個(gè)想法，羅森布拉特在一臺IBM704機器上進(jìn)行了嘗試。具體來(lái)說(shuō)，他根據M-P模型的思路，構建了一個(gè)神經(jīng)網(wǎng)絡(luò )。這個(gè)網(wǎng)絡(luò )的輸入端可以用來(lái)讀取寫(xiě)有字母的卡片，然后這個(gè)神經(jīng)網(wǎng)絡(luò )會(huì )提取其中的特征信息，對信息進(jìn)行加工后，機器就會(huì )輸出其判斷的結果。一開(kāi)始，羅森布拉特的“感知機”運作得并不好，但通過(guò)他對模型參數的精心調整，“感知機”的表現就明顯改善了。

1958年7月，羅森布拉特在美國國家氣象局向人們展示了“感知機”的用處。當計算機成功地識別出了印在卡片上的一個(gè)個(gè)字母后，在場(chǎng)的觀(guān)眾無(wú)不驚嘆不已。第二天，羅森布拉特和他的“感知機”就登上了各大報刊的頭版。美國海軍、美國郵政局等單位也紛紛向羅森布拉特投來(lái)了橄欖枝，希望將這項發(fā)明用于實(shí)踐。

所謂“福兮禍之所伏”，當時(shí)“感知機”的技術(shù)還十分不成熟，這樣過(guò)度的贊譽(yù)對它而言絕不是一件好事。不久之后，它的缺陷就暴露了。人們發(fā)現，這臺機器只能識別規范印刷的字母，對于手寫(xiě)的字母卻無(wú)能為力。這意味著(zhù)，這時(shí)的“感知機”至多只是一個(gè)華而不實(shí)的東西，并無(wú)實(shí)際的用途。其實(shí)，從現在的觀(guān)點(diǎn)看，“感知機”的最關(guān)鍵問(wèn)題在于它僅用了一層的神經(jīng)網(wǎng)絡(luò )，而沒(méi)有像“魔宮模型”所建議的那樣采用多層神經(jīng)網(wǎng)絡(luò )，這極大地限制了“感知機”在處理上的靈活性。本來(lái)，如果給羅森布拉特更多的時(shí)間，他或許可以想到如何對自己的發(fā)明進(jìn)行改進(jìn)的辦法。但一個(gè)人的出現，改變了這一切。這個(gè)人就是馬文·明斯基（MarvinMinsky）。

在人工智能的歷史上，明斯基是一個(gè)舉足輕重的人物。正是他和約翰·麥卡錫（JohnMcCarthy）等幾位教授一起推動(dòng)了1956年的達特茅斯會(huì )議，人工智能才得以成為了一門(mén)獨立的學(xué)科。早年，他也對神經(jīng)網(wǎng)絡(luò )很感興趣，并親手打造了一臺名叫SNARE的機器——這可能是歷史上第一個(gè)真正的人造神經(jīng)網(wǎng)絡(luò )。但很快，他就轉變了看法，認為用神經(jīng)網(wǎng)絡(luò )這種模仿人腦來(lái)創(chuàng )建人工智能的方法是低效的。機器或許更適合用符號和邏輯規則來(lái)實(shí)現智能。

在看到羅森布拉特的“感知機”爆火后，明斯基寫(xiě)了一本關(guān)于神經(jīng)網(wǎng)絡(luò )的書(shū)，并故意將其命名為《感知機》。在書(shū)中，明斯基指出了神經(jīng)網(wǎng)絡(luò )的許多不足，例如它無(wú)法處理邏輯上的異或關(guān)系等，從理論上為感知機宣判了死刑。

雖然明斯基的批評顯得很不厚道，但客觀(guān)地說(shuō)，這些批評確實(shí)指出了當時(shí)神經(jīng)網(wǎng)絡(luò )的不足之處。羅森布拉特在幾次改進(jìn)失敗后，逐步放棄了完善感知機的計劃。而隨著(zhù)明斯基和羅森布拉特的爭論，剛剛誕生不久的人工智能學(xué)科也逐漸分裂成了兩大陣營(yíng)——推崇符號和邏輯的“符號主義”和推崇神經(jīng)網(wǎng)絡(luò )的“連接主義”。

1971年，羅森布拉特在一次帆船事故中去世。隨著(zhù)這位標志性人物的意外身故，“連接主義”也進(jìn)入了漫長(cháng)的低谷期。

神經(jīng)網(wǎng)絡(luò )的再起

羅森布拉特去世后的幾十年，符號主義主導了人工智能的發(fā)展。在這個(gè)學(xué)派看來(lái)，構建人工智能的關(guān)鍵在于讓機器建立起邏輯推理的能力。至于這種能力是用類(lèi)似人腦的模式實(shí)現的，還是按照其他的方式實(shí)現的則無(wú)關(guān)緊要。沿著(zhù)這個(gè)思路，研究者們取得了一系列引人注目的成就，如“邏輯理論家”、啟發(fā)式搜索、專(zhuān)家系統、知識庫和知識圖譜等，都是這一研究思路下的產(chǎn)物。與符號主義研究的日漸興盛形成鮮明對比的是神經(jīng)網(wǎng)絡(luò )研究的凋敝。從事這類(lèi)研究的學(xué)者不僅很難申請到經(jīng)費，甚至在會(huì )議宣講論文時(shí)都會(huì )被視為是騙子或神棍。

不過(guò)，即使在這種惡劣的情形之下，依然有一群連接主義的信徒在默默努力。在他們看來(lái)，機器通過(guò)模仿大腦來(lái)實(shí)現人工智能絕非天方夜譚，只不過(guò)當前的人們還沒(méi)有找到其中的奧秘而已。在當時(shí)的學(xué)界，這群人被戲稱(chēng)為“地下神經(jīng)網(wǎng)絡(luò )”。

杰弗里·辛頓（GeoffreyHinton）就是“地下神經(jīng)網(wǎng)絡(luò )”的一員。辛頓出生于英國的一個(gè)學(xué)術(shù)世家，其家族曾出過(guò)大批知名學(xué)者。他的父親是劍橋大學(xué)教授，著(zhù)名的昆蟲(chóng)學(xué)家。不過(guò)，家族的榮耀并沒(méi)有讓辛頓的學(xué)術(shù)之路一帆風(fēng)順，恰恰相反，他的前半生可謂是一路蹉跎。

高中時(shí)，辛頓從一位同學(xué)那里了解到了大腦神經(jīng)網(wǎng)絡(luò )的一些知識，從此迷上了這個(gè)領(lǐng)域。大學(xué)時(shí)，他選擇了物理專(zhuān)業(yè)，卻因數學(xué)能力不足而轉去了哲學(xué)系，隨后又轉到了實(shí)驗心理學(xué)系，最終，又從實(shí)驗心理學(xué)系退學(xué)。隨后，他干脆離開(kāi)了學(xué)界，干起了木匠。

在做木匠期間，他閱讀了加拿大心理學(xué)家赫布（DonaldHebb）的《行為組織》（TheOrganizationofBehavior）一書(shū)，了解了神經(jīng)元通過(guò)發(fā)送電信號彼此聯(lián)系、傳遞信息的過(guò)程。在這本書(shū)的引導下，他對大腦的興趣被重新點(diǎn)燃了，于是就決心重回學(xué)術(shù)界。于是，在父親的幫助之下，他進(jìn)入了愛(ài)丁堡大學(xué)，跟隨朗吉特—希金斯（ChristopherLonguet-Hig－gins）學(xué)習人工智能。朗吉特—希金斯曾是一位出色的理論化學(xué)家，被人工智能的理念吸引而轉入了這個(gè)行業(yè)。本來(lái)，希金斯他更傾向于連接主義。但在辛頓入學(xué)之前他讀了明斯基的書(shū)，觀(guān)點(diǎn)轉向了符號主義。在這樣的背景下，他和辛頓的師徒關(guān)系就可想而知了。

1978年，辛頓從愛(ài)丁堡大學(xué)畢業(yè)。但在當時(shí)，他很難在英國找到工作，于是不得不遠渡重洋來(lái)到美國的學(xué)界謀生。盡管在美國，連接主義依然處于邊緣地位，但相比于英國，這兒的學(xué)術(shù)環(huán)境要相對寬松，這讓他得以按照自己的想法，自由地探索神經(jīng)網(wǎng)絡(luò )的奧秘。盡管收入微薄、研究條件惡劣，但辛頓憑借自己的努力，在短短幾年內就完成了兩個(gè)重大的成就——“反向傳播”（Backpropagation，簡(jiǎn)稱(chēng)BP）算法和玻爾茲曼機（BoltzmannMachine）。

如前所述，羅森布拉特的“感知機”之所以失敗，是由于單層神經(jīng)網(wǎng)絡(luò )過(guò)于簡(jiǎn)單，因而它確實(shí)如明斯基所說(shuō)的那樣，連“抑或”這樣的邏輯運算都不能實(shí)現。因而，要提升神經(jīng)網(wǎng)絡(luò )的功能，它就必須要多層化。但一旦神經(jīng)網(wǎng)絡(luò )多層化了，參數的調整就會(huì )成為設計者的噩夢(mèng)。對于參數較少的單層網(wǎng)絡(luò )，他們可以很容易地通過(guò)試錯來(lái)完成這一切，但當網(wǎng)絡(luò )層數和參數變得更多后，全憑經(jīng)驗調整就幾乎是不可能的。“反向傳播”算法的基本思想來(lái)自微積分中的鏈式法則，這一參數給出了每一個(gè)參數的變化與下一層各參數變化之間的關(guān)系。借助這層關(guān)系，設計者們就可以從最后的輸出結果出發(fā)，按照從后往前的順序一層層對參數進(jìn)行調整。通過(guò)這一方法，調參的效率就可以得到大幅度地提升。玻爾茲曼機本質(zhì)上就是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò )模型。辛頓設計了這個(gè)模型，并用反向傳播算法調整了它的參數。這樣，這個(gè)模型就不僅可以用來(lái)識別圖形，還可以用來(lái)完成很多其他的工作。

當辛頓完成了上述工作后，他非常想把這一切及時(shí)分享給學(xué)界，并告訴大家：神經(jīng)網(wǎng)絡(luò )可以做到這些了。他興奮地來(lái)到了人工智能的大會(huì )，把自己的論文發(fā)給每一個(gè)參會(huì )者，但卻很少有人重視。他也把論文給了明斯基，但明斯基甚至都懶得翻一下論文，走時(shí)就把它遺落在了會(huì )場(chǎng)。

在那個(gè)時(shí)代，辛頓的遭遇絕非偶然。但和他類(lèi)似的連接主義者們并沒(méi)有因此放棄自己的理念。在他們的努力之下，遞歸神經(jīng)網(wǎng)絡(luò )（RecurrentNeuralNetwork，RNN）、卷積神經(jīng)網(wǎng)絡(luò )（Convo－lutionalNeuralNetworks，CNN）等工具被陸續發(fā)展出來(lái)。這個(gè)曾經(jīng)被宣布已經(jīng)死亡的學(xué)科又正在悄悄復活。

現在，是時(shí)候向全世界證明連接主義的價(jià)值了，從哪兒跌倒，就從哪兒站起來(lái)！當年，“感知機”因未能達到圖形識別的預期能力，才被人們認為是失敗的產(chǎn)品，那么重新證明神經(jīng)網(wǎng)絡(luò )模型能力的復仇戰就依然從圖形識別開(kāi)始吧。

連接主義者的“回歸秀”發(fā)生在2012年的“ImageNet大規模視覺(jué)識別競賽”（簡(jiǎn)稱(chēng)ILSVRC）上。ILSVRC是由斯坦福大學(xué)的華裔教授李飛飛發(fā)起的一個(gè)挑戰項目，是計算機視覺(jué)領(lǐng)域最著(zhù)名的挑戰賽之一。在每一年的ILSVRC中，主辦方都會(huì )由李飛飛教授建立的ImageNet數據集——一個(gè)包含有1400萬(wàn)張帶有標注的圖片的數據集中抽取部分樣本，要求參賽者用自己的算法進(jìn)行識別，最終準確度最高的算法將會(huì )勝出。最初兩年，ILSVRC的參賽者使用的大多是支持向量機等傳統機器學(xué)習算法，最終優(yōu)勝者的識別準確度大多在70%左右。到了2012年的ILSVRC，情況發(fā)生了根本性的改變，由辛頓和他的兩個(gè)學(xué)生伊利亞·蘇茨克沃（IlyaSutskever）、亞歷克斯·克里切夫斯基（AlexKrizhevsky）設計的AlexNet以85%左右的識別準確率一舉斬獲了當年大賽的優(yōu)勝，一下子把準確率記錄提升了10%以上。

AlexNet是一個(gè)八層的神經(jīng)網(wǎng)絡(luò )，其中前三層為卷積神經(jīng)網(wǎng)絡(luò )層，后三層則為全連接層，整個(gè)模型包含65萬(wàn)個(gè)神經(jīng)元，參數量在6千萬(wàn)以上。容易看到，從構架上看，它就是塞弗里奇“魔宮”的一個(gè)擴展，只不過(guò)原本在塞弗里奇的構想中，“魔宮”只有四道門(mén)，而辛頓等人則把它擴建到了有八道門(mén)。而65萬(wàn)個(gè)神經(jīng)元，就像魔宮中的群魔一樣，守在各道門(mén)后。早在數十年前，塞弗里奇就預言，只要參數設定得當，人們就可以順利地從圖形中提煉出其中的信息，就如同魔宮中的群魔在訓練之后，就可以提取人的靈魂一樣。不過(guò)，在塞弗里奇那個(gè)時(shí)代，人們并沒(méi)有找到訓練這些魔鬼的魔法，因而并沒(méi)有人真正馴服群魔。而在這個(gè)時(shí)候，辛頓已經(jīng)掌握了“反向傳播算法”，利用這個(gè)“魔法”，他把魔宮中的群魔訓練成了強大的魔軍。在這支魔軍面前，之前被人們認為不可能完成的任務(wù)被輕而易舉地完成了。

從學(xué)科發(fā)展的角度看，AlexNet的成功無(wú)疑是具有里程碑意義的。它讓被人們忽視已久的神經(jīng)網(wǎng)絡(luò )重新被人們認識，連接主義在被符號主義壓制數十年之后，終于成為了人工智能發(fā)展的主流。對于辛頓個(gè)人，這一次成功也是一起非常重要的事件。現在，他終于不再會(huì )遭人白眼，不再會(huì )被人視為三流學(xué)者，他的論文開(kāi)始被人爭相閱讀，引用量開(kāi)始成千上萬(wàn)。他，那個(gè)曾經(jīng)的小木匠，成了人工智能領(lǐng)域的英雄！

或許是出于憂(yōu)慮神經(jīng)網(wǎng)絡(luò )這個(gè)長(cháng)期被符號主義者污名化的詞不利于傳播，辛頓專(zhuān)門(mén)為他的研究改名叫深度學(xué)習——即用深度神經(jīng)網(wǎng)絡(luò )進(jìn)行學(xué)習之意也。而由于對深度學(xué)習這個(gè)領(lǐng)域的貢獻，他本人就被冠上了“深度學(xué)習之父”的名號。

學(xué)術(shù)的反向傳播

AlexNet的大獲成功讓人們看到了深度學(xué)習的巨大潛力。由此，大量的人才開(kāi)始涌入這個(gè)領(lǐng)域，大量的資本也開(kāi)始對其追捧。在這些要素的推動(dòng)之下，神經(jīng)網(wǎng)絡(luò )這個(gè)被壓抑了幾十年的研究領(lǐng)域迎來(lái)了前所未有的爆發(fā)。從Al－phaGO（阿爾法圍棋）戰勝人類(lèi)圍棋高手，到AlphaFold（阿爾法折疊）預測上億的蛋白質(zhì)組合，再到ChatGPT（人工智能聊天機器人）的橫空出世，神經(jīng)網(wǎng)絡(luò )不斷地向人們證明了自己的實(shí)力。現在，神經(jīng)網(wǎng)絡(luò )這個(gè)工具的用途早已超越了圖形識別，而幾乎被用在了各行各業(yè)。

對于連接主義的信奉者而言，這一切當然是非常值得欣慰的。不過(guò)，在巨大的成功背后，還有一個(gè)棘手的問(wèn)題有待回答：現在的神經(jīng)網(wǎng)絡(luò )究竟在多大程度上和人腦的神經(jīng)系統具有相似性？

現在神經(jīng)網(wǎng)絡(luò )技術(shù)之所以可以被普遍應用，反向傳播算法起到了非常關(guān)鍵的作用。但正如我們所見(jiàn)，這個(gè)算法的靈感是來(lái)自數學(xué)而非腦科學(xué)。那么，在大腦當中，是否也存在著(zhù)類(lèi)似的機制呢？長(cháng)期以來(lái)，即使是最堅定的連接主義者都對此表示了懷疑，甚至連其發(fā)明人辛頓都曾考慮過(guò)是否應該放棄這個(gè)算法。

直到2020年，這個(gè)問(wèn)題才終于有了一個(gè)相對明確的答案。那年的《自然評論：神經(jīng)科學(xué)》雜志發(fā)表了一篇題為《反向傳播和大腦》（BackpropagationandtheBrain）的論文。論文指出，大腦在學(xué)習的過(guò)程中，確實(shí)會(huì )對神經(jīng)元之間的突觸進(jìn)行調節。大腦在調整的過(guò)程中，會(huì )根據目標和活動(dòng)結果的差異來(lái)對錯誤進(jìn)行編碼，并以此指導突觸權重的變化。這一切，就好像人們在練習打球時(shí)，如果發(fā)現球飛得高了，下一次就會(huì )自動(dòng)降低發(fā)球的角度和力度，讓其更低一些；而如果發(fā)現球飛得低了，則會(huì )增加發(fā)球的角度和力度，讓它更高一些一樣——只不過(guò)，所有的這一切都是在神經(jīng)元的層面上進(jìn)行的，并且會(huì )通過(guò)突觸在不同神經(jīng)元之間傳播進(jìn)行。

這種機制幾乎是和人工智能領(lǐng)域的反向傳播算法如出一轍。更確切地說(shuō)，這種算法原本就存在于大腦的神經(jīng)系統當中，只不過(guò)原先神經(jīng)科學(xué)家們并沒(méi)有注意到這個(gè)機制，而人工智能專(zhuān)家們的成果則反過(guò)來(lái)啟發(fā)人們重新認識了它。

值得一提的是，作為反向傳播算法的發(fā)現者，辛頓也是這篇論文的作者之一。縱觀(guān)辛頓的學(xué)術(shù)生涯，他原本感興趣的是腦科學(xué)，但卻陰差陽(yáng)錯地從人工智能出發(fā)，再反過(guò)來(lái)探索人腦的奧秘，這又何嘗不是一種學(xué)術(shù)上的反向傳播呢？

從永生回到凡人

從麥卡洛克和皮茨合作提出M-P模型，到“深度學(xué)習革命”如今的如火如荼，神經(jīng)科學(xué)學(xué)科已經(jīng)為人工智能學(xué)科做出了相當的貢獻。那么，在未來(lái)，神經(jīng)科學(xué)學(xué)科還可以繼續給人工智能學(xué)科提供更多的靈感和啟發(fā)嗎？答案當然是肯定的。事實(shí)上，盡管現在的人工智能在很多方面已經(jīng)超越了人腦，但在其他的不少方面，人腦依然有著(zhù)更為優(yōu)越的表現。比如，在記憶、直覺(jué)、情感生成等方面，人腦的表現都遠非人工智能可比。從這個(gè)意義上看，人工智能可以向人腦學(xué)習的地方還有很多。

在人腦的眾多優(yōu)勢當中，最為突出的一點(diǎn)是它在學(xué)習的效率上要比人造的神經(jīng)網(wǎng)絡(luò )高出很多。現在，人們雖然可以訓練出參數量巨大的人工智能，其中一些的參數量甚至已經(jīng)超過(guò)了人腦神經(jīng)元的數量，但這么做的代價(jià)卻是巨大的。比如，在訓練GPT（生成預訓練變換器）模型時(shí)，OpenAI（開(kāi)放人工智能公司）就動(dòng)用了上萬(wàn)張顯卡，訓練一次的耗電就高達上千兆瓦時(shí)。而相比之下，人腦在學(xué)習時(shí)消耗的能量卻非常少。那么，人腦究竟是如何做到這一點(diǎn)的？人工智能是否可以模仿人腦做到這一點(diǎn)？圍繞著(zhù)這兩個(gè)問(wèn)題，一個(gè)被稱(chēng)為“類(lèi)腦計算”的全新領(lǐng)域正在蓬勃發(fā)展。

在類(lèi)腦計算的各個(gè)技術(shù)路線(xiàn)中，由辛頓提出的“凡人計算”（MortalComputation）是一個(gè)非常值得關(guān)注的方向。這個(gè)思想來(lái)自一個(gè)非常重要的觀(guān)察，即大腦的運作并非只是單純的神經(jīng)元之間的信息傳遞，它是和其大腦的物理基礎緊密相關(guān)的。換言之，大腦本身就是一個(gè)軟硬件一體化的機器，它的軟件，即思想不能脫離其硬件存在，如果大腦毀滅了，思維活動(dòng)也就隨之停止了。相比之下，人造的神經(jīng)網(wǎng)絡(luò )則是建筑在經(jīng)典的馮·諾伊曼架構上的，它產(chǎn)生的信息可以脫離硬件存在的，可以從一臺機器轉移到另一臺機器，因而可以說(shuō)是一種“永生運算”（ImmortalComputation）。聽(tīng)起來(lái)，“永生運算”要比“凡人運算”有吸引力得多，但其代價(jià)就是，它會(huì )需要消耗更多的能量，因為在永生運算中，信息需要不斷在存儲介質(zhì)上進(jìn)行寫(xiě)入和擦除，由此將會(huì )產(chǎn)生巨大的能量消耗。如果由此產(chǎn)生的成本超過(guò)了硬件成本，那么永生運算在效率上看就不如凡人運算。基于這一認識，辛頓建議未來(lái)的人們在構建神經(jīng)網(wǎng)絡(luò )時(shí)，可以考慮同時(shí)仿照人腦，開(kāi)發(fā)更適合它們的一次性硬件。雖然這會(huì )讓運算失去永生，但考慮到它能節約巨大的能耗，那么這一切依然是值得的。

幾十年前，當皮茨剛剛拜入維納門(mén)下時(shí)，維納曾和馮·諾伊曼（JohnvonNeumann）聊起他這位新弟子創(chuàng )造的M-P模型。一開(kāi)始，馮·諾伊曼覺(jué)得這個(gè)模型很有意思，覺(jué)得它潛力巨大。但隨后，他又對維納表示了憂(yōu)慮。他擔心一旦人們過(guò)于將注意力放在神經(jīng)元的運作問(wèn)題，對大腦物理結構的關(guān)注就可能隨之減少，可能讓人們忽視了真正重要的東西。當我們重新回看馮·諾伊曼的這段評論，就不得不感嘆他的敏銳。現在，神經(jīng)網(wǎng)絡(luò )的研究已經(jīng)證明了其價(jià)值，以后相關(guān)科學(xué)研究的重點(diǎn)可能要重新回到對大腦物理結構的認知上來(lái)了。

結語(yǔ)

回顧人工智能數十年的發(fā)展史，我們不難發(fā)現，它的成功很大程度上來(lái)自不同學(xué)科之間的相互啟迪和相互激發(fā)。只有當神經(jīng)科學(xué)、數學(xué)、物理學(xué)、工程學(xué)這些學(xué)科之間彼此合作時(shí)，人工智能才能得到迅速的發(fā)展。而當學(xué)者們出于門(mén)派之見(jiàn)彼此隔絕，甚至彼此攻擊時(shí)，學(xué)科的發(fā)展速度就會(huì )減慢。從這個(gè)意義上講，雖然現在連接主義已經(jīng)成為了人工智能領(lǐng)域絕對的主導思想，但如果研究者們能夠抽空讀讀西蒙（HerbertSimon）、紐厄爾（AllenNewell）等符號主義大師的作品，那他們也一定可以從中找到有益的啟發(fā)。

傳說(shuō)中，神由于害怕人們合力造出能夠通向天庭的巴別塔，所以施法變亂了他們的語(yǔ)言，讓他們難以交流。現在的研究者為了突破科學(xué)的邊界，就必須齊心協(xié)力，人為地制造隔閡，是無(wú)益于科學(xué)，也無(wú)益于自己的。