【編者按】去年以來，由于深度學習技術的突破，人工智能迎來大爆發，與此同時，關于人工智能的威脅論也不絕于耳。那么超級人工智能真的會到來么？近日，Wired雜志主編凱文·凱利（Kevin Kelly）在自媒體上撰文，用長篇文字解釋了超級人工智能可能只是一個神話而已。

　　本文轉載自Wired，作者凱文·凱利，網易智能菌（ID：smartman163）翻譯，翻譯作者小易；由億歐編輯，供行業內人士參考。

　　我聽說未來的電腦會比我們聰明得多，他們會拿走我們所有的工作和資源，人類將走向滅亡。這是真的嗎？

　　這是我在談論人工智能的時候最常遇到的問題。問問題的人是認真的，他們的擔憂部分來自于一些專家，這些專家也在問自己同樣的問題。這些專家是存于現世的最聰明的人，比如斯蒂芬·霍金、埃隆·馬斯克、馬克斯·泰格馬克、薩姆·哈里斯和比爾·蓋茨，他們相信這種情況很可能成真。

　　最近，在一個討論人工智能問題的會議上，一個由9位人工智能專家組成的專家小組一致認為，這種超人智能的出現是不可避免的，而且不會遙遠。

　　然而，在這種超人智能掌管一切的情景中，隱藏著五個假設，在仔細研究后，這些假設并沒有任何證據作為憑借。這些說法在未來可能是正確的，但目前還沒有證據支持這些說法。

　　一個超級人工智能的產生的假設是：

　　1、人工智能已經以指數級的速度變得比我們聰明了。

　　2、我們會把人工智能變成一個萬能智能，就像我們自己的智能一樣。

　　3、我們可以用硅來制造人類智能。

　　4、智能可以無限制地擴張。

　　5、一旦我們的超級智能全面應用，它就能解決我們大部分的問題。

　　與這種正統觀念不同的是，我發現以下五種異見有更多證據作為支撐：

　　1、智能不是一個維度，所以“比人類更聰明”是一個毫無意義的概念。

　　2、人類沒有萬能的頭腦，人工智能也不會有。

　　3、在其他媒介上對人類思維進行模仿將受到成本的約束。

　　4、智能的維度不是無限的。

　　5、智能只是進步的因素之一。

　　如果對超人智能掌管一切的預期是基于沒有證據基礎的五個關鍵性假設，那么這個想法就更類似于一個宗教信仰，一個神話。在接下來的幾段中，我擴展了這五種假設反命題的證據，并證明，超人類的人工智能的的確確是一種神話。

　　一、關于人工智能最普遍的誤解始于對自然智能的普遍誤解

　　這種誤解是：智能是一個單一維度。大多數技術人員傾向于像尼克·波斯特羅姆在其著作《超級智能》中所做的那樣，以一種文字的、單維度的線性圖表來顯示智能增長幅度。

　　從低智能的小動物到高智能的天才，就好像不同智能是不同分貝的聲音一樣區分高低。

　　當然，我們很容易就能繼續想象，智能繼續增長如同越發喧囂的聲音，最終超越我們自己的高智能，成為一種超級“響亮”的智能，平地一聲吼！最終將遠遠超過我們，甚至可能超越圖表的范圍。

　　這個模型在拓撲上相當于一個梯子，所以每一個智能水平都比之前的水平高了一階。低等動物位于我們下方的較低的地方，而更高層次的智能將不可避免地把我們踩在更高的階級上。時間尺度的變化并不重要，重要的是智力增長的衡量標準。

　　這個模型的問題在于它如同神話，如同進化的階梯。在達爾文之前對自然世界的觀點認為，低等動物居于人類之下。即使是后達爾文時代，一個非常普遍的概念是進化的“階梯”，魚進化成爬行動物，然后向哺乳動物進化，接著進化成靈長類動物，最后進化成人類，每一個都比前者更進一步(當然更聰明)。因此，智能的階梯與生存的階梯是平行的。

　　但這兩種模式都提供了一種完全不科學的觀點。

　　一個更準確的物種自然進化的圖表是一個向外輻射的磁盤，就像德克薩斯大學的大衛·希里斯第一個設計的模型那樣（如上圖所示），圖表是基于DNA模型設計的。這種縱深的宗譜曼荼羅始于最原始的生命形式，隨著時間的推移向外擴張。時間是向外移動的，所以當今地球上最現代的物種形成了這個圓周周長的邊界。

　　這幅圖強調了一個難以理解的進化的基本事實:今天活著的每一個物種都是經過同等進化的。除了人類之外，蟑螂、蛤、蕨類、狐貍和細菌也存在于這個外環上。這些物種中的每一個都經歷了30億年的成功繁衍，這意味著今天的細菌、蟑螂都和人類一樣高度進化。所以不存在階梯之說。

　　關于人工智能最常見的誤解是，自然智能是一個單一的維度。

　　類比進化，同樣也沒有智能階梯之說。智能也不是一個單一的維度。它是多種類型和認知模式的綜合體，每一個都是一個連續的統一體。

　　讓我們來做一個簡單的測量動物智能的任務。如果智能是單維度的，我們應該能夠安排鸚鵡、海豚、一匹馬、一只松鼠、一只章魚、一只藍鯨、一只貓和一只大猩猩，按照正確的升序排列其智能順序。

　　但我們目前還沒有科學證據證明這一觀點。一個原因可能是動物智能沒有區別，而我們也沒法驗證這一點。

　　動物學在動物的思維方式上充滿了驚人的差異。但也許他們都有相同的“通用智能”?這是可能的，但我們沒法衡量，也沒有衡量這一智能的單一標準。相反，我們對許多不同類型的認知有許多不同的衡量標準。

　　智能是通過大腦浮現的而不是單一的分貝線產生的，更準確的智能模型是繪制出它的可測空間，就像上面由理查德·道金斯寫的算法所創造的可能形式一樣。

　　智能是一個組合連續體。每個節點一個連續體，多個節點在高維度上創建豐富多樣性的復合體。有些智能可能非常復雜，有許多子節點。其他的可能偏簡單，但更極端，在空間的某個角落里并不活躍。這些我們稱之為“智能”的情結可能被認為像是由多種樂器組成的交響樂。它們不僅在響度上不同，而且在音調、旋律、音色、節奏等方面也有所區別。我們可以把它們看作是生態系統。

　　從這個意義上說，思維的不同組成部分是相互依賴的，是共同創造的。

　　因為我們在解決之前無法解決的問題，所以我們想稱這種認知與我們的認知不同。

　　用馬文·明斯基的話來說，人類的大腦是思維的社會。我們在思考的生態系統中運行。我們包含多種認知類型，它們有多種思維方式:演繹推理、歸納推理、符號推理、情商、空間邏輯、短期記憶和長期記憶。

　　我們腸道內的整個神經系統也是一種具有自身認知模式的大腦。我們并不是僅僅用我們的大腦思考，而是用我們的整個身體來思考。這些認知組在個體和物種之間存在差異。一只松鼠能記住幾千個橡子的確切位置，這是一項能完爆人類頭腦的壯舉。所以在這一種認知中，松鼠超過了人類。松鼠的這個超能力與其他一些模式捆綁在一起，與我們相比，它們的模式是暗淡的，以便產生松鼠的思維。在動物王國中，還有許多其他特殊的認知能力，它們優于人類，再次被捆綁在不同的系統中。

　　人工智能也是一樣。在某些方面，人工智能已經超過了人類。你的計算器是一個數學天才；在某種程度上，谷歌的記憶力已經超出了我們的能力。我們正在設計人工智能以讓其在特定模式下表現出色。其中一些模式是我們可以做的，但它們可以做得更好，比如概率或數學。另一些則是我們根本做不到的事情，比如，記住60億個網頁上的每一個單詞，這是任何一個搜索引擎都能做到的。

　　在未來，我們將發明一種全新的認知模式，這種認知模式在我們身上并不存在，也不存在于生物學的任何地方。當我們發明人工飛行的時候，我們受到了飛行的生物模式的啟發，主要是扇動翅膀。但我們發明的飛行，即螺旋槳螺栓固定在寬闊的固定翼上，是生物界未知的一種新飛行方式。這算得上是外星人飛行。

　　同樣，我們將發明一種全新的思維模式，而這種思維模式在自然界中并不存在。在許多情況下，它們將是一種新的、狹窄的、針對特定工作的“小”特定模式，或許是一種僅用于統計和概率推理的模式。在其他情況下，新思維將是一種復雜的認知類型，我們可以用它來解決我們的智能無法解決的問題。

　　商業和科學中一些最困難的問題可能需要兩步解決方案。第一步是：發明一種新的思維模式來與我們的大腦一起工作。第二步:聯合起來解決問題。因為我們正在解決之前無法解決的問題，我們想把這種認知稱為“比我們更聰明”的認知，但實際上它與我們有所不同。

　　正是在思維上的不同讓人工智能造福人類。我認為人工智能的一個有用的模式是把它看作外星智能(或人工外星人)。它的“外星特色”將是它的主要資本。我們很快就會意識到，“聰明”并不是一個單一的維度，我們真正關心的是智能運行的其他許多方式。

　　同時，我們將把這些不同的認知模式整合到更復雜、更復雜的思維社會中去。其中一些情結將會比我們更復雜，因為它們將能夠解決我們不能解決的問題，有些人會把它們稱為超人。

　　盡管谷歌的記憶已經超越了我們，但我們并不認為谷歌是一個超人類的人工智能，因為有很多事情我們可以做得比它更好。這些人工智能的復合體肯定能在許多方面超過我們，但沒有一個實體能比我們做得更好，盡管它和人類的身體力量相似。

　　工業革命已經有200年了，雖然所有的機器都可以超越個人的身體成就（如跑步、舉重、精確切割等），但沒有一臺機器能在普通人類所做的每件事上勝出。

　　盡管人工智能的思維社會越來越復雜，但目前很難科學地衡量這種復雜性。我們沒有很好的操作標準來判斷黃瓜是否比波音747更復雜，也不知道它們的復雜性可能存在的不同。這也是為什么我們沒有良好的標準衡量智慧的原因之一。

　　要確定思維A是否比思維B更復雜是很難的，要判斷A是否比B更聰明也是如此。我們很快就會意識到，“聰明”并不是單一維度，我們真正關心的是智能運行的許多其他方式——所有我們尚未發現的認知節點。

　　二、第二個誤解：我們相信我們有一個萬能智能

　　這種重復的信念影響了人工智能研究人員，他們通常宣稱的一個目標，就是創造一個萬能人工智能（AGI）。然而，如果我們認為智力提供了一個很大的可能性空間，那么是不存在萬能智能的。人類的智能并不是處于某種核心位置，其他的特殊智力也非眾星拱月。

　　相反，人類的智能是一種非常非常特殊的智能，它已經進化了數百萬年，使我們的物種能夠在這個星球上生存。在所有可能的智能空間中，人類的智能將被困在角落里，就像我們的世界被困在浩瀚的銀河系的邊緣一樣。

　　在所有可能的智能空間中，人類的智能將被困在角落里，就像我們的世界被困在浩瀚的銀河系的邊緣一樣。

　　我們可以想象，甚至發明一種瑞士軍刀式的思維方式。它做了很多事情，但都不是很好。人工智能們將遵循同樣的工程格言，即所有生產或出生的東西都必須遵循:不能優化每一個維度，只能做權衡，不能讓一個萬能的多功能單位跑得比特定專門功能的更好。

　　一個大的“無所不能”的思維無法做到所有事情，也無法做到專業人員能做的事情。因為我們相信人類的思維是萬能的，所以我們傾向于相信，認知并沒有遵循工程師的權衡，所以我們有可能建立一種能使所有思維模式最大化的智能，但我沒有看到任何證據。

　　我們只是還沒有發明足夠豐富的思維來觀察整個空間（而且到目前為止，我們傾向于把動物的思維看作是一個單一維度上的具有可變幅度的單一類型。）

　　三、對最大化通用思維的信念的一部分來源于普遍計算的概念

　　這一猜想在1950年被證實描述為教會圖靈假設，假設認為所有達到一定閾值的計算都是相等的。因此，在所有的計算中都有一個通用的核心，不管計算發生在一個有許多快速部件的機器里，還是慢部件的，甚至是在一個生物大腦中，它遵循同一個邏輯過程。也就是說，人們應該能夠在任何能夠進行“通用”計算的機器上模擬任何計算過程(思考)。

　　奇點派依賴這一原則，因為他們期望我們能夠設計出硅質大腦來容納人類的思想，我們可以制造出像人類一樣思考的人工思維，而且更聰明。我們應該對這種希望產生懷疑，因為它憑借的是對教會圖靈假設的誤解。該理論的出發點是:“考慮到無限的磁帶記憶和時間，所有的計算都是一樣的。”

　　問題是，在現實中，沒有電腦擁有無限的記憶或時間。當你在現實生活中工作時，真正的時間會產生巨大的影響，而且通常是生死攸關的。是的，如果你忽略時間，所有的思考都是一樣的。

　　是的，你可以在任何你想要的矩陣中模仿人的思維方式，只要你忽略時間或現實生活中的存儲和記憶的限制。然而，如果你有時間，那么你就必須以一種重要的方式重申你的原則:在不同平臺上運行的兩種計算系統，在實時情況下是不一樣的。可以再次重申:擁有同等思維模式的唯一途徑是在同等基質上運行它們。

　　你計算的物理問題，尤其是當問題變得更加復雜的時候，會極大地影響你的認知能力，而這種認知能力可以在現實中得到很好的處理。我將進一步擴展這一觀點，聲稱獲得一個非常類似人類的思維過程的唯一方式就是在非常類似人類的濕紙巾上運行計算。

　　這也意味著，在干硅上運行的龐大而復雜的人工智能將產生巨大的、復雜的、不像人類的思維。如果可以用像人類一樣的成年神經元來制造人造濕腦，我的預測是，他們的想法將會和我們的相似。這種濕潤的大腦帶來的好處與我們制作基質的相似程度成正比。

　　但制造濕件的成本是巨大的，濕件組織與人類大腦組織的差距越小，制造人類的成本就越高。畢竟，造人是一件我們在九個月內可以完成的事情。

　　此外，正如上面所提到的，我們用我們的整個身體來思考，而不僅僅是我們的大腦。我們有大量的數據表明我們的直覺神經系統如何指導我們的“理性”決策過程，并且能夠預測和學習。我們對整個人體系統建模得越多，我們就越能復制它。

　　在一個完全不同的身體(用干的硅而不是濕的碳)運行的智能會有不同的想法。我不認為這是一種缺陷，而是一種特色。正如我在第二點所指出的，與人類不同的思維方式是人工智能的主要資本。這也是稱其“比人類更聰明”是誤導的另一個原因。

　　四、“超級人工智能”這個概念的核心，是智能具有無限的規模

　　我找不到這方面的證據。而且，把智能看成一個單一維度有助于這一理念，但理念就只能是理念。

　　據目前科學所知，宇宙中沒有任何物理維度是無限的。溫度不是無限的，只有有限的冷和有限的熱；空間和時間是有限的；速度是有限的。

　　也許數學數字是無限的，但所有其他的物理屬性都是有限的。理由是，理性本身是有限的，而不是無限的。所以問題是，智能的極限在哪里?

　　我們傾向于相信，界限超越我們的認知范圍，遠高于我們，就像我們遠“高于”一只螞蟻一樣。撇開一個單一維度的反復出現的問題，我們有什么證據表明局限不在我們本身?為什么我們不能達到最大限度?或者，極限距離我們只有很短的距離?為什么我們相信智能是可以永遠持續擴張的東西?

　　這種超人類智能的核心，尤其是這種智能將不斷提高的觀點本身，就是認為智力具有無限規模的理念。

　　一種更好的思考方式是把我們的智能看作是百萬種可能的智能之中的一種智能。因此，盡管認知和計算的每一個維度都有一個極限，如果有數百個維度，那么就有無數的思維類型，它們之中沒有一個在任何維度上是無限的。當我們建立或遇到這些不可數的思維時，我們可能會自然而然地想到其中一些會超越我們。

　　在我最近出版的《不可避免》一書中，我概述了一些在某種程度上優于我們的思維。這里有一個不完整的列表：

　　一種思維，諸如一個人類的思維，天生能更快回答問題(想象最簡單的人工智能思維)；

　　一種非常緩慢的主要由巨大的儲存和記憶組成的思維；

　　一個由數百萬個頭腦遲鈍的人共同組成的全球超級大腦；

　　由許多非常聰明的頭腦組成的，但沒有意識到它/它們是一個蜂巢的蜂群思維；

　　一個由許多聰明的并非常清楚地意識到彼此形成了統一的頭腦組成的博格超級頭腦；

　　一種并專注于提高你的個人思維的受過訓練的專用思維（對其他任何人都毫無用處）；

　　一種能想象出更宏大的思維，但卻無法達到彼岸的思維；

　　一種能夠創造出更宏大的的思維，但卻沒有足夠的自我意識去想象的思維；

　　一種一度成功創造過更宏大思維的思維；

　　一種能夠創造出更宏大思維的思維，其所創造的思維可以創造出尚未存在的更為宏大的思維，依次循環；

　　一種具有操作訪問源代碼的思維，這樣它就可以經常打亂自己的進程；

　　一種不帶感情的超邏輯思維；

　　一種解決問題、但沒有任何自我意識的思維；

　　一種有自我意識但不能解決普遍問題的思維；

　　一種需要很長時間才能形成的且直到成熟都需要保護意識的思維；

　　一種超低的思維，可以在巨大的物理距離上傳播，但在快速的頭腦中幾乎是“看不見的”；

　　一種能夠快速克隆自己的思維；

　　一種能夠克隆自己，并與克隆體保持一致的思維；

　　一種能從一個平臺移到另一個平臺、且能夠長生不老的思維；

　　一種快速、有活力且能夠改變認知的過程和特點的思維；

　　一種盡可能小的(尺寸和能量配置)且有自我意識的納米思維；

　　一種專注于情景和預測的思維；

　　一種永遠不會忘記或忘記任何事情（包括錯誤或虛假的信息）的思維；

　　一種半機器半動物的共生思維；

　　一種半機器半人的半機械人思維；

　　一種量子計算的、邏輯無法被我們理解的思維。

　　今天的一些人可能會把這些稱為“超人的人工智能”，但這些思圍的多樣性和異己性將引導我們去了解有關智能和智慧的新詞匯和見解。

　　這些思想的多樣性和異己性將引導我們去了解有關智能和智慧的新詞匯和見解。

　　其次，超人類人工智能的信徒們認為智能將會呈指數級增長(在某種未知的單一度量標準中)，這可能是因為他們還認為它已經呈指數級增長。然而，到目前為止，無論你如何衡量，沒有任何證據表明智能是呈指數級增長的。

　　按指數級增長的意思是，人工智能在一定的時間間隔內可以翻倍。證據在哪里?反正我哪里都找不到。如果現在還沒有，為什么我們認為它會很快發生呢?

　　在指數曲線上擴張的唯一因素是人工智能的投入，即用于生產智慧或智能的資源。但產出表現并不在摩爾定律的上升上。每3年，甚至每10年，人工智能們都不會翻倍。

　　我問了很多人工智能專家，他們認為智能表現呈指數級增長，但所有人都認為，我們沒有智能度量指標，而且，情況并非如此。

　　當我問雷·科茨維爾（他自己就是指數級巫師，他有人工智能指數級增長的證據），他告訴我人工智能并非爆炸式增長，而是逐層增長。他說：“ 在計算和算法復雜度方面，需要一個指數級的提升，才能把每一個額外的層次都添加到層次結構中......因此，我們可以期望線性地增加一個層級，因為它需要更多的復雜性來增加每一個額外的層，并且我們確實在我們的能力上取得了指數級的進步。但我們并沒有像新大腦皮質所能做的那么多，所以我的2029年仍然會讓我感受到不被人工智能威脅的舒服。”

　　雷似乎在說， 人工智能的力量并不是呈指數級增長的，只是它的產出呈指數級增長，而產出只是一次提高一個水平。這與智能爆炸式發展的假設幾乎完全相反。這種情況在未來的某個時候可能會發生變化，但人工智能現在顯然不會以指數級增長。

　　因此，當我們想象一場“智能爆炸式”發展時，我們不應該把它想象成一種井噴式的爆炸，反而是一種新品種的衍生。應該想象成寒武紀大爆發，而不是核爆炸。加速技術的結果很可能不是超人類，而是異人類。在我們的經驗之外，但不一定是“超越”。

　　五、幾乎沒有證據表明，超級人工智能能迅速解決我們的重大未解的問題

　　許多支持智能爆炸式增長的人認為，這將會帶來一場發展大爆炸。我把這種神秘的信仰稱為“思考主義”。這是一種謬論，認為未來的發展水平只會因為缺乏思考能力或智能而受阻。（我也可能會注意到，就像許多喜歡思考的人所認為的，思維是具有神奇力量的靈丹妙藥。）

　　讓我們來治療癌癥或延長壽命，這些都是獨自思考無法解決的問題。再多的思考也不會發現細胞是如何衰老的，或者端粒是如何脫落的。沒有任何智能，即使是超級大騙子，只要閱讀當今世界所有已知的科學文獻，然后思考，就能知道人體是如何運作的。也沒有一個超級人工智能能夠簡單地思考所有的當前和過去的核裂變實驗，然后在一天內想出怎么進行核聚變。

　　在不知道事物如何運作和知道它們如何工作之間，我們需要的不僅僅是思考。在現實世界中，有大量的實驗，每一項都有大量的相互矛盾的數據，需要進一步的實驗才能形成正確的有效假設。考慮到潛在的數據不會產生正確的數據。

　　思考（智能）只是科學的一部分，也許還是一小部分。舉例來說，我們沒有足夠的適當數據來解決死亡問題。在與生物有機體合作的情況下，大多數實驗都是按日歷進行的。細胞的緩慢新陳代謝不能加速。他們需要數年、數月，或者至少數天，才能得到結果。

　　如果我們想知道亞原子粒子發生了什么，我們不能只是思考。我們必須建造非常龐大的、非常復雜的、非常棘手的物理結構來找出答案。

　　即使最聰明的物理學家可以比現在的他們要聰明1000倍，沒有對撞機，他們也不會發現什么新東西。

　　許多支持智能爆炸式增長的人認為，這將會帶來一場發展大爆炸。

　　我把這種神秘的信仰稱為“思考主義”，毫無疑問，超級人工智能會加速科學的進程。我們可以對原子或細胞進行計算機模擬，我們可以通過許多因素使它們加速，但有兩個問題限制了模擬在獲得即時進展方面的效用。

　　首先，模擬和模型只能比它們的研究對象更快，因為它們去掉了一些東西。這就是模型或模擬的本質。同樣值得注意的是:這些模型的測試、審查和驗證也必須按照日歷進行，以匹配它們的研究對象的速度。畢竟，實踐檢驗真理是不能加速的。

　　在模擬過程中，這些簡化的版本在篩選最有希望的路徑時很有用，這樣它們就可以加速進程。但現實中并沒有多余的用處，在某種程度上，一切真實都會有所不同，這也是對現實的一種定義。隨著模型和模擬被越來越多的細節所充實，它們達到了一個極限，這個極限即是現實比其100%完全模擬的速度還要更快。這是對現實的另一種定義:當下所有細節和自由度的最快版本。

　　如果你能夠模擬一個細胞中的所有分子和人體所有的細胞，這個模擬將不會像人體一樣快。不管你怎么想，你仍然需要花時間去做實驗，無論是在真實的系統中還是在模擬系統中。為了發揮作用，人工智能必須在世界上體現出來，而這個世界往往會設定它們的創新步伐。沒有進行實驗，沒有建立模型，沒有失敗，沒有參與現實，一個智能可以有想法，但肯定沒有結果。這樣，一分鐘、一小時、一天或一年都不會有所謂的“比人類更聰明”的人工智能出現。

　　當然，人工智能技術的進步會大大加快這一發現的速度，部分原因是阿利什式人工智能會問一些人類不會問的問題，但即使是一個（與我們相比）強大得多的的智能也不意味著即時的進步。

　　問題的解決需要的不僅僅是智能。不僅是智能本身無法解決的癌癥和長壽問題，智能本身也是如此。

　　奇點派的一個常見的比喻是，一旦讓人工智能“比人類聰明”，那么突然它就會思考并發明出一種“比自己更聰明”的人工智能，它會更努力地思考，發明一種更智能的人工智能，直到它爆發，變得像神一樣。

　　我們沒有證據表明，僅僅是思考智能就足以創造新水平的智能。這種思考主義智能算是一種理念。我們有很多證據表明，除了大量的智能之外，我們還需要實驗、數據、試驗和錯誤、奇怪的質疑，以及各種各樣的除了智慧之外還能創造出一種新的成功思維的東西。

　　我的結論是，或許我對這些說法的看法有誤。我們還處在早期階段。我們可能會發現一個普遍的智能指標，我們可能會發現它在各個方向上都是無限的。因為我們對智能的了解甚少（更不用說意識了），某種人工智能奇點的可能性大于零。我認為所有的證據都表明，這樣的情形是極不可能發生的，但概率的確大于零。

　　因此，雖然我不同意它的可能性，但我同意Open AI以及那些擔心超人工智能的聰明人更遠大的目標：我們應該設計友好的人工智能，并弄明白如何逐步灌輸與我們相匹配的、可以自我復制的價值觀。雖然我認為超人的人工智能是一個在遙遠未來存在的威脅（當然也值得考慮），但我認為它的不可能（基于我們目前的證據）不應該是我們的科學、政策以及發展的指南。

　　就像小行星撞擊地球可能是災難性的。而且它的可能性大于零（因此我們應該支持B612Foundation），但我們不應該讓小行星撞擊的可能性扼制我們在氣候變化、太空旅行、甚至城市規劃方面的努力。

　　同樣的，迄今為止的證據表明，人工智能最有可能不是超人類的，而是成百上千的異人新型思維，最不同于人類，沒有一個是萬能的，沒有一個能馬上扮演上帝在瞬間解決重大問題。相反，我們將會有一個有限的智能星系，在不熟悉的維度上工作，超越我們的思維，與我們一起工作，解決現存的問題，創造新的問題。

　　人工智能最有可能不是超人類的，而是成百上千的異人新型思維，最不同于人類，沒有一個是萬能的，沒有一個能馬上扮演上帝在瞬間解決重大問題。

　　我理解一個超人類的人工智能的美麗有多吸引人。就像一個新型超人一樣。但就像超人一樣，這是一個神話般的形象。在宇宙的某個地方，一個超人可能存在，但在地球是非常不可能的。然而，神話是有用的，一旦被創造出來，它們就不會消失。關于超人的想法永遠不會消失。現在已經誕生了一個超人類的人工智能奇點的想法，也永遠不會消失。

　　但我們應該認識到，這是一個宗教的想法，而不是一個科學的想法。如果我們審視迄今為止關于智能、人工和自然的證據，我們只能得出這樣的結論:我們對神話般的超人類人工智能的猜測僅止于神話本身。

　　在第二次世界大戰期間，密克羅尼西亞的許多孤立島嶼首次與外界接觸。異界之神飛過他們的天空，在喧鬧的鳥中飛翔，在他們的島嶼上丟棄食物和貨物，然后再也沒有回來。島上的宗教信徒們向諸神祈禱，希望他們能回來投放更多的貨物。即使是現在，50年后的今天，許多人仍在等待物資返回。

　　超人的人工智能可能會成為另一種貨物崇拜。一個世紀過去了，人們可能會回顧這段時間，那時信徒們開始期待一個超人的人工智能出現在任何時刻，給他們帶來難以想象的價值。十多年后，他們等待著超人的人工智能出現，確信它必須馬上就能到達。

　　然而，非超人的人工智能已經存在于現實中。我們不斷地重新定義它，增加它的難度，在未來將它禁錮起來，但在更廣泛的意義上，異人智能，包括各種智慧、智能、認知、推理、學習和意識的連續光譜，在這個星球上已經無處不在，它將繼續傳播、深化、豐富和衍化。

　　在此之前，沒有一項發明能比得上它改變我們世界的力量，到本世紀末，人工智能將觸及并重塑我們生活中的一切。

　　關于超人的人工智能的神話，往返于既能給我們帶來超級富足，又能讓我們成為超級奴隸（或者兩者皆有）的可能性之間，這種可能性太具神話色彩而難以讓人忽視。