對于人工智能，我們必須認識到，它跟以往我們討論的所有科學技術都不一樣?，F(xiàn)在人類玩的最危險的兩把火，一把是生物技術，一把就是人工智能——生物技術帶來很多倫理問題，但是那把火的危險性還沒有人工智能大，人工智能這把火現(xiàn)在最危險。最近一些商業(yè)公司，通過“人機大戰(zhàn)”之類的商業(yè)炒作，一方面加劇了這種危險，但另一方面也激發(fā)了公眾對人工智能前景的新一輪關注，這倒未嘗沒有好處。

我們可以把人工智能的威脅分成三個層次來看：近期的、中期的、遠期的——也就是終極威脅。

電動汽車特斯拉的生產(chǎn)流水線已經(jīng)大量使用機械手臂

近期威脅：大批失業(yè)、軍事化

人工智能的近期威脅，有些現(xiàn)在已經(jīng)出現(xiàn)在我們面前了。近期威脅基本上有兩條：

第一條，它正在讓很多藍領工人和下層白領失去工作崗位?，F(xiàn)在較低層次的人工智能已經(jīng)在很多工廠里被大量采用。有些人士安慰人們說，以前各種各樣新的技術被發(fā)明時，也曾經(jīng)讓一些工人失去崗位，后來他們不都找到新的崗位了嗎？但是我認為人工智能不一樣。媒體曾放過這樣的消息，包括人工智能的從業(yè)者自己也都在歡欣鼓舞地展望，說人類現(xiàn)在絕大部分的工作崗位，人工智能都是可以替代的。果真如此，顯然這個社會將會變成絕大部分人都沒有工作的狀態(tài)。對于這樣的社會，人類目前沒有準備好。今天如果有少數(shù)人沒有工作，多數(shù)人有工作，多數(shù)人養(yǎng)著少數(shù)人問題不大，這樣的社會是我們現(xiàn)有的社會制度和倫理道德結(jié)構(gòu)能夠承受的。但是如果顛倒過來，這個社會中有相當大的比例——且不說超過50%，按照那些對人工智能的展望，將來90%以上的工作崗位都會被人工智能取代。比如說人們想聽一場報告，找個人工智能來做就可以了，說不定比現(xiàn)在的聽起來還要來勁。

當這個社會大部分人都沒有工作的時候，社會會變得非常不穩(wěn)定。那么多沒有工作的人，他們可以用無限的時間來積累不滿，醞釀革命，于是就會危及社會穩(wěn)定。無論東方還是西方，無論什么意識形態(tài)的社會制度，在這個形勢面前都將黯然失色。所以說人類還沒有準備好。

順便再展望一下，既然90%以上的工作崗位都可以由人工智能來取代，那么“革命戰(zhàn)士”這種工作崗位能不能由人工智能來取代？革命能不能由人工智能來發(fā)起和進行？當然也可能。但是想想看，這樣的革命會帶來什么呢？很簡單，那就是科幻影片《黑客帝國》和《未來戰(zhàn)士》中的世界——人類被人工智能征服、統(tǒng)治、壓迫。

這是人工智能近期的第一個威脅，現(xiàn)在在很多工廠已經(jīng)出現(xiàn)了。對工廠來說，這個級別的人工智能是很容易實現(xiàn)的。那些工廠的管理者說，我們換一個機器人上來，它的成本只不過是三個工人一年的工資，但是它們管理起來太容易了。管理工人很難，你讓他加班他不愿意，加得多了他可能跳樓自殺或上街游行，而機器人你讓它24小時一直干著都沒有問題，管理成本又節(jié)省下來——管理成本往往是無形的，不那么容易計算。換用機器人很容易就可以收回成本，也許一年就收回來了。所以他們樂意用機器人取代工人。一些地方政府還通過政策鼓勵當?shù)氐墓S用機器人來替代工人，換個角度想想，城市這樣發(fā)展下去，不需要幾年，幾百萬工人失去工作，到那個時候后悔就來不及了。

人工智能第二個近期的威脅，是由加入軍隊的人工智能帶來的。但現(xiàn)在以美國為首的某些發(fā)達國家，最起勁的事情就是研發(fā)軍事用途的人工智能。研發(fā)軍事用途的人工智能本質(zhì)上和研發(fā)原子彈是一樣的，就是一種更有效的殺人手段。為什么埃隆·馬斯克等人也號召要制止研發(fā)軍事用途的人工智能，道理很明顯：研發(fā)軍事用途的人工智能，就是研發(fā)更先進的殺人武器，當然不是人類之福。

今天我們只能，而且必須抱著和當年搞“兩彈一星”類似的心態(tài)，來進行軍事用途的人工智能研發(fā)。軍用人工智能就是今天的“兩彈一星”。

比較理想的局面，是各大國坐下來談判，簽署限制或禁止人工智能的國際協(xié)議。目前國際上已出現(xiàn)一些這樣的倡議，但僅來自某些學者或?qū)W術機構(gòu)，尚未形成國家層面的行動或動議。

中期威脅：人工智能的反叛和失控

我們再來看人工智能中期的威脅——人工智能的失控。這種威脅媒體早有報道，但有一些人工智能的專家出來安慰大家，他們認為人工智能現(xiàn)在還很初級，即使戰(zhàn)勝了李世石，不過是下個棋，即使它會作詩、寫小說，它還是很低級的，所以不用擔心。這種安慰非常荒謬。

我們都知道“養(yǎng)虎遺患”的成語，如果那些養(yǎng)老虎的人跟我們說，老虎還很小，你先讓我們養(yǎng)著再說，我們能同意這樣的論證嗎？你讓我們同意養(yǎng)老虎，就得證明老虎不會吃人，或者證明你養(yǎng)的不是老虎。要是老虎養(yǎng)大了，它要吃人了，就來不及了。

《黑客帝國》三部曲

這個成語非常適合用來警惕人工智能的失控。各種各樣的科幻作品都有提及失控的后果，比如影片《黑客帝國》中，人工智能建立了對人類社會的統(tǒng)治，我們?nèi)祟惥屯甑傲恕Ｎ覀優(yōu)槭裁匆邪l(fā)出一個統(tǒng)治我們自己的超級物種？

當然，還有一部分專家說，想讓我們提供關于人工智能這個“老虎”不吃人的證據(jù)，我們有啊，我們有辦法讓我們的人工智能不吃人，不反叛，變成不吃人的老虎——我們只需要給人工智能設定道德戒律。

圍繞在人工智能中設定怎樣的道德戒律，用怎樣的技術去設定，專家們確實已經(jīng)想過各種各樣的方案了。但是這些方案可行嗎？任何一個具體方案，如果仔細琢磨，就會發(fā)現(xiàn)都是有問題的。我們先不考慮具體的方案，我們只要考慮一個總體的情形，就足以讓我們警惕。簡單地說，如果通過為人工智能設置一些道德戒律，就指望它不會學壞，那么請想一想，我們?nèi)祟惖浆F(xiàn)在為止，能夠做到讓每一個后代都學好嗎？答案是做不到。我們總是有一部分學壞的后代。對這些學壞的后代，難道家長和老師沒有向他們反復灌輸各種道德戒律嗎？況且社會還有各種各樣的法律制約，但仍然還有一部分人不可避免地學壞。從這個情形來推想，人工智能就算是你的一個孩子，你能確保他不學壞嗎？

更危險的事情是，人工智能會比人類更聰明?，F(xiàn)在人類有一部分后代學壞，還沒有顛覆我們的社會，那是因為他們畢竟沒有變成超人，總體跟我們是一樣的。一小部分人學壞，大部分人還是可以制約他們。要是那個學壞的人是超人，他掌握了超級智能后依然學壞，人們將沒辦法控制它。然而現(xiàn)在人工智能研發(fā)追求的是什么境界——不弄出“超人”來，科學家肯罷手嗎？

所以，那些盲目樂觀，說我們能讓人工智能不學壞的人，請先解決怎么確保我們?nèi)祟愖约旱暮蟠粚W壞吧。如果人類不能在總體上杜絕我們后代的學壞，那對人工智能不學壞的信心從何而來？

在考慮人工智能的中期威脅時，還必須考慮人工智能與互聯(lián)網(wǎng)結(jié)合的可怕前景。主要表現(xiàn)為兩點：

1、互聯(lián)網(wǎng)可以讓個體人工智能徹底超越智能的物理極限（比如存儲和計算能力）。

2、與互聯(lián)網(wǎng)結(jié)合后，具有學習能力的人工智能，完全有可能以難以想象的速度，瞬間從弱人工智能自我進化到強人工智能乃至超級人工智能，人類將措手不及而完全失控。

另外，鼓吹人工智能的人在安慰公眾時，還有一個非常初級甚至可以說是相當?shù)陀椎恼f法：“我們可以拔掉電源”。專業(yè)人士在試圖打消公眾對人工智能的憂慮時，也經(jīng)常提到這一說法。但實際上他們完全知道，如今人工智能已經(jīng)與互聯(lián)網(wǎng)密切結(jié)合——事實上，這一點正是許多大企業(yè)極力追求的，借用如今高度發(fā)達的定制、物流、快遞等社會服務，人工智能幾乎已經(jīng)可以擺脫對所有物理伺服機構(gòu)的依賴。而當人工智能表現(xiàn)為一個網(wǎng)上幽靈時，沒有機體和形態(tài)，將沒有任何“電源”可拔。

人工智能和互聯(lián)網(wǎng)結(jié)合以后，危險成萬倍增長。以前對于個體的人工智能，它智能的增長還會受到物理極限的約束，但一旦和互聯(lián)網(wǎng)結(jié)合，這個物理極限的約束就徹底消失了。所以人工智能可以在極快的時間里自我進化。

去年一篇很長的文章在很多圈子里瘋傳，那篇文章稍微有點危言聳聽，但結(jié)論我同意。作者想論證這樣一種前景，就是說人工智能一旦越過了某個坎之后，自我進化的速度是極快的，快到不是以年月來計算，而可能是以分鐘甚至是秒來計算。一瞬間它就可以變成超人。一旦變成超人，當然就失控了。因此說老虎還小的人，不要以為老虎跟現(xiàn)在一樣一年長大一點，如果這個老虎一分鐘長大一倍，這樣的老虎還了得？雖然現(xiàn)在很小，過五分鐘就能吃人了。

當然，對于這種事情，我本質(zhì)上是樂觀主義者，雖然我看到了這樣危險的前景，我也還是得樂觀地生活。只能如此，不能因為覺得末日可能要來臨了，就不過好自己的每一天。

另外，對人工智能專家，我想說：你們要知道，在我所預言的危險前景中，你們是最危險的，因為你們就在老虎旁邊，老虎最先要吃的，很可能就是你們這些人，所以要特別警惕。

遠期威脅：將最終消解人類生存的根本意義

從中期看，人工智能有失控和反叛的問題，但是人工智能的威脅還有更遠期的，從最終極的意義來看，人工智能是極度致命的。

阿西莫夫提出了“機器人三定律”，現(xiàn)在在研究機器人的行業(yè)里，有的人表示三定律還有意義，但是也有一些專家對這個三定律不屑一顧，如果對三個定律仔細推敲的話，我相信一些人工智能專家肯定會同意下面的說法：這三定律絕對排除了任何對軍事用途機器人的研發(fā)。因為只要讓人工智能去執(zhí)行對人類個體的傷害，哪怕是去處死死刑犯人，就明顯違背了三定律中的第一定律。但是搞軍事用途人工智能的人會說，這三定律算什么，那是科幻小說家的胡思亂想，我們哪能拿它當真呢。

阿西莫夫在短篇小說《轉(zhuǎn)圈圈》中首次明確提出“機器人三定律”，這篇小說后來收錄在《我，機器人》小說集。

很多人不知道的是，這個阿西莫夫還有另一個觀點——所有依賴于人工智能的文明都是要滅亡的。

阿西莫夫有一部史詩科幻小說《基地》系列，共11卷，其中對人工智能有一個明確的觀點。對于人工智能的終極威脅，他已經(jīng)不是擔憂人工智能學壞或失控，他假定人工智能沒學壞，沒失控，但是這樣的人工智能是會毀滅人類的，因為這樣的人工智能將會消解我們?nèi)祟惿娴囊饬x。

試想所有的事情都由人工智能替人類干了，人類活著干嘛？人們很快就會變成一個個寄生蟲，人類這個群體就會在智能和體能上急劇衰退，像蟲子一樣在一個舒適的環(huán)境里活著，也許就自愿進入《黑客帝國》描繪的狀態(tài)中去了：你就是要感覺快活，這個時候乖乖聽話的人工智能完全可以為你服務：我把主人放在槽里養(yǎng)著，給他輸入虛假的快活信號，他就快活了，這不就好了嗎？

從根本上來說，人工智能像我們現(xiàn)在所希望、所想象的那樣無所不能，聽話，不學壞，這樣的人工智能將最終消除我們?nèi)祟惿娴囊饬x。每一個個體都變得沒有生活意義的時候，整個群體就是注定要滅亡的。

所以，無論從近期、中期、遠期看，人工智能都是極度危險的。無論它們反叛還是乖順，對人類也都是有害的。因此我完全贊成應該由各大國談判訂立國際條約來嚴格約束人工智能的研發(fā)。這個條款應該比美俄之間用來約束核軍備的條款還要更嚴格，否則是非常危險的。

科學已經(jīng)告別純真年代

以前曾經(jīng)有過科學的純真年代，那個時候也許可以認為科學是“自然而然”產(chǎn)生的，但是今天科學早就告別了純真年代，今天科學是跟資本密切結(jié)合在一起的。所有的這些活動，包括研發(fā)人工智能，背后都有巨大商業(yè)利益的驅(qū)動。

談到科學和資本結(jié)合在一起，我總要提醒大家重溫馬克思的名言：資本來到世間，每個毛孔都滴著濃血和骯臟的東西。對于和資本密切結(jié)合在一起的科學，我們的看法就應該和以前不同了。

我們以前一直有一個說法：科學沒有禁區(qū)。這個說法是很多人都習慣的，但是現(xiàn)在對于這個說法，科學界的很多人已經(jīng)開始有新的認識。比如說曾任北大校長的許智宏院士，前不久就對媒體表示：我們以前一直說科學沒有禁區(qū)，但現(xiàn)在看來，科學研究仍然有著不可逾越的紅線。他是在說生物技術的某些應用時說的，“不可逾越的紅線”當然就是禁區(qū)了。

如果表述得稍微完備一點，我們可以說，在每一個特定的時期里，科學都應該有它的禁區(qū)，這個禁區(qū)可以在不同的時期有所改變。比如說某項技術，當人類社會已經(jīng)準備好了，我們已經(jīng)有成熟的倫理或者比較完備的法律來規(guī)范它的時候，我們也許可以開放這個禁區(qū)，說這個事情現(xiàn)在可以做了。但是沒準備好的事情，現(xiàn)在把它設為禁區(qū)是應該的，這個禁區(qū)也應包括科學技術的高低維度，高到一定程度就有可能變成禁區(qū)，不應該再繼續(xù)追求了。

發(fā)展科學，在今天，其實各國都是被綁架的。已經(jīng)領先的怕被別人超越，當然不能停下來；尚未領先的，當然更要追趕。結(jié)果誰也不肯停下來或慢下來，誰都不敢停下來或慢下來，因為害怕“落后了就要挨打”。所以只有各大國坐下來談判，設立條約，不然毫無辦法。在這種局面中，只要有一個人開始做不好的事情，比如研發(fā)原子彈或軍事用途的人工智能，其他人就會被迫跟進，結(jié)果大家都會被綁架。