對于人工智能，我們必須認識到，它跟以往我們討論的所有科學技術(shù)都不一樣。現(xiàn)在人類玩的最危險的兩把火，一把是生物技術(shù)，一把就是人工智能——生物技術(shù)帶來很多倫理問題，但是那把火的危險性還沒有人工智能大，人工智能這把火現(xiàn)在最危險。最近一些商業(yè)公司，通過“人機大戰(zhàn)”之類的商業(yè)炒作，一方面加劇了這種危險，但另一方面也激發(fā)了公眾對人工智能前景的新一輪關(guān)注，這倒未嘗沒有好處。

我們可以把人工智能的威脅分成三個層次來看：近期的、中期的、遠期的——也就是終極威脅。

電動汽車特斯拉的生產(chǎn)流水線已經(jīng)大量使用機械手臂

近期威脅：大批失業(yè)、軍事化

人工智能的近期威脅，有些現(xiàn)在已經(jīng)出現(xiàn)在我們面前了。近期威脅基本上有兩條：

第一條，它正在讓很多藍領(lǐng)工人和下層白領(lǐng)失去工作崗位?，F(xiàn)在較低層次的人工智能已經(jīng)在很多工廠里被大量采用。有些人士安慰人們說，以前各種各樣新的技術(shù)被發(fā)明時，也曾經(jīng)讓一些工人失去崗位，后來他們不都找到新的崗位了嗎？但是我認為人工智能不一樣。媒體曾放過這樣的消息，包括人工智能的從業(yè)者自己也都在歡欣鼓舞地展望，說人類現(xiàn)在絕大部分的工作崗位，人工智能都是可以替代的。果真如此，顯然這個社會將會變成絕大部分人都沒有工作的狀態(tài)。對于這樣的社會，人類目前沒有準備好。今天如果有少數(shù)人沒有工作，多數(shù)人有工作，多數(shù)人養(yǎng)著少數(shù)人問題不大，這樣的社會是我們現(xiàn)有的社會制度和倫理道德結(jié)構(gòu)能夠承受的。但是如果顛倒過來，這個社會中有相當大的比例——且不說超過50%，按照那些對人工智能的展望，將來90%以上的工作崗位都會被人工智能取代。比如說人們想聽一場報告，找個人工智能來做就可以了，說不定比現(xiàn)在的聽起來還要來勁。

當這個社會大部分人都沒有工作的時候，社會會變得非常不穩(wěn)定。那么多沒有工作的人，他們可以用無限的時間來積累不滿，醞釀革命，于是就會危及社會穩(wěn)定。無論東方還是西方，無論什么意識形態(tài)的社會制度，在這個形勢面前都將黯然失色。所以說人類還沒有準備好。

順便再展望一下，既然90%以上的工作崗位都可以由人工智能來取代，那么“革命戰(zhàn)士”這種工作崗位能不能由人工智能來取代？革命能不能由人工智能來發(fā)起和進行？當然也可能。但是想想看，這樣的革命會帶來什么呢？很簡單，那就是科幻影片《黑客帝國》和《未來戰(zhàn)士》中的世界——人類被人工智能征服、統(tǒng)治、壓迫。

這是人工智能近期的第一個威脅，現(xiàn)在在很多工廠已經(jīng)出現(xiàn)了。對工廠來說，這個級別的人工智能是很容易實現(xiàn)的。那些工廠的管理者說，我們換一個機器人上來，它的成本只不過是三個工人一年的工資，但是它們管理起來太容易了。管理工人很難，你讓他加班他不愿意，加得多了他可能跳樓自殺或上街游行，而機器人你讓它24小時一直干著都沒有問題，管理成本又節(jié)省下來——管理成本往往是無形的，不那么容易計算。換用機器人很容易就可以收回成本，也許一年就收回來了。所以他們樂意用機器人取代工人。一些地方政府還通過政策鼓勵當?shù)氐墓S用機器人來替代工人，換個角度想想，城市這樣發(fā)展下去，不需要幾年，幾百萬工人失去工作，到那個時候后悔就來不及了。

人工智能第二個近期的威脅，是由加入軍隊的人工智能帶來的。但現(xiàn)在以美國為首的某些發(fā)達國家，最起勁的事情就是研發(fā)軍事用途的人工智能。研發(fā)軍事用途的人工智能本質(zhì)上和研發(fā)原子彈是一樣的，就是一種更有效的殺人手段。為什么埃隆·馬斯克等人也號召要制止研發(fā)軍事用途的人工智能，道理很明顯：研發(fā)軍事用途的人工智能，就是研發(fā)更先進的殺人武器，當然不是人類之福。

今天我們只能，而且必須抱著和當年搞“兩彈一星”類似的心態(tài)，來進行軍事用途的人工智能研發(fā)。軍用人工智能就是今天的“兩彈一星”。

比較理想的局面，是各大國坐下來談判，簽署限制或禁止人工智能的國際協(xié)議。目前國際上已出現(xiàn)一些這樣的倡議，但僅來自某些學者或?qū)W術(shù)機構(gòu)，尚未形成國家層面的行動或動議。

中期威脅：人工智能的反叛和失控

我們再來看人工智能中期的威脅——人工智能的失控。這種威脅媒體早有報道，但有一些人工智能的專家出來安慰大家，他們認為人工智能現(xiàn)在還很初級，即使戰(zhàn)勝了李世石，不過是下個棋，即使它會作詩、寫小說，它還是很低級的，所以不用擔心。這種安慰非?；闹?。

我們都知道“養(yǎng)虎遺患”的成語，如果那些養(yǎng)老虎的人跟我們說，老虎還很小，你先讓我們養(yǎng)著再說，我們能同意這樣的論證嗎？你讓我們同意養(yǎng)老虎，就得證明老虎不會吃人，或者證明你養(yǎng)的不是老虎。要是老虎養(yǎng)大了，它要吃人了，就來不及了。

《黑客帝國》三部曲

這個成語非常適合用來警惕人工智能的失控。各種各樣的科幻作品都有提及失控的后果，比如影片《黑客帝國》中，人工智能建立了對人類社會的統(tǒng)治，我們?nèi)祟惥屯甑傲?。我們?yōu)槭裁匆邪l(fā)出一個統(tǒng)治我們自己的超級物種？

當然，還有一部分專家說，想讓我們提供關(guān)于人工智能這個“老虎”不吃人的證據(jù)，我們有啊，我們有辦法讓我們的人工智能不吃人，不反叛，變成不吃人的老虎——我們只需要給人工智能設(shè)定道德戒律。

圍繞在人工智能中設(shè)定怎樣的道德戒律，用怎樣的技術(shù)去設(shè)定，專家們確實已經(jīng)想過各種各樣的方案了。但是這些方案可行嗎？任何一個具體方案，如果仔細琢磨，就會發(fā)現(xiàn)都是有問題的。我們先不考慮具體的方案，我們只要考慮一個總體的情形，就足以讓我們警惕。簡單地說，如果通過為人工智能設(shè)置一些道德戒律，就指望它不會學壞，那么請想一想，我們?nèi)祟惖浆F(xiàn)在為止，能夠做到讓每一個后代都學好嗎？答案是做不到。我們總是有一部分學壞的后代。對這些學壞的后代，難道家長和老師沒有向他們反復(fù)灌輸各種道德戒律嗎？況且社會還有各種各樣的法律制約，但仍然還有一部分人不可避免地學壞。從這個情形來推想，人工智能就算是你的一個孩子，你能確保他不學壞嗎？

更危險的事情是，人工智能會比人類更聰明。現(xiàn)在人類有一部分后代學壞，還沒有顛覆我們的社會，那是因為他們畢竟沒有變成超人，總體跟我們是一樣的。一小部分人學壞，大部分人還是可以制約他們。要是那個學壞的人是超人，他掌握了超級智能后依然學壞，人們將沒辦法控制它。然而現(xiàn)在人工智能研發(fā)追求的是什么境界——不弄出“超人”來，科學家肯罷手嗎？

所以，那些盲目樂觀，說我們能讓人工智能不學壞的人，請先解決怎么確保我們?nèi)祟愖约旱暮蟠粚W壞吧。如果人類不能在總體上杜絕我們后代的學壞，那對人工智能不學壞的信心從何而來？

在考慮人工智能的中期威脅時，還必須考慮人工智能與互聯(lián)網(wǎng)結(jié)合的可怕前景。主要表現(xiàn)為兩點：

1、互聯(lián)網(wǎng)可以讓個體人工智能徹底超越智能的物理極限（比如存儲和計算能力）。

2、與互聯(lián)網(wǎng)結(jié)合后，具有學習能力的人工智能，完全有可能以難以想象的速度，瞬間從弱人工智能自我進化到強人工智能乃至超級人工智能，人類將措手不及而完全失控。

另外，鼓吹人工智能的人在安慰公眾時，還有一個非常初級甚至可以說是相當?shù)陀椎恼f法：“我們可以拔掉電源”。專業(yè)人士在試圖打消公眾對人工智能的憂慮時，也經(jīng)常提到這一說法。但實際上他們完全知道，如今人工智能已經(jīng)與互聯(lián)網(wǎng)密切結(jié)合——事實上，這一點正是許多大企業(yè)極力追求的，借用如今高度發(fā)達的定制、物流、快遞等社會服務(wù)，人工智能幾乎已經(jīng)可以擺脫對所有物理伺服機構(gòu)的依賴。而當人工智能表現(xiàn)為一個網(wǎng)上幽靈時，沒有機體和形態(tài)，將沒有任何“電源”可拔。

人工智能和互聯(lián)網(wǎng)結(jié)合以后，危險成萬倍增長。以前對于個體的人工智能，它智能的增長還會受到物理極限的約束，但一旦和互聯(lián)網(wǎng)結(jié)合，這個物理極限的約束就徹底消失了。所以人工智能可以在極快的時間里自我進化。

去年一篇很長的文章在很多圈子里瘋傳，那篇文章稍微有點危言聳聽，但結(jié)論我同意。作者想論證這樣一種前景，就是說人工智能一旦越過了某個坎之后，自我進化的速度是極快的，快到不是以年月來計算，而可能是以分鐘甚至是秒來計算。一瞬間它就可以變成超人。一旦變成超人，當然就失控了。因此說老虎還小的人，不要以為老虎跟現(xiàn)在一樣一年長大一點，如果這個老虎一分鐘長大一倍，這樣的老虎還了得？雖然現(xiàn)在很小，過五分鐘就能吃人了。

當然，對于這種事情，我本質(zhì)上是樂觀主義者，雖然我看到了這樣危險的前景，我也還是得樂觀地生活。只能如此，不能因為覺得末日可能要來臨了，就不過好自己的每一天。

另外，對人工智能專家，我想說：你們要知道，在我所預(yù)言的危險前景中，你們是最危險的，因為你們就在老虎旁邊，老虎最先要吃的，很可能就是你們這些人，所以要特別警惕。

遠期威脅：將最終消解人類生存的根本意義

從中期看，人工智能有失控和反叛的問題，但是人工智能的威脅還有更遠期的，從最終極的意義來看，人工智能是極度致命的。

阿西莫夫提出了“機器人三定律”，現(xiàn)在在研究機器人的行業(yè)里，有的人表示三定律還有意義，但是也有一些專家對這個三定律不屑一顧，如果對三個定律仔細推敲的話，我相信一些人工智能專家肯定會同意下面的說法：這三定律絕對排除了任何對軍事用途機器人的研發(fā)。因為只要讓人工智能去執(zhí)行對人類個體的傷害，哪怕是去處死死刑犯人，就明顯違背了三定律中的第一定律。但是搞軍事用途人工智能的人會說，這三定律算什么，那是科幻小說家的胡思亂想，我們哪能拿它當真呢。

阿西莫夫在短篇小說《轉(zhuǎn)圈圈》中首次明確提出“機器人三定律”，這篇小說后來收錄在《我，機器人》小說集。

很多人不知道的是，這個阿西莫夫還有另一個觀點——所有依賴于人工智能的文明都是要滅亡的。

阿西莫夫有一部史詩科幻小說《基地》系列，共11卷，其中對人工智能有一個明確的觀點。對于人工智能的終極威脅，他已經(jīng)不是擔憂人工智能學壞或失控，他假定人工智能沒學壞，沒失控，但是這樣的人工智能是會毀滅人類的，因為這樣的人工智能將會消解我們?nèi)祟惿娴囊饬x。

試想所有的事情都由人工智能替人類干了，人類活著干嘛？人們很快就會變成一個個寄生蟲，人類這個群體就會在智能和體能上急劇衰退，像蟲子一樣在一個舒適的環(huán)境里活著，也許就自愿進入《黑客帝國》描繪的狀態(tài)中去了：你就是要感覺快活，這個時候乖乖聽話的人工智能完全可以為你服務(wù)：我把主人放在槽里養(yǎng)著，給他輸入虛假的快活信號，他就快活了，這不就好了嗎？

從根本上來說，人工智能像我們現(xiàn)在所希望、所想象的那樣無所不能，聽話，不學壞，這樣的人工智能將最終消除我們?nèi)祟惿娴囊饬x。每一個個體都變得沒有生活意義的時候，整個群體就是注定要滅亡的。

所以，無論從近期、中期、遠期看，人工智能都是極度危險的。無論它們反叛還是乖順，對人類也都是有害的。因此我完全贊成應(yīng)該由各大國談判訂立國際條約來嚴格約束人工智能的研發(fā)。這個條款應(yīng)該比美俄之間用來約束核軍備的條款還要更嚴格，否則是非常危險的。

科學已經(jīng)告別純真年代

以前曾經(jīng)有過科學的純真年代，那個時候也許可以認為科學是“自然而然”產(chǎn)生的，但是今天科學早就告別了純真年代，今天科學是跟資本密切結(jié)合在一起的。所有的這些活動，包括研發(fā)人工智能，背后都有巨大商業(yè)利益的驅(qū)動。

談到科學和資本結(jié)合在一起，我總要提醒大家重溫馬克思的名言：資本來到世間，每個毛孔都滴著濃血和骯臟的東西。對于和資本密切結(jié)合在一起的科學，我們的看法就應(yīng)該和以前不同了。

我們以前一直有一個說法：科學沒有禁區(qū)。這個說法是很多人都習慣的，但是現(xiàn)在對于這個說法，科學界的很多人已經(jīng)開始有新的認識。比如說曾任北大校長的許智宏院士，前不久就對媒體表示：我們以前一直說科學沒有禁區(qū)，但現(xiàn)在看來，科學研究仍然有著不可逾越的紅線。他是在說生物技術(shù)的某些應(yīng)用時說的，“不可逾越的紅線”當然就是禁區(qū)了。

如果表述得稍微完備一點，我們可以說，在每一個特定的時期里，科學都應(yīng)該有它的禁區(qū)，這個禁區(qū)可以在不同的時期有所改變。比如說某項技術(shù)，當人類社會已經(jīng)準備好了，我們已經(jīng)有成熟的倫理或者比較完備的法律來規(guī)范它的時候，我們也許可以開放這個禁區(qū)，說這個事情現(xiàn)在可以做了。但是沒準備好的事情，現(xiàn)在把它設(shè)為禁區(qū)是應(yīng)該的，這個禁區(qū)也應(yīng)包括科學技術(shù)的高低維度，高到一定程度就有可能變成禁區(qū)，不應(yīng)該再繼續(xù)追求了。

發(fā)展科學，在今天，其實各國都是被綁架的。已經(jīng)領(lǐng)先的怕被別人超越，當然不能停下來；尚未領(lǐng)先的，當然更要追趕。結(jié)果誰也不肯停下來或慢下來，誰都不敢停下來或慢下來，因為害怕“落后了就要挨打”。所以只有各大國坐下來談判，設(shè)立條約，不然毫無辦法。在這種局面中，只要有一個人開始做不好的事情，比如研發(fā)原子彈或軍事用途的人工智能，其他人就會被迫跟進，結(jié)果大家都會被綁架。