作者：曾毅 中國科學(xué)院自動(dòng)化研究所研究員、中英人工智能倫理與治理中心主任；北京智源人工智能研究院人工智能倫理與可持續(xù)發(fā)展中心主任；清華大學(xué)人工智能國際治理研究院首席專家。國家新一代人工智能治理專委會(huì)委員；聯(lián)合國教科文組織人工智能倫理特別專家組專家

從艾薩克·阿西莫夫的機(jī)器人三定律、斯蒂芬·霍金對(duì)人工智能與人類生存風(fēng)險(xiǎn)的預(yù)見，到諾伯特·維納對(duì)自動(dòng)控制系統(tǒng)安全的擔(dān)憂，近五年來各個(gè)國家、科研機(jī)構(gòu)和企業(yè)相繼提出的人工智能發(fā)展、倫理與治理原則，相關(guān)的思考與行動(dòng)見證著人類為推進(jìn)人工智能向?qū)θ祟愑幸娴姆较虬l(fā)展所做出的努力。當(dāng)人工智能的進(jìn)展如此深入地與人類社會(huì)深度融合時(shí)，一方面，我們看到的是人工智能作為賦能技術(shù)推進(jìn)社會(huì)的進(jìn)步；另一方面，人工智能發(fā)展中的隱患與不確定性使得我們無法完全脫離彷徨與擔(dān)憂。也正是因?yàn)檫@種不確定性與風(fēng)險(xiǎn)、挑戰(zhàn)的存在，才凸顯出人工智能倫理與治理研究、實(shí)踐的現(xiàn)實(shí)和長遠(yuǎn)意義，更需在人類負(fù)責(zé)任的創(chuàng)新與呵護(hù)下推進(jìn)人工智能以更穩(wěn)健的方式向未來探索前行。

我在此借曠視AI治理研究院與人民智庫組織的“2020全球十大AI治理事件”評(píng)選中的部分案例進(jìn)行回顧與討論，并再補(bǔ)充年底發(fā)生的一例事件?；赝^去，并非僅僅去看走過的路，更是為了反思我們尚未取得的進(jìn)展。

隱私保護(hù)：從意識(shí)到行動(dòng)

針對(duì)“歐美、韓國相繼出臺(tái)AI 治理新規(guī)，嚴(yán)格限制、甚至禁用相關(guān)人工智能技術(shù)在某些場(chǎng)景的發(fā)展和應(yīng)用”事件。我仍然認(rèn)為在國家與社會(huì)安全等特殊的需求下應(yīng)用人臉識(shí)別等技術(shù)有其意義，仍然應(yīng)當(dāng)鼓勵(lì)人臉識(shí)別等技術(shù)在十分必要的場(chǎng)景進(jìn)行合理使用，例如應(yīng)用于追蹤嫌疑人和打拐尋親。但同時(shí)應(yīng)當(dāng)指出，人臉識(shí)別的潛在風(fēng)險(xiǎn)確實(shí)存在，不可忽視，甚至解決其風(fēng)險(xiǎn)仍迫在眉睫。首先，從技術(shù)的角度講，生成對(duì)抗網(wǎng)絡(luò)的進(jìn)展使得人臉作為加密技術(shù)不再絕對(duì)安全。其次，從隱私的角度講，由于人臉等生物特征的相對(duì)穩(wěn)定性，一但泄露即面臨終身風(fēng)險(xiǎn)。不僅如此，從人臉圖像和視頻中甚至有研究嘗試可以部分提取出心跳、健康狀況、基因缺陷、性取向等隱私信息。此外還應(yīng)當(dāng)指出：人臉識(shí)別潛在的性別偏見、種族偏見等廣泛存在于其他類型的生物特征識(shí)別技術(shù)中，例如指紋識(shí)別、步態(tài)識(shí)別、虹膜識(shí)別、聲紋識(shí)別。由于人臉識(shí)別應(yīng)用部署最廣泛，得到公眾普遍關(guān)注引發(fā)的擔(dān)憂相對(duì)更多，為此，現(xiàn)在部分國家和相關(guān)企業(yè)出臺(tái)了暫時(shí)性的禁令。然而如果對(duì)其他類似技術(shù)中的風(fēng)險(xiǎn)與隱患不采取行動(dòng)盡可能避免潛在問題，將與人臉識(shí)別技術(shù)一樣遭受到同樣的挑戰(zhàn)。禁用不能完全解決問題，積極采用技術(shù)和非技術(shù)手段解決隱患才是真正負(fù)責(zé)任的創(chuàng)新。

針對(duì)“技術(shù)預(yù)警獨(dú)居老人水表及校園暴力行為”事件。雖然通過水表監(jiān)測(cè)實(shí)現(xiàn)對(duì)獨(dú)居老人健康狀況的關(guān)注是一個(gè)另辟蹊徑的設(shè)計(jì)。然而在其實(shí)現(xiàn)設(shè)計(jì)初衷的探索中，我們?nèi)匀灰M(jìn)行謹(jǐn)慎地討論。在這個(gè)應(yīng)用中除了實(shí)現(xiàn)對(duì)老人身體狀況的關(guān)注，是否仍然泄露了老人的部分隱私？例如除了呵護(hù)健康，似乎也可以基于相關(guān)數(shù)據(jù)推理出老人何時(shí)在家，是否外出旅行、探親，何時(shí)回來等信息，這些信息應(yīng)該被誰掌握？可否確保這些信息不被泄露？倘若是為了防止校園暴力，無論是視覺識(shí)別還是語音偵測(cè)設(shè)備，都有其不同場(chǎng)景的意義。然而這樣看似“善用”背后的細(xì)節(jié)仍然是值得關(guān)注的。沒有采集人臉和動(dòng)作等視覺信息就保護(hù)了隱私是一種誤區(qū)，視頻和聲音信號(hào)都可能包含隱私信息。只要是監(jiān)測(cè)設(shè)備，可否在沒有暴力事件的情況下盡可能地保護(hù)隱私？這是人工智能服務(wù)的技術(shù)創(chuàng)新者應(yīng)當(dāng)探索的疆域。

年終：大量明星核酸檢測(cè)照片在網(wǎng)絡(luò)傳播這一事件引發(fā)廣泛關(guān)注。“只要知道姓名和身份證號(hào)，就可以查看他人核酸檢測(cè)素顏照”引發(fā)公眾對(duì)健康寶系統(tǒng)安全性的擔(dān)憂。通過這一事件可以看到：一方面，某些承接政府機(jī)構(gòu)信息系統(tǒng)建設(shè)的企業(yè)并沒能很好地實(shí)現(xiàn)對(duì)公民關(guān)鍵隱私數(shù)據(jù)的有效保護(hù)。另一方面，相關(guān)政府機(jī)構(gòu)和企業(yè)對(duì)包含公民隱私數(shù)據(jù)的應(yīng)用，特別是政府委托的相關(guān)應(yīng)用服務(wù)，在數(shù)據(jù)保護(hù)方面應(yīng)需加強(qiáng)管理和監(jiān)督。之所以通過輸入部分信息就可以獲取他人核酸檢測(cè)相關(guān)細(xì)節(jié)信息，從系統(tǒng)設(shè)計(jì)角度而言存在不嚴(yán)格的倫理設(shè)計(jì)。雖然他人代查這項(xiàng)功能仍具有現(xiàn)實(shí)意義，例如子女和朋友幫助老年人等非手機(jī)用戶代查這樣的需求仍然存在，但是如何確認(rèn)代查結(jié)果經(jīng)過當(dāng)事人授權(quán)，確保其知情同意，是在系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)過程中必須思考清楚并通過技術(shù)實(shí)現(xiàn)的。

從隱私風(fēng)險(xiǎn)到身份認(rèn)同的挑戰(zhàn)：腦機(jī)接口倫理研究需跟上步伐

針對(duì)“??智能可以翻譯?腦想法將?腦信號(hào)轉(zhuǎn)化為?本數(shù)據(jù)，讓隱私?處遁藏”案例。現(xiàn)代腦機(jī)接口相關(guān)技術(shù)的發(fā)展使得有可能采用一些映射模型解碼部分人類思維的模式，借助腦機(jī)接口設(shè)備實(shí)現(xiàn)打字、遙控玩具與機(jī)械臂等“讀腦術(shù)”的應(yīng)用已日趨商用。雖然從20年前借助核磁數(shù)據(jù)解讀人腦思考的語義概念到這次基于腦電模式進(jìn)行文本解碼的工作都還是一種端到端的模式分類。但是我們必須未雨綢繆，為其中潛在的倫理問題做好準(zhǔn)備。人類的記憶及其激活過程從抽象的層次講可以認(rèn)為是特定模式的存儲(chǔ)、關(guān)聯(lián)和提取。如果訓(xùn)練的數(shù)據(jù)以及做的任務(wù)類型足夠豐富，加以腦機(jī)接口算法的改進(jìn)，我們無法確保人腦中的隱私不會(huì)被解讀出來。當(dāng)我們看到“讀腦術(shù)”有進(jìn)展時(shí)，更希望學(xué)術(shù)界能夠同步產(chǎn)生負(fù)責(zé)任的創(chuàng)新，研究在算法、實(shí)驗(yàn)步驟、應(yīng)用約束等各方面如何盡可能地保證被試者的隱私得到保障。但僅此而已嗎？在“讀腦”的過程中是否會(huì)產(chǎn)生“誤讀”？如果是實(shí)驗(yàn)性的文本解碼甚至是做遙控玩具游戲，似乎風(fēng)險(xiǎn)是有限的。然而如果是用腦機(jī)接口操作機(jī)械臂，“誤讀”將有極大風(fēng)險(xiǎn)會(huì)引起后果嚴(yán)重的“誤操作”。由腦機(jī)接口引起誤操作傷及受試者、用戶本人或者周圍的人和環(huán)境都是極有可能發(fā)生的事情。此外腦機(jī)接口技術(shù)可能會(huì)對(duì)人類的能動(dòng)性產(chǎn)生負(fù)面影響，這甚至是會(huì)影響到用戶對(duì)自身的身份認(rèn)同乃至責(zé)任的劃分。然而其在醫(yī)療、民用領(lǐng)域的意義仍然是積極和廣泛的。我們是否能夠做到一方面受益于以腦機(jī)接口為代表的智能增強(qiáng)技術(shù)，另一方面需要讓技術(shù)發(fā)展與應(yīng)用同步甚至是先一步，采取行動(dòng)盡可能避免其“侵犯隱私”，消除“誤讀”導(dǎo)致后果嚴(yán)重的“誤操作”等隱患。

來自人工智能的利益：權(quán)力與責(zé)任并存

針對(duì)“全國首例：法院認(rèn)定人工智能生成文章構(gòu)成作品，擁有著作權(quán)”案例。這讓我回想起2019年“歐盟專利局拒絕AI發(fā)明專利申請(qǐng)”的案例。正如我對(duì)“發(fā)明專利”案例的評(píng)價(jià)：“人工智能在某種受限的領(lǐng)域和場(chǎng)景下確實(shí)有可能進(jìn)行一定程度的發(fā)明創(chuàng)造，未來人工智能最重要的探索方向之一就應(yīng)當(dāng)是使人工智能真正具備發(fā)明和創(chuàng)造的能力”。在“專利”案例中，我不支持人工智能作為專利申請(qǐng)者。原因是權(quán)力與義務(wù)共存。如果參照人工智能設(shè)計(jì)的專利研發(fā)的產(chǎn)品存在缺陷、風(fēng)險(xiǎn)和安全隱患(如人工智能用于制藥)，若發(fā)生事故，由于人工智能尚不是責(zé)任主體，并不能實(shí)質(zhì)性承擔(dān)責(zé)任。與此類似，如果人工智能生成的文章構(gòu)成著作權(quán)，并由作品自動(dòng)生成系統(tǒng)的使用人員享有這個(gè)著作權(quán)，那么文章可能對(duì)社會(huì)產(chǎn)生的負(fù)面影響及相關(guān)連帶責(zé)任也應(yīng)當(dāng)由著作權(quán)享有者承擔(dān)。在賦予“著作權(quán)”的同時(shí)，我們是否合理強(qiáng)調(diào)了責(zé)任和義務(wù)？在人工智能還不能成為責(zé)任主體的情況下，倘若我們要享有使用人工智能帶來的利益，就必然同時(shí)要做好為此承擔(dān)責(zé)任的準(zhǔn)備。

從企業(yè)誠心自律到政府與社會(huì)多方治理

針對(duì)“AI 成監(jiān)工：算法下外賣騎手挑戰(zhàn)交通規(guī)則，助手可能變殺手”案例。有兩件事情可以確定：一是目前的人工智能只有處理數(shù)據(jù)的能力，沒有真正理解的能力。在這個(gè)案例中，配送規(guī)劃算法做的只是基于統(tǒng)計(jì)的優(yōu)化，而對(duì)于這種所謂的“優(yōu)化”過程騎手將如何去執(zhí)行以及可能導(dǎo)致的后果沒有任何理解能力。1950年的“圖靈之問”圍繞“機(jī)器是否能思考”，我認(rèn)為沒有真正的理解何談思考。在對(duì)“交通違規(guī)”“生命危險(xiǎn)”直至“生”“死”這些對(duì)于個(gè)人存在具有深刻意義的概念沒有真正理解的情況下，騎手卻被算法“操控”。算法的設(shè)計(jì)者和服務(wù)提供者可曾認(rèn)真想過算法“操控”的是人？二是我很難相信相關(guān)的算法設(shè)計(jì)者和服務(wù)提供商從未想過“助手”可能變“殺手”。然而什么使得他們做出選擇仍然這樣做，直至得到社會(huì)強(qiáng)烈的反彈？同行之間的惡性競爭使得企業(yè)在道德選擇上彷徨，直接將風(fēng)險(xiǎn)從服務(wù)提供商轉(zhuǎn)到了騎手身上，犧牲掉的是那些將風(fēng)險(xiǎn)與幾元配送費(fèi)反復(fù)較量的生命。通過這個(gè)案例，我們當(dāng)然能夠得到企業(yè)需要反思以及做出改變的結(jié)論，但我們能寄希望于所有的人工智能研發(fā)、應(yīng)用、服務(wù)企業(yè)完全做到自律自治嗎？社會(huì)輿論的關(guān)注、監(jiān)督與政府的頂層監(jiān)管必不可少。

軍用人工智能：即使無可避免，也要正視風(fēng)險(xiǎn)

針對(duì)“人工智能首次控制美國軍用系統(tǒng)，或?qū)㈤_啟算法戰(zhàn)新時(shí)代”案例。世界上很多國家都致力于發(fā)展軍事人工智能，然而人工智能給軍用設(shè)備與武器帶來能力提升的同時(shí)，更帶來了諸多隱患。如果這已經(jīng)是不可避免的發(fā)展趨勢(shì)，各國政府、學(xué)者及相關(guān)機(jī)構(gòu)務(wù)必?cái)y手應(yīng)對(duì)，盡可能避免由于人工智能的現(xiàn)存風(fēng)險(xiǎn)引發(fā)的災(zāi)難。人工智能模型存在設(shè)計(jì)缺陷、難于抵御不可預(yù)期類型的外部攻擊，這只是人工智能內(nèi)部、外部安全的冰山一角?，F(xiàn)代人工智能技術(shù)的進(jìn)展幾乎難以確保系統(tǒng)實(shí)現(xiàn)的目標(biāo)與人類真正的意圖完全一致。加之人工智能模型目前普遍缺乏可理解性，并對(duì)真實(shí)世界不具備理解能力，如果我們不能確保實(shí)質(zhì)性有意義的人類控制，加之復(fù)雜多變的戰(zhàn)場(chǎng)環(huán)境，使用軍事人工智能將不可避免的增加不必要的風(fēng)險(xiǎn)。此外，已有研究指出軍事人工智能可能的衍生品有可能發(fā)展為攻擊社會(huì)的工具的可能性，我們?nèi)绾未_保這樣的事情不會(huì)發(fā)生？至于致命性自主武器，更應(yīng)該是全人類聯(lián)合禁止使用的。

長遠(yuǎn)人工智能的倫理風(fēng)險(xiǎn)：未雨綢繆，防患于未然

針對(duì)“人工智能技術(shù)突破現(xiàn)有邊界，具備‘ 自主意識(shí)’，可實(shí)現(xiàn)獨(dú)立研發(fā)、自我修復(fù)等功能”案例。生物機(jī)器Xenobot的進(jìn)展是通過算法重塑干細(xì)胞的組織方式，使其能夠按照程序設(shè)定的方式生成身體形態(tài)，能夠?qū)崿F(xiàn)一定的功能并且具有可修復(fù)能力。它將在醫(yī)療與環(huán)境保護(hù)領(lǐng)域具有廣泛應(yīng)用潛力，但卻遠(yuǎn)遠(yuǎn)不能說明Xenobot是一種新的生命，更不能說明其具有“自主意識(shí)”。沒有繁衍和演化能力的Xenobot實(shí)際上仍然是一臺(tái)信息處理機(jī)器。Xenobot的自我修復(fù)能力來自于原始的干細(xì)胞的分化再生能力。而細(xì)胞間的自組織使得Xenobot獲得一定移動(dòng)能力，卻不具備從自我視角整合身體自身及環(huán)境信息的能力。倘若未來人工智能模型能夠?qū)崿F(xiàn)真正意義的“自主意識(shí)”，并具有理解能力，那么首先需要做的事情就是發(fā)展其認(rèn)知共情能力，讓其在理解和共情的基礎(chǔ)上遵循(演化中的)人類倫理道德。這幾乎是人類與通用人工智能和諧共生的唯一方式。有人指出通用智能和超級(jí)智能可能幾十年甚至更長時(shí)間之后才能實(shí)現(xiàn)，然而我卻認(rèn)為為保證通用智能與超級(jí)智能不給人類帶來生存風(fēng)險(xiǎn)，我們從現(xiàn)在開始準(zhǔn)備也未見得來得及。對(duì)于長遠(yuǎn)人工智能可能帶來的倫理風(fēng)險(xiǎn)及可能的解決道路，我們必須未雨綢繆，防患于未然。

人工智能技術(shù)與應(yīng)用日新月異，發(fā)展中的不確定性也日益凸顯。人類在各種可能性和新奇發(fā)展中不免彷徨。聚焦近年來全球相關(guān)典型事件，科技界、公眾與政府已然意識(shí)到人工智能風(fēng)險(xiǎn)、倫理與治理的重要性。未來，如何將對(duì)風(fēng)險(xiǎn)、安全、倫理的思考轉(zhuǎn)化為通過技術(shù)與社會(huì)手段的務(wù)實(shí)治理，不僅需要全社會(huì)的關(guān)注和實(shí)踐，更需要在全球視野下深度協(xié)作、長遠(yuǎn)布局，確保人工智能負(fù)責(zé)任地前行，為人類的未來保駕護(hù)航。