人工智能是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力。2023年中央經(jīng)濟(jì)工作會議提出，要大力推進(jìn)新型工業(yè)化，發(fā)展數(shù)字經(jīng)濟(jì)，加快推動人工智能發(fā)展。“十四五”規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要強(qiáng)調(diào)，加強(qiáng)網(wǎng)絡(luò)安全關(guān)鍵技術(shù)研發(fā)，加快人工智能安全技術(shù)創(chuàng)新，提升網(wǎng)絡(luò)安全產(chǎn)業(yè)綜合競爭力。本期特邀專家圍繞相關(guān)問題進(jìn)行研討。

夯實(shí)人工智能發(fā)展的安全基礎(chǔ)

加快推動人工智能發(fā)展，需如何應(yīng)對潛在風(fēng)險(xiǎn)、把握戰(zhàn)略主動？

單志廣（國家信息中心信息化和產(chǎn)業(yè)發(fā)展部主任、國家大數(shù)據(jù)發(fā)展專家咨詢委員會秘書長）：黨的二十大報(bào)告提出，推進(jìn)國家安全體系和能力現(xiàn)代化，堅(jiān)決維護(hù)國家安全和社會穩(wěn)定。人工智能是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性技術(shù)，同時(shí)也具有明顯的“雙刃劍”特征。一方面，人工智能賦能網(wǎng)絡(luò)攻防、開源情報(bào)等國家安全相關(guān)領(lǐng)域，是筑牢國家安全屏障的有力抓手；另一方面，人工智能因其脆弱性、不穩(wěn)定性、不可解釋性等特點(diǎn)，在與經(jīng)濟(jì)社會深度融合應(yīng)用的過程中，極易引發(fā)國家、社會、企業(yè)和個(gè)人等層面的安全風(fēng)險(xiǎn)。在席卷全球的人工智能浪潮中，如何應(yīng)對人工智能風(fēng)險(xiǎn)、把握發(fā)展戰(zhàn)略主動、有效維護(hù)和保障國家安全，是國家治理的重要議題。

近年來，國家高度重視人工智能安全發(fā)展，逐步完善相關(guān)政策法規(guī)。國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》提出面向2030年我國新一代人工智能發(fā)展的指導(dǎo)思想、戰(zhàn)略目標(biāo)、重點(diǎn)任務(wù)和保障措施，部署構(gòu)筑人工智能發(fā)展的先發(fā)優(yōu)勢，加快建設(shè)創(chuàng)新型國家和世界科技強(qiáng)國。面向算法治理，出臺《關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等。面向人工智能合成技術(shù)的快速突破，出臺《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等。在全球數(shù)字經(jīng)濟(jì)激烈競爭格局下，科學(xué)把握風(fēng)險(xiǎn)防范的尺度至關(guān)重要。2023年7月24日中共中央政治局會議強(qiáng)調(diào)“促進(jìn)人工智能安全發(fā)展”，體現(xiàn)了堅(jiān)持統(tǒng)籌發(fā)展和安全、堅(jiān)持發(fā)展和安全并重的理念，釋放了以人工智能技術(shù)激發(fā)數(shù)實(shí)融合新動能、打造高質(zhì)量發(fā)展新引擎的積極信號。

推動人工智能產(chǎn)業(yè)快速發(fā)展，要把保障數(shù)據(jù)安全放在突出位置。

第一，數(shù)據(jù)是數(shù)字經(jīng)濟(jì)時(shí)代的關(guān)鍵生產(chǎn)要素，保障數(shù)據(jù)安全是促進(jìn)人工智能安全發(fā)展的重要基礎(chǔ)。我國2022年數(shù)字經(jīng)濟(jì)規(guī)模逾50萬億元，總量穩(wěn)居世界第二，占GDP比重41.5%，數(shù)據(jù)量呈爆發(fā)式增長態(tài)勢。隨著數(shù)據(jù)要素規(guī)模不斷擴(kuò)大，以人工智能為代表的數(shù)字技術(shù)將實(shí)現(xiàn)知識與數(shù)據(jù)雙輪驅(qū)動，數(shù)據(jù)價(jià)值得到進(jìn)一步釋放，生產(chǎn)資源配置、生產(chǎn)運(yùn)營邏輯以及生產(chǎn)、分配、流通和消費(fèi)關(guān)系等得以重塑，生產(chǎn)方式和生產(chǎn)關(guān)系發(fā)生變革，賦能傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級，助力數(shù)字經(jīng)濟(jì)快速發(fā)展。同時(shí)，也伴隨著數(shù)據(jù)泄露、虛假信息、算法歧視等數(shù)據(jù)安全新問題。只有筑牢數(shù)字安全屏障，才能為人工智能發(fā)展保駕護(hù)航。

第二，人工智能產(chǎn)業(yè)快速發(fā)展過程中顯現(xiàn)出數(shù)據(jù)安全領(lǐng)域的風(fēng)險(xiǎn)挑戰(zhàn)。當(dāng)前，人工智能進(jìn)入快速發(fā)展期，應(yīng)高度關(guān)注并有效應(yīng)對隨之而來的問題。例如，神經(jīng)網(wǎng)絡(luò)具有“黑盒”特點(diǎn)，導(dǎo)致人工智能存在不可解釋性；深度學(xué)習(xí)對訓(xùn)練樣本過度依賴，導(dǎo)致學(xué)習(xí)結(jié)果的不可判定性；神經(jīng)網(wǎng)絡(luò)前向推進(jìn)的不可逆，導(dǎo)致結(jié)果的不可推論性。此外，漏洞、后門等引發(fā)的問題交織疊加，使得人工智能應(yīng)用系統(tǒng)的數(shù)據(jù)安全問題變得更加復(fù)雜。針對IT行業(yè)領(lǐng)導(dǎo)者進(jìn)行的一項(xiàng)關(guān)于ChatGPT等大模型的調(diào)查顯示，安全性是受訪者最關(guān)心的問題，71%的受訪者認(rèn)為生成式人工智能會給企業(yè)的數(shù)據(jù)安全帶來新的風(fēng)險(xiǎn)。為了防止敏感數(shù)據(jù)外流，微軟、亞馬遜等科技公司已相繼限制或禁止其員工使用生成式人工智能工具?？梢?，全面加強(qiáng)人工智能數(shù)據(jù)安全保障體系和能力建設(shè)已成為應(yīng)對新形勢新挑戰(zhàn)的必然之舉。

人工智能時(shí)代的數(shù)字安全威脅到底有多大？一方面，人工智能系統(tǒng)自身面臨多維度安全風(fēng)險(xiǎn)。技術(shù)內(nèi)生風(fēng)險(xiǎn)和系統(tǒng)衍生風(fēng)險(xiǎn)交織疊加，使得人工智能時(shí)代的安全問題異常復(fù)雜。數(shù)據(jù)安全風(fēng)險(xiǎn)方面，人工智能依托海量數(shù)據(jù)發(fā)展，有敏感信息泄露風(fēng)險(xiǎn)，且人工智能平臺收集的原始數(shù)據(jù)與衍生數(shù)據(jù)的歸屬權(quán)、控制權(quán)和使用權(quán)目前在法律上尚難界定；算法模型安全方面，安全風(fēng)險(xiǎn)貫穿數(shù)據(jù)采集、預(yù)處理、模型訓(xùn)練、模型微調(diào)、模型部署應(yīng)用等人工智能模型構(gòu)建的全生命周期；外部攻擊安全方面，數(shù)據(jù)投毒、模型后門、對抗樣本、數(shù)據(jù)泄露、模型竊取、軟件漏洞等安全隱患屢見不鮮。

另一方面，人工智能技術(shù)濫用帶來數(shù)字安全威脅。當(dāng)前，生成式人工智能的發(fā)展標(biāo)志著人工智能正在從專用智能邁向通用智能，進(jìn)入了全新發(fā)展階段。大部分傳統(tǒng)人工智能模型的安全風(fēng)險(xiǎn)仍然存在，同時(shí)生成式人工智能也有一些特有的問題：技術(shù)軟肋難以避免，易培育假信息“溫床”；使用方式簡單便捷，易形成失泄密“陷阱”；新興技術(shù)尚難監(jiān)管，易成為信息戰(zhàn)“武器”。

因此，亟需加強(qiáng)人工智能發(fā)展的潛在風(fēng)險(xiǎn)研判和防范，確保人工智能安全、可靠、可控。

完善數(shù)據(jù)安全監(jiān)管體系

我國在創(chuàng)新人工智能技術(shù)手段及完善數(shù)據(jù)安全監(jiān)管方面取得哪些成效？

陳鳳仙（中國電信研究院高級分析師）：黨中央高度重視人工智能安全發(fā)展問題，圍繞產(chǎn)業(yè)發(fā)展、科技倫理、算法治理及行業(yè)應(yīng)用安全等方面，加快人工智能安全技術(shù)創(chuàng)新，逐步形成一套較為完善的發(fā)展政策和法規(guī)體系，確保維護(hù)國家安全和社會公共利益。據(jù)統(tǒng)計(jì)，我國人工智能核心產(chǎn)業(yè)規(guī)模達(dá)5000億元，算力總規(guī)模位居全球第二。

在規(guī)范人工智能科技倫理方面，陸續(xù)發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》《新一代人工智能倫理規(guī)范》等，積極引導(dǎo)全社會負(fù)責(zé)任地開展人工智能研發(fā)和應(yīng)用。2023年5月，工信部科技倫理委員會、工信領(lǐng)域科技倫理專家委員會正式成立，進(jìn)一步加強(qiáng)科技倫理審查和監(jiān)管。

在強(qiáng)化人工智能算法治理方面，我國在規(guī)制生成式人工智能領(lǐng)域率先推出多項(xiàng)有力舉措。國家互聯(lián)網(wǎng)信息辦公室等部門2022年11月聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》，明確生成式人工智能應(yīng)用服務(wù)提供者、技術(shù)支持者和服務(wù)使用者等各方法定義務(wù)；2023年7月聯(lián)合發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，鼓勵(lì)生成式人工智能創(chuàng)新發(fā)展，對生成式人工智能服務(wù)實(shí)行包容審慎和分類分級監(jiān)管。

在人工智能全球治理合作方面，我國積極參與、多方實(shí)踐，取得重要進(jìn)展。2022年11月，我國向聯(lián)合國《特定常規(guī)武器公約》締約國大會提交《中國關(guān)于加強(qiáng)人工智能倫理治理的立場文件》，提出人工智能治理要堅(jiān)持倫理先行、加強(qiáng)自我約束、強(qiáng)化責(zé)任擔(dān)當(dāng)、鼓勵(lì)國際合作等多項(xiàng)主張，表明了推動各方共商共建共享、加強(qiáng)全球治理、積極構(gòu)建人類命運(yùn)共同體的中國立場。2023年4月，我國向聯(lián)合國提交《中國關(guān)于全球數(shù)字治理有關(guān)問題的立場》，明確表示各國應(yīng)在普遍參與的基礎(chǔ)上，通過對話與合作，推動形成具有廣泛共識的人工智能國際治理框架和標(biāo)準(zhǔn)規(guī)范。

與此同時(shí)，我國將數(shù)據(jù)安全放在保障人工智能安全發(fā)展的突出位置，大力推動數(shù)據(jù)資源建設(shè)，強(qiáng)化安全防護(hù)技術(shù)手段迭代升級，完善數(shù)據(jù)安全監(jiān)管體系，取得明顯成效。

穩(wěn)步推進(jìn)數(shù)據(jù)基礎(chǔ)制度構(gòu)建、數(shù)據(jù)資源供給和流通利用。在國家層面，逐步完善數(shù)據(jù)資源建設(shè)頂層設(shè)計(jì)，對加快培育統(tǒng)一的技術(shù)和數(shù)據(jù)市場及經(jīng)營主體、構(gòu)建數(shù)據(jù)基礎(chǔ)制度等提出明確要求。2023年10月，國家數(shù)據(jù)局掛牌成立，推動數(shù)據(jù)實(shí)現(xiàn)從自然資源到經(jīng)濟(jì)資產(chǎn)的跨越。在地方層面，多地加快培育規(guī)范數(shù)據(jù)交易市場。2022年1月，北京國際大數(shù)據(jù)交易所率先在全國建立數(shù)字經(jīng)濟(jì)中介產(chǎn)業(yè)體系。截至2023年9月，全國注冊成立的數(shù)據(jù)交易機(jī)構(gòu)已有60家。2023年以來，北京、上海、廣東、江西、湖北、貴州等密集發(fā)布政策文件，深化數(shù)據(jù)要素市場改革和創(chuàng)新。為助力大模型應(yīng)用落地，一些地方積極探索政產(chǎn)學(xué)研聯(lián)合構(gòu)建高質(zhì)量數(shù)據(jù)集。例如，北京啟動實(shí)施通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計(jì)劃，發(fā)布“北京市人工智能大模型高質(zhì)量數(shù)據(jù)集”。國家互聯(lián)網(wǎng)信息辦公室發(fā)布《數(shù)字中國發(fā)展報(bào)告（2022年）》顯示，2022年我國數(shù)據(jù)產(chǎn)量達(dá)8.1ZB，同比增長22.7%，全球占比10.5%，位居世界第二。

大幅提升依靠技術(shù)解決安全風(fēng)險(xiǎn)問題的能力。一方面，網(wǎng)絡(luò)安全技術(shù)創(chuàng)新應(yīng)用活躍。近年來，相關(guān)機(jī)構(gòu)持續(xù)強(qiáng)化網(wǎng)絡(luò)安全技術(shù)布局及應(yīng)用，加快推動重點(diǎn)領(lǐng)域和細(xì)分環(huán)節(jié)技術(shù)突破、專利布局和標(biāo)準(zhǔn)轉(zhuǎn)化。另一方面，網(wǎng)絡(luò)安全、數(shù)據(jù)安全產(chǎn)業(yè)快速發(fā)展。2022年，我國網(wǎng)絡(luò)安全產(chǎn)業(yè)規(guī)模增速約為13.9%。北京、長沙、成渝三大國家網(wǎng)絡(luò)安全產(chǎn)業(yè)園區(qū)相繼成立，匯聚網(wǎng)絡(luò)安全企業(yè)超500家，10個(gè)網(wǎng)絡(luò)安全創(chuàng)新應(yīng)用示范區(qū)加速建設(shè)。2023年1月，工信部等部門印發(fā)《關(guān)于促進(jìn)數(shù)據(jù)安全產(chǎn)業(yè)發(fā)展的指導(dǎo)意見》，提出到2025年數(shù)據(jù)安全產(chǎn)業(yè)規(guī)模超1500億元，年復(fù)合增長率超30%，推動數(shù)據(jù)安全產(chǎn)業(yè)駛?cè)肟燔嚨馈?/p>

加快推進(jìn)立法進(jìn)程，標(biāo)準(zhǔn)體系建設(shè)取得階段性成效。一方面，完善數(shù)據(jù)安全監(jiān)管法律依據(jù)，推動重要數(shù)據(jù)和個(gè)人信息保護(hù)合規(guī)水平進(jìn)一步提升。建立應(yīng)對數(shù)據(jù)泄露等事故的應(yīng)急響應(yīng)機(jī)制，及時(shí)啟動應(yīng)急預(yù)案并妥善處置。另一方面，抓緊研制數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、算法正確性等技術(shù)規(guī)范和標(biāo)準(zhǔn)。2023年8月，我國發(fā)布人工智能安全基礎(chǔ)標(biāo)準(zhǔn)《信息安全技術(shù) 機(jī)器學(xué)習(xí)算法安全評估規(guī)范》。同時(shí)，在生物特征識別、智能汽車等人工智能關(guān)鍵應(yīng)用領(lǐng)域發(fā)布多項(xiàng)國家標(biāo)準(zhǔn)，支撐人工智能安全發(fā)展。

強(qiáng)化生成式人工智能安全防范

生成式人工智能引發(fā)新一輪智能化浪潮，筑牢數(shù)字安全屏障需采取哪些新舉措？

武虹（中國科協(xié)創(chuàng)新戰(zhàn)略研究院研究員）：生成式人工智能作為大模型、大數(shù)據(jù)、大算力的產(chǎn)物，在強(qiáng)大算力支持下，借助大型語言模型將收集到的海量信息進(jìn)行處理并回應(yīng)用戶的個(gè)性化需求，近乎無成本地生成針對特定提問內(nèi)容編寫的答案，是人工智能領(lǐng)域一次出色的集成創(chuàng)新。

也應(yīng)看到，生成式人工智能并不公開其收集和整理的海量互聯(lián)網(wǎng)語料、模型架構(gòu)及訓(xùn)練內(nèi)容，加之其深度學(xué)習(xí)算法基于統(tǒng)計(jì)原理之上，僅對客觀規(guī)律進(jìn)行揭示卻無法給予解釋，已構(gòu)成事實(shí)上的數(shù)據(jù)及技術(shù)黑箱，勢必會對數(shù)據(jù)安全模式帶來新的擾動。因此，有必要采取新的應(yīng)對措施。

一是強(qiáng)化數(shù)據(jù)全生命周期監(jiān)督管理。生成式人工智能語料庫的大規(guī)模集聚將帶來包含數(shù)據(jù)采集、處理加工、存儲及輸出等覆蓋數(shù)據(jù)全生命周期的安全問題。數(shù)據(jù)采集輸入階段，可能會有未經(jīng)審核的虛假信息入庫進(jìn)而影響語料庫質(zhì)量；數(shù)據(jù)處理加工階段，語料庫的標(biāo)注過程可能有意識形態(tài)和價(jià)值觀影響風(fēng)險(xiǎn)，同時(shí)算法也可能會有相當(dāng)程度的傾向性引導(dǎo)，其運(yùn)算結(jié)果又會被潛移默化地注入后續(xù)數(shù)據(jù)處理；數(shù)據(jù)輸出階段，更是存在非真實(shí)世界批量自動產(chǎn)生的海量數(shù)據(jù)被當(dāng)作新的語料庫，產(chǎn)生后續(xù)迭代風(fēng)險(xiǎn)。因此，建議進(jìn)行數(shù)據(jù)全生命周期的安全體系構(gòu)建。例如，針對個(gè)人隱私及知識產(chǎn)權(quán)等數(shù)據(jù)，通過隱私計(jì)算及區(qū)塊鏈等強(qiáng)化數(shù)據(jù)安全防范力度；針對醫(yī)療、金融、電商等重點(diǎn)行業(yè)，通過訪問控制、安全可信計(jì)算環(huán)境等技術(shù)手段加強(qiáng)防護(hù)。

二是提升對攻擊性人工智能的防范意識。攻擊性人工智能通常分為兩種形式，即“使用人工智能的攻擊”和“攻擊人工智能”。隨著生成式人工智能技術(shù)快速提升，網(wǎng)絡(luò)攻擊者編寫惡意代碼以及實(shí)施數(shù)據(jù)攻擊的技術(shù)門檻大大降低。同時(shí)，大模型也面臨被注入特定引導(dǎo)詞以誘導(dǎo)其輸出偽造數(shù)據(jù)甚至違法答案等間接數(shù)據(jù)安全風(fēng)險(xiǎn)。傳統(tǒng)的成本高昂的攻擊手法，向分布式、智能化、自動化方向演進(jìn)。建議推動以企業(yè)為主體、基于人工智能的新一代數(shù)據(jù)安全防護(hù)等專項(xiàng)研究；鼓勵(lì)相關(guān)行業(yè)的科技領(lǐng)軍企業(yè)發(fā)布橫向課題，聯(lián)合高校及科研院所開展協(xié)同攻關(guān)；通過風(fēng)險(xiǎn)投資引導(dǎo)初創(chuàng)公司將成果應(yīng)用于數(shù)據(jù)安全對抗業(yè)務(wù)，促進(jìn)以企業(yè)應(yīng)用為導(dǎo)向的生成式人工智能對抗模型產(chǎn)學(xué)研一體化創(chuàng)新體系構(gòu)建。

三是完善國家層面的數(shù)據(jù)安全戰(zhàn)略規(guī)劃及頂層設(shè)計(jì)。生成式人工智能在進(jìn)行人類對話、推理和翻譯寫作時(shí)，給人類的信息掌控及自主決策能力等帶來挑戰(zhàn)。同時(shí)，生成式人工智能也極大促進(jìn)了交互式數(shù)據(jù)的迭代輸出與自動傳輸，增加了危及國家數(shù)據(jù)主權(quán)、信息與網(wǎng)絡(luò)空間安全的潛在風(fēng)險(xiǎn)。面對生成式人工智能引發(fā)的不確定性，需提前研判可能的安全風(fēng)險(xiǎn)，建立健全政府、企業(yè)與社會等溝通交流機(jī)制，探索推動多方合作的治理模式，加速構(gòu)建國家層面數(shù)據(jù)安全戰(zhàn)略規(guī)劃和大模型監(jiān)管應(yīng)用法律支撐，通過夯實(shí)自主可控新基建設(shè)施、加快行業(yè)自治規(guī)范與國家強(qiáng)制性法律法規(guī)等協(xié)同體系構(gòu)建，以及發(fā)起或加入單邊及多邊協(xié)議或聯(lián)盟等方式，鞏固國家數(shù)據(jù)安全防線。

從國際上看，在生成式人工智能安全防范方面，一些國家的經(jīng)驗(yàn)做法值得借鑒。例如，歐盟2021年提出《人工智能法案》草案，旨在基于風(fēng)險(xiǎn)識別分析方法為人工智能制定統(tǒng)一的法律監(jiān)管框架和規(guī)制體系。2023年12月，歐洲議會、歐盟委員會和27個(gè)成員國談判代表就該法案達(dá)成協(xié)議，針對ChatGPT等生成式人工智能工具的透明度問題做出相應(yīng)規(guī)定，其中包括由人工智能生成的內(nèi)容需提供受版權(quán)保護(hù)的訓(xùn)練數(shù)據(jù)集摘要等，還對人工智能風(fēng)險(xiǎn)級別進(jìn)行了劃分，并給出對應(yīng)的監(jiān)管要求。美國白宮2022年發(fā)布《人工智能權(quán)利法案藍(lán)圖》，將公平和隱私保護(hù)視為法案的核心宗旨。2023年1月，美國國家標(biāo)準(zhǔn)技術(shù)研究院發(fā)布人工智能風(fēng)險(xiǎn)管理框架，提供系統(tǒng)化評估路徑，將人工智能的風(fēng)險(xiǎn)管理分為治理、映射、測量和管理4個(gè)模塊。其中，治理模塊主要針對人工智能系統(tǒng)全生命周期實(shí)行有效風(fēng)險(xiǎn)管理機(jī)制；映射模塊主要用于明確特定場景與其對應(yīng)的人工智能風(fēng)險(xiǎn)解決方案；測量模塊主要采用定量、定性或混合工具，對人工智能系統(tǒng)風(fēng)險(xiǎn)和潛在影響進(jìn)行分析、評估、測試和控制；管理模塊主要針對系統(tǒng)風(fēng)險(xiǎn)進(jìn)行判定、排序和響應(yīng)，明確風(fēng)險(xiǎn)響應(yīng)步驟，定期監(jiān)控記錄并完善風(fēng)險(xiǎn)響應(yīng)和恢復(fù)機(jī)制。

可見，生成式人工智能更要兼顧發(fā)展與安全，重視防范風(fēng)險(xiǎn)與包容審慎平衡，從而更好推動經(jīng)濟(jì)高質(zhì)量發(fā)展。