大數(shù)據(jù)的使用將成為未來(lái)提高競(jìng)爭(zhēng)力的關(guān)鍵要素。大數(shù)據(jù)本質(zhì)上是“一場(chǎng)管理革命”。大數(shù)據(jù)時(shí)代,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗(yàn)和直覺(jué)。
我國(guó)盡管已經(jīng)意識(shí)到大數(shù)據(jù)的競(jìng)爭(zhēng)力和戰(zhàn)略性,卻并未在真正意義上將其提升到國(guó)家戰(zhàn)略高度,數(shù)據(jù)財(cái)富尚未形成全民意識(shí)。
大數(shù)據(jù):未來(lái)提高競(jìng)爭(zhēng)力的關(guān)鍵要素
“如果說(shuō)IBM的主機(jī)拉開了信息化革命的大幕,那么大數(shù)據(jù)才是第3次浪潮的華彩樂(lè)章。”著名未來(lái)學(xué)家、當(dāng)今世界最具影響力的社會(huì)思想家之一阿爾文?托夫勒在其 1980年出版的《第三次浪潮》一書中的話正在演變成現(xiàn)實(shí)。大數(shù)據(jù)雖然姍姍來(lái)遲,但是來(lái)得比托夫勒想象得更為迅猛。
進(jìn)入21世紀(jì)以來(lái),一些嶄新的互聯(lián)網(wǎng)的應(yīng)用如微博、社交網(wǎng)站的不斷普及,以及視頻通訊、醫(yī)療影像、地理信息和監(jiān)控錄像等視頻內(nèi)容的急劇增加,加之傳感器、無(wú)線電射頻識(shí)別(RFID)閱讀器、導(dǎo)航終端等非傳統(tǒng)IT設(shè)備和移動(dòng)設(shè)備,都將產(chǎn)生越來(lái)越多的數(shù)據(jù),從而造成了“數(shù)據(jù)爆炸”的現(xiàn)象。根據(jù)國(guó)際數(shù)據(jù)公司(IDC)預(yù)測(cè),全球的數(shù)據(jù)產(chǎn)生量到 2020將會(huì)增長(zhǎng) 44倍,達(dá)到35.2ZB。也就是說(shuō),全球大概需要 376億個(gè)1TB硬盤來(lái)存儲(chǔ)數(shù)據(jù)。大數(shù)據(jù)并非單指數(shù)據(jù)量之大,而是指為了更經(jīng)濟(jì)地從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價(jià)值而設(shè)計(jì)的新一代架構(gòu)和技術(shù)。
牛津大學(xué)教授維克托?邁爾-舍恩伯格在其新書《大數(shù)據(jù)時(shí)代》中說(shuō),大數(shù)據(jù)是一場(chǎng)“革命”,將對(duì)各行各業(yè)帶來(lái)深刻影響,甚至改變我們的思維方式。其中最關(guān)鍵的是,大數(shù)據(jù)的出現(xiàn)讓人們放棄了對(duì)因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系,人們只需知道“是什么”,而不用知道“為什么”。這顛覆了千百年來(lái)人類的思維模式,對(duì)人類的認(rèn)知方式和交流方式提出了新挑戰(zhàn)。
此外,大數(shù)據(jù)時(shí)代產(chǎn)生的數(shù)據(jù)密集型的知識(shí)發(fā)現(xiàn),有可能成為繼實(shí)驗(yàn)科學(xué)、理論分析和計(jì)算機(jī)模擬這三種經(jīng)典科研范式之后的第四種科研范式。谷歌的廣告優(yōu)化配置、戰(zhàn)勝人類的“IBM沃森問(wèn)答系統(tǒng)”已經(jīng)在向我們展示“第四范式”的魅力。
數(shù)據(jù)正成為與物質(zhì)資產(chǎn)和人力資本相提并論的重要生產(chǎn)要素,大數(shù)據(jù)的使用將成為未來(lái)提高競(jìng)爭(zhēng)力的關(guān)鍵要素。大數(shù)據(jù)作為重要的生產(chǎn)要素,其價(jià)值主要體現(xiàn)在如下三個(gè)方面。
能夠?qū)崿F(xiàn)巨大商業(yè)價(jià)值。大數(shù)據(jù)在商業(yè)領(lǐng)域的應(yīng)用,可以通過(guò)對(duì)顧客群體細(xì)分來(lái)實(shí)現(xiàn)對(duì)每個(gè)群體量體裁衣般的采取獨(dú)特的行動(dòng),通過(guò)模擬現(xiàn)實(shí)來(lái)發(fā)掘新的需求和提高投入的回報(bào)率,通過(guò)分析消費(fèi)者的行為特征進(jìn)行商業(yè)模式、產(chǎn)品和服務(wù)的創(chuàng)新等,這些應(yīng)用將會(huì)產(chǎn)生巨大的商業(yè)價(jià)值。沃爾瑪是最早通過(guò)利用大數(shù)據(jù)而受益的企業(yè)之一,它通過(guò)對(duì)消費(fèi)者的購(gòu)物行為等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,成為最了解顧客購(gòu)物習(xí)慣的零售商。沃爾瑪通過(guò)分析顧客在互聯(lián)網(wǎng)上的搜索內(nèi)容,以及在社交網(wǎng)站所顯露的行為軌跡,甚至比美國(guó)的一個(gè)粗心的父親更早地捕捉到了他女兒的懷孕信息,并將帶有嬰兒用品優(yōu)惠券的廣告郵件,寄送給他正在念高中的女兒。
能夠增強(qiáng)社會(huì)管理水平。大數(shù)據(jù)在政府和公共服務(wù)領(lǐng)域的應(yīng)用,可有效推動(dòng)政務(wù)工作開展,提高政府部門的決策水平、服務(wù)效率和社會(huì)管理水平,產(chǎn)生巨大社會(huì)價(jià)值。2009年,谷歌公司通過(guò)把 5000萬(wàn)條美國(guó)人最頻繁檢索的詞條和美國(guó)疾控中心在2003年至2008年間季節(jié)性流感傳播時(shí)期的數(shù)據(jù)進(jìn)行比較,成功預(yù)測(cè)了當(dāng)年甲型H1N1流感的爆發(fā)及其傳播源頭,遠(yuǎn)早于疾控中心官方。
能夠提高安全保障能力。大數(shù)據(jù)在國(guó)防、反恐、安全等領(lǐng)域的應(yīng)用,將對(duì)各部門搜集到的各類信息進(jìn)行自動(dòng)分類、整理、分析,有效解決情報(bào)、監(jiān)視和偵察系統(tǒng)不足等問(wèn)題,提高國(guó)家安全保障能力。從純技術(shù)角度觀察,美國(guó)的“棱鏡”項(xiàng)目就是一個(gè)典型的通過(guò)分析海量通訊數(shù)據(jù)獲取安全情報(bào)的大數(shù)據(jù)案例。
《孫子兵法》說(shuō):“多算 勝,少 算 不勝。”決定能否“多算”的重要因素在于,掌握數(shù)據(jù)的多少以及對(duì)數(shù)據(jù)處理能力的高低。在大數(shù)據(jù)時(shí)代,國(guó)家層面的競(jìng)爭(zhēng)力將部分體現(xiàn)為一國(guó)擁有大數(shù)據(jù)的規(guī)模、活性以及對(duì)數(shù)據(jù)的解釋、運(yùn)用能力。一個(gè)國(guó)家在網(wǎng)絡(luò)空間的數(shù)據(jù)主權(quán)將是繼海、陸、空、天之后另一個(gè)大國(guó)博弈的空間。
國(guó)家層面:將大數(shù)據(jù)提升為國(guó)家戰(zhàn)略
鑒于大數(shù)據(jù)潛在的巨大影響,很多國(guó)家都將大數(shù)據(jù)視作戰(zhàn)略資源,并將大數(shù)據(jù)提升為國(guó)家戰(zhàn)略。
2012年3月,美國(guó)奧巴馬政府宣布推出“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”。該計(jì)劃涉及美國(guó)國(guó)家科學(xué)基金、美國(guó)國(guó)家衛(wèi)生研究院、美國(guó)能源部、美國(guó)國(guó)防部、美國(guó)國(guó)防部高級(jí)研究計(jì)劃局、美國(guó)地質(zhì)勘探局等6個(gè)聯(lián)邦政府部門,承諾將投資兩億多美元,大力推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù),以推進(jìn)從大量的、復(fù)雜的數(shù)據(jù)集合中獲取知識(shí)和洞見(jiàn)的能力。美國(guó)奧巴馬政府宣布投資大數(shù)據(jù)領(lǐng)域,是大數(shù)據(jù)從商業(yè)行為上升到國(guó)家戰(zhàn)略的分水嶺,表明大數(shù)據(jù)正式提升到戰(zhàn)略層面,大數(shù)據(jù)在經(jīng)濟(jì)社會(huì)各個(gè)層面、各個(gè)領(lǐng)域都開始受到重視。
其實(shí),不僅是美國(guó),其他一些國(guó)家和地區(qū)也都把大數(shù)據(jù)提升到國(guó)家戰(zhàn)略層面,認(rèn)為未來(lái)國(guó)家層面的競(jìng)爭(zhēng)力將部分體現(xiàn)為一國(guó)擁有數(shù)據(jù)的規(guī)模及運(yùn)用數(shù)據(jù)的能力。2013年2月,法國(guó)政府發(fā)布了其《數(shù)字化路線圖》,列出了 5項(xiàng)將會(huì)大力支持的戰(zhàn)略性高新技術(shù),“大數(shù)據(jù)”就是其中一項(xiàng)。法國(guó)政府將以新興企業(yè)、軟件制造商、工程師、信息系統(tǒng)設(shè)計(jì)師等為目標(biāo),開展一系列的投資計(jì)劃,旨在通過(guò)發(fā)展創(chuàng)新性解決方案,并將其用于實(shí)踐,來(lái)促進(jìn)法國(guó)在大數(shù)據(jù)領(lǐng)域的發(fā)展。2012年9月,日本總務(wù)省發(fā)布2013年行動(dòng)計(jì)劃,提出以復(fù)蘇日本為目的推進(jìn)“活躍在ICT領(lǐng)域的日本”ICT綜合戰(zhàn),明確提出“通過(guò)大數(shù)據(jù)和開放數(shù)據(jù)開創(chuàng)新市場(chǎng)”。這些表明,日本政府在新一輪IT振興計(jì)劃中把大數(shù)據(jù)發(fā)展作為國(guó)家層面戰(zhàn)略提出,新 ICT戰(zhàn)略將重點(diǎn)關(guān)注大數(shù)據(jù)應(yīng)用技術(shù)。
企業(yè)層面:對(duì)大數(shù)據(jù)的存儲(chǔ)、處理和應(yīng)用積極布局
不僅是政府開始謀劃大數(shù)據(jù)發(fā)展戰(zhàn)略,IT巨頭如英特爾、IBM、甲骨文、微軟、淘寶、百度和騰訊等也開始對(duì)大數(shù)據(jù)的存儲(chǔ)、處理和應(yīng)用進(jìn)行布局,在針對(duì)個(gè)人用戶信息的大數(shù)據(jù)的管理和分析上投入了巨額資金。
2010年以來(lái),歐美 IT巨頭掀起一輪與大數(shù)據(jù)相關(guān)的并購(gòu)潮。英特爾并購(gòu)了安全軟件制造商McAfee等很多大數(shù)據(jù)處理以及架構(gòu)廠商來(lái)彌補(bǔ)自己在軟件上的能力;IBM通過(guò)并購(gòu)數(shù)據(jù)分析公司來(lái)增強(qiáng)自己在海量數(shù)據(jù)處理上的實(shí)力。從各IT巨頭紛紛推出的大數(shù)據(jù)產(chǎn)品可以看出,這些IT巨頭幾乎搶占了搜索服務(wù)、數(shù)據(jù)庫(kù)、服務(wù)器、存儲(chǔ)設(shè)備、數(shù)據(jù)挖掘等核心價(jià)值環(huán)節(jié)。
國(guó)已成為 IT巨頭布局大數(shù)據(jù)戰(zhàn)略的重要戰(zhàn)場(chǎng)。例如:英特爾在上海成立一個(gè)團(tuán)隊(duì)專門在做 Hadoop大數(shù)據(jù)處理架構(gòu)的開發(fā);EMC組建EMC中國(guó)研究院,下設(shè)大數(shù)據(jù)、云基礎(chǔ)構(gòu)建、云平臺(tái)與應(yīng)用3個(gè)實(shí)驗(yàn)室來(lái)推動(dòng)這3個(gè)方面的研究以及大數(shù)據(jù)在中國(guó)的應(yīng)用;IBM在北京成立了全球首個(gè)大數(shù)據(jù)智慧賦能中心,并且匯聚了來(lái)自IBM全球的大數(shù)據(jù)技術(shù)專家和商業(yè)運(yùn)營(yíng)精英,旨在為企業(yè)構(gòu)建一個(gè)從商業(yè)評(píng)估、論證、方案部署到人員培訓(xùn)的完整大數(shù)據(jù)戰(zhàn)略體系。
國(guó)內(nèi)企業(yè)受限于IT產(chǎn)業(yè)鏈所處的位置,普遍在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能等領(lǐng)域基礎(chǔ)薄弱,因此,在大數(shù)據(jù)上布局不可能像跨國(guó)企業(yè)那樣全面。但國(guó)內(nèi)相對(duì)強(qiáng)勢(shì)的互聯(lián)網(wǎng)企業(yè)、電信運(yùn)營(yíng)商、電信設(shè)備供應(yīng)商已經(jīng)開始啟動(dòng)產(chǎn)業(yè)布局,以互聯(lián)網(wǎng)應(yīng)用服務(wù)為切入點(diǎn)搶占大數(shù)據(jù)制高點(diǎn)。
大數(shù)據(jù)面臨的挑戰(zhàn):不僅僅是技術(shù)
如果從數(shù)據(jù)結(jié)構(gòu)復(fù)雜多樣,數(shù)據(jù)規(guī)模爆炸增長(zhǎng),對(duì)社會(huì)生活產(chǎn)生巨大影響的角度看,全球已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。但是從對(duì)數(shù)據(jù)的應(yīng)用角度看,當(dāng)下還處于大數(shù)據(jù)時(shí)代的早期。特別是對(duì)我國(guó)來(lái)說(shuō),大數(shù)據(jù)真正落地,還需面臨幾個(gè)重大的挑戰(zhàn)。
對(duì)數(shù)據(jù)共享和隱私保護(hù)的挑戰(zhàn)。中國(guó)人口居世界首位,將會(huì)成為產(chǎn)生數(shù)據(jù)量最多的國(guó)家,但對(duì)數(shù)據(jù)保存不夠重視,對(duì)存儲(chǔ)數(shù)據(jù)的利用率也不高。此外,我國(guó)一些部門和機(jī)構(gòu)擁有大量數(shù)據(jù)但受行政壟斷和商業(yè)利益所限,數(shù)據(jù)開放程度也較低,這給數(shù)據(jù)利用造成極大障礙。制約我國(guó)數(shù)據(jù)資源開放和共享的一個(gè)重要因素是政策法規(guī)不完善,一方面欠缺推動(dòng)政府和公共數(shù)據(jù)開放的政策;另一方面數(shù)據(jù)保護(hù)和隱私保護(hù)方面的制度不完善,抑制了開放的積極性。所以,如何使政府從壟斷和保密的歷史慣性思維方式中解脫出來(lái),在確保隱私、機(jī)密和國(guó)家安全的前提下帶頭開放數(shù)據(jù),降低公眾獲取和利用政府?dāng)?shù)據(jù)資源難度和成本,至少是我國(guó)大數(shù)據(jù)時(shí)代開啟階段的瓶頸。
對(duì)數(shù)據(jù)儲(chǔ)存和分析技術(shù)的挑戰(zhàn)。大數(shù)據(jù)中大部分都是非結(jié)構(gòu)化的數(shù)據(jù),如網(wǎng)絡(luò)日志、RFID、傳感器網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)搜索索引、詳細(xì)通話記錄、醫(yī)療記錄、攝影檔案、視頻檔案等?,F(xiàn)有的軟件和工具主要適用于以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù),要想及時(shí)捕捉、存儲(chǔ)、聚合和管理這些大數(shù)據(jù),以及對(duì)數(shù)據(jù)進(jìn)行深度分析和挖掘,需要新的技術(shù)和能力。在大數(shù)據(jù)軟件平臺(tái)和算法方面,國(guó)外又一次走在我國(guó)前面。特別是近年來(lái)以開源模式發(fā)展起來(lái)的 Hadoop等大數(shù)據(jù)處理軟件平臺(tái)及其相關(guān)產(chǎn)業(yè)已經(jīng)在美國(guó)初步形成。而我國(guó)數(shù)據(jù)存儲(chǔ)、處理技術(shù)基礎(chǔ)薄弱,總體上以跟隨為主,難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。
對(duì)管理理念和運(yùn)作方式的挑戰(zhàn)。大數(shù)據(jù)的技術(shù)挑戰(zhàn)顯而易見(jiàn),但其帶來(lái)的決策挑戰(zhàn)更為艱巨。大數(shù)據(jù)開發(fā)的根本目的是以數(shù)據(jù)分析為基礎(chǔ),幫助人們作出更明智的決策,優(yōu)化企業(yè)和社會(huì)運(yùn)轉(zhuǎn)。哈佛商業(yè)評(píng)論說(shuō),大數(shù)據(jù)本質(zhì)上是“一場(chǎng)管理革命”。多年前出現(xiàn)的互聯(lián)網(wǎng)將企業(yè)經(jīng)營(yíng)、政府運(yùn)作以及人們生活的方式做出了很大改變。大數(shù)據(jù)的出現(xiàn),又一次激起了這種巨大的變革能力。在大數(shù)據(jù)時(shí)代,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗(yàn)和直覺(jué)。在我國(guó),無(wú)論是政府部門還是企業(yè),對(duì)大數(shù)據(jù)可能產(chǎn)生的價(jià)值的認(rèn)識(shí),以及如何利用數(shù)據(jù)分析實(shí)現(xiàn)科學(xué)決策依然有相當(dāng)長(zhǎng)的路要走。
大數(shù)據(jù)時(shí)代:政府需要有所作為
現(xiàn)代歷史上的歷次技術(shù)革命,中國(guó)均是學(xué)習(xí)者。而在這次云計(jì)算與大數(shù)據(jù)的新變革中,中國(guó)與世界的距離最小,在很多領(lǐng)域甚至還有著創(chuàng)新與領(lǐng)先的可能。一方面,大數(shù)據(jù)技術(shù)以開源為主,迄今為止,尚未形成絕對(duì)技術(shù)壟斷。即便是英特爾、IBM、甲骨文等IT巨頭,也同樣是集成了開源技術(shù),和本公司原有產(chǎn)品更好的結(jié)合而已。另一方面,中國(guó)人口和經(jīng)濟(jì)規(guī)模,決定中國(guó)的數(shù)據(jù)資產(chǎn)規(guī)模將冠于全球,客觀上為大數(shù)據(jù)技術(shù)的發(fā)展,提供了廣闊的發(fā)展空間。從國(guó)家角度來(lái)看,大數(shù)據(jù)是重要戰(zhàn)略資源。因此,挖掘大數(shù)據(jù)價(jià)值,推動(dòng)大數(shù)據(jù)發(fā)展,需要政府發(fā)揮作用。
將大數(shù)據(jù)上升為國(guó)家戰(zhàn)略。我國(guó)盡管已經(jīng)意識(shí)到大數(shù)據(jù)的競(jìng)爭(zhēng)力和戰(zhàn)略性,卻并未在真正意義上將其提升到國(guó)家戰(zhàn)略高度,數(shù)據(jù)財(cái)富尚未形成全民意識(shí)。因此有必要從國(guó)家層面上制定大數(shù)據(jù)發(fā)展規(guī)劃,將大數(shù)據(jù)上升為國(guó)家戰(zhàn)略。通過(guò)國(guó)家層面的戰(zhàn)略規(guī)劃明確大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展重點(diǎn)、空間布局和保障措施,推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、儲(chǔ)存和分析工具及技術(shù),并在公共服務(wù)領(lǐng)域(如安防、醫(yī)療、衛(wèi)生、教育等),開展大數(shù)據(jù)應(yīng)用示范,提高應(yīng)急處置能力和安全防范能力,提升服務(wù)能力和運(yùn)作效率。
推動(dòng)數(shù)據(jù)公開,同時(shí)保護(hù)“隱私權(quán)”。如同工業(yè)革命要開放物質(zhì)的交易、流通一樣,開放的、流通的數(shù)據(jù)是時(shí)代的要求。美國(guó)政府創(chuàng)建了Data.gov網(wǎng)站公開數(shù)據(jù),英國(guó)、印度也有“數(shù)據(jù)公開”運(yùn)動(dòng)。中國(guó)要趕上這樣一場(chǎng)大數(shù)據(jù)變革,首先要從政府開始公開數(shù)據(jù),讓社會(huì)享受公開數(shù)據(jù)的好處,同時(shí)也可以提升政府的辦事效率。其次要通過(guò)數(shù)據(jù)立法,對(duì)“隱私權(quán)”“所有權(quán)”等敏感問(wèn)題通過(guò)法律形式加以保護(hù)。
推動(dòng)政府2.0建設(shè)。通過(guò)以移動(dòng)技術(shù)為代表的云計(jì)算、大數(shù)據(jù)等新一代IT技術(shù)工具和社會(huì)性網(wǎng)絡(luò)服務(wù)(SNS)、社交媒體為代表的社會(huì)工具應(yīng)用,打造以用戶創(chuàng)新、大眾創(chuàng)新、開放創(chuàng)新、協(xié)同創(chuàng)新為特征的政務(wù)平臺(tái),實(shí)現(xiàn)從生產(chǎn)范式向服務(wù)范式的轉(zhuǎn)變,通過(guò)政府、市場(chǎng)、社會(huì)的協(xié)同與互動(dòng)塑造公共價(jià)值。