2011年—2016年中國大數(shù)據(jù)應(yīng)用市場規(guī)模與增長（數(shù)據(jù)來源：賽迪顧問2013年2月）

　　就像空氣和水一樣，數(shù)據(jù)在我們周圍自然而然地存在著。每一次點(diǎn)擊鼠標(biāo)，每一次刷卡消費(fèi)，每一次撥打電話，每一次駕車出行……數(shù)據(jù)便已生成。我們每一個(gè)人既是數(shù)據(jù)的消費(fèi)者，也是數(shù)據(jù)的生產(chǎn)者，每天都生成海量數(shù)據(jù)。

　　研究表明，過去5年里，人類行為產(chǎn)生的數(shù)據(jù)量增長了10倍，而在接下來10年中，這一增長將達(dá)到29倍。軟件巨頭EMC公司預(yù)計(jì)，到2020年，全球數(shù)據(jù)使用量將達(dá)到大約40ZB（1ZB=10億TB）。這些數(shù)據(jù)意味著什么，對我們有何價(jià)值？這就是當(dāng)前最熱門的“大數(shù)據(jù)”研究。中國工程院院士高文說：“不管你是否認(rèn)同，大數(shù)據(jù)時(shí)代已經(jīng)來臨，并將深刻地改變著我們的工作和生活�！�

　　被視為戰(zhàn)略資源

　　一家電信運(yùn)營商運(yùn)用社交分析，篩選了3.65億段電話記錄，找出可能流失的客戶并提供針對性的服務(wù)，大大提高了季度收益；一家金融服務(wù)公司從570億筆ATM交易中檢測出了欺詐模式……這是體現(xiàn)大數(shù)據(jù)價(jià)值的一些典型例子。

　　凱格總裁兼首席科學(xué)家杰米·霍華德說，與傳統(tǒng)的、結(jié)構(gòu)化的、關(guān)系型數(shù)據(jù)不同，“電話記錄”等數(shù)據(jù)是非結(jié)構(gòu)化的。據(jù)國際數(shù)據(jù)公司調(diào)查，非結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)中約占80%至90%，包括網(wǎng)絡(luò)日志、語音、視頻、圖片、地理位置、傳感信息等。作為新的尚未開發(fā)的信息源，非結(jié)構(gòu)化數(shù)據(jù)分析可以揭露以前很難或無法確定的重要相互關(guān)系。

　　“這是最關(guān)鍵的�！贝髷�(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關(guān)系的渴求，轉(zhuǎn)而關(guān)注相關(guān)關(guān)系，人們只需知道“是什么”，而不用知道“為什么”，這顛覆了千百年來人類的思維模式，對人類的認(rèn)知方式和交流方式提出了新挑戰(zhàn)。

　　除了體量大、數(shù)據(jù)類型繁多這兩個(gè)特征外，能否快速實(shí)時(shí)處理海量數(shù)據(jù)是衡量是否是大數(shù)據(jù)的關(guān)鍵維度。杰米·霍華德說：“大數(shù)據(jù)并非只有數(shù)百個(gè)TB才算得上，有時(shí)候數(shù)百個(gè)GB的數(shù)據(jù)也可稱為大數(shù)據(jù)，這主要要看數(shù)據(jù)的處理速度。如果能在1秒之內(nèi)分析處理通常情況下需要花費(fèi)1個(gè)小時(shí)的數(shù)據(jù)，這種變化帶來的價(jià)值是非常巨大的。”

　　目前，隨著移動互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)等新一代信息技術(shù)的普及應(yīng)用，智能手機(jī)、平板電腦、PC以及遍布各個(gè)角落的傳感器，正在越來越多地接入到網(wǎng)絡(luò)，成為數(shù)據(jù)來源和承載方式。各種交互數(shù)據(jù)、傳感數(shù)據(jù)正源源不斷從各行各業(yè)迅速生成。這些數(shù)量龐大、種類廣泛、迅速產(chǎn)生和更新的大數(shù)據(jù)，蘊(yùn)含著前所未有的社會價(jià)值和商業(yè)價(jià)值。

　　杰米·霍華德說，像能源、原材料一樣，大數(shù)據(jù)已成為提高未來競爭力的關(guān)鍵要素。比如，通過遍布各地的電子眼和監(jiān)控?cái)z像頭，警務(wù)系統(tǒng)可以基于大數(shù)據(jù)識別一些危險(xiǎn)的人或危險(xiǎn)的行為，發(fā)現(xiàn)苗頭進(jìn)行預(yù)警。比如，通過車上的GPS和手機(jī)，當(dāng)交通進(jìn)入擁堵狀態(tài)，交管部門可以通過手機(jī)信號的大數(shù)據(jù)運(yùn)用，提示車主進(jìn)入某個(gè)路段要收費(fèi)，從而控制交通流量，等等。麥肯錫的最新調(diào)查研究顯示，大數(shù)據(jù)可以在任何一個(gè)行業(yè)內(nèi)創(chuàng)造更多價(jià)值。如，零售業(yè)可以利用大數(shù)據(jù)提高60%的運(yùn)營利潤，歐洲政府利用大數(shù)據(jù)每年可以減少1000億歐元的開支，同時(shí)避免偷稅漏稅行為。

　　鑒于大數(shù)據(jù)潛在的巨大影響，很多國家或國際組織都將大數(shù)據(jù)視作戰(zhàn)略資源，并將大數(shù)據(jù)提升為國家戰(zhàn)略。美國政府把大數(shù)據(jù)看成是“未來的新石油”。2012年3月，美國奧巴馬政府宣布了“大數(shù)據(jù)研發(fā)計(jì)劃”，并設(shè)立了2億美元的啟動資金，希望增強(qiáng)海量數(shù)據(jù)收集、分析萃取能力，認(rèn)為這事關(guān)美國的國家安全和未來競爭力。聯(lián)合國推出的“全球脈動”項(xiàng)目，希望利用“大數(shù)據(jù)”預(yù)測某些地區(qū)的失業(yè)率或疾病爆發(fā)等現(xiàn)象，以提前指導(dǎo)援助項(xiàng)目。

　　主要是商業(yè)應(yīng)用

　　盡管大數(shù)據(jù)應(yīng)用在國防、反恐、安全以及社會管理等諸多領(lǐng)域，不過，企業(yè)應(yīng)用還是大數(shù)據(jù)的主要推動者。IBM商業(yè)價(jià)值研究院的一項(xiàng)研究表明，在各個(gè)行業(yè)中，大數(shù)據(jù)業(yè)務(wù)主要集中在滿足以客戶為中心這一目標(biāo)上。被調(diào)查企業(yè)認(rèn)為，大數(shù)據(jù)有能力更好地了解和預(yù)測客戶行為，并因此改善客戶體驗(yàn)。

　　在互聯(lián)網(wǎng)時(shí)代，在網(wǎng)上留下的每個(gè)“足跡”，聚集了大量的“前兆性”行為數(shù)據(jù)，如購買商品前先瀏覽、比價(jià)，觀看電影前先搜索影評等，把這些數(shù)據(jù)搜集起來，通過進(jìn)一步分析便可快速獲取影響未來的信息。“這就意味著，借助大數(shù)據(jù)技術(shù)，公司可以比以往任何時(shí)候都更加了解消費(fèi)者。”

　　阿里小貸就是運(yùn)用大數(shù)據(jù)了解和預(yù)測客戶行為的典范。

　　對于大多數(shù)小微企業(yè)或個(gè)體戶而言，規(guī)模較小、風(fēng)險(xiǎn)大，如果無抵押、無擔(dān)保，從銀行獲得貸款的難度很大。不過，阿里小貸卻與眾不同，借款者憑借的是企業(yè)的“信譽(yù)”這一資源，不用提交任何抵押與擔(dān)保。

　　信譽(yù)從何而來？阿里金融高級專家年勁飛說，阿里巴巴、淘寶、天貓這些“阿里系”的電商平臺，每天記錄著各個(gè)商家、網(wǎng)店等小微企業(yè)的銷售額、信用記錄、顧客流量、評論、商品價(jià)格和存貨等各類數(shù)據(jù)。顯然，阿里對此了如指掌�！巴ㄟ^分析大量企業(yè)以及消費(fèi)者行為數(shù)據(jù)，信用體系建立起來了，阿里小貸由此而生。”

　　像阿里小貸一樣，在金融、電信、媒體、制造、醫(yī)療、地產(chǎn)等行業(yè)，大數(shù)據(jù)顛覆傳統(tǒng)的故事輪番上演。沃爾瑪基于數(shù)據(jù)分析的結(jié)果，將某些商品放置在一起；eBay通過數(shù)據(jù)分析技術(shù)，精確計(jì)算出廣告中的每一個(gè)關(guān)鍵字為公司帶來的回報(bào)以優(yōu)化廣告投放，2007年以來eBay產(chǎn)品銷售的廣告費(fèi)降低了99%，而頂級賣家占總銷售額的百分比卻上升至32%。

　　除了作為大數(shù)據(jù)服務(wù)消費(fèi)者的企業(yè)躍躍欲試，作為大數(shù)據(jù)服務(wù)提供者的企業(yè)也早已卷入其中。IT巨頭如英特爾、IBM、甲骨文、微軟等，早已對大數(shù)據(jù)的存儲、處理和應(yīng)用進(jìn)行布局，在大數(shù)據(jù)的管理和分析上投入了巨額資金。2010年以來，歐美IT巨頭掀起了一輪與大數(shù)據(jù)相關(guān)的并購潮。英特爾并購了安全軟件制造商McAfee等大數(shù)據(jù)處理以及架構(gòu)廠商來彌補(bǔ)自己在軟件上的能力；IBM通過并購數(shù)據(jù)分析公司來增強(qiáng)自己在海量數(shù)據(jù)處理上的實(shí)力。這些IT巨頭幾乎搶占了搜索服務(wù)、數(shù)據(jù)庫、服務(wù)器、存儲設(shè)備、數(shù)據(jù)挖掘等核心價(jià)值環(huán)節(jié)。

　　國內(nèi)的淘寶、百度、騰訊以及金蝶軟件等也加入了大數(shù)據(jù)的生產(chǎn)、研究、應(yīng)用行列。金蝶國際軟件集團(tuán)有限公司首席科學(xué)家、高級副總裁張良杰告訴記者：“我們參與搭建的全國中小企業(yè)信息平臺，匯集了4000萬家企業(yè)，通過對這些企業(yè)海量數(shù)據(jù)的挖掘和分析，能夠?qū)?jīng)濟(jì)運(yùn)行狀況作出準(zhǔn)確的預(yù)警，有助于國家相關(guān)部門作出應(yīng)對決策。”

　　無論作為消費(fèi)者還是供應(yīng)商，企業(yè)開拓了大數(shù)據(jù)廣闊的市場前景。據(jù)預(yù)計(jì)，從2013年到2018年，全球大數(shù)據(jù)市場將會出現(xiàn)年均26%的增長率，即從今年的148.7億美元增長到2018年的463.4億美元。

　　瓶頸有待突破

　　大數(shù)據(jù)在帶來機(jī)遇的同時(shí)，也帶來了不可忽視的一系列挑戰(zhàn)。

　　“‘存不下’和‘查不快’，是我們面臨的兩大難題�！敝袊こ淘涸菏扛呶恼f�，F(xiàn)在數(shù)據(jù)源源不斷地產(chǎn)生，除非增加存儲設(shè)備，但如此一來勢必會增加存儲成本�！澳壳�，街頭攝像頭拍攝的視頻數(shù)據(jù)，通常只會存一段時(shí)間，有的保存三個(gè)月，有的保存一個(gè)月，就被覆蓋掉，為什么會這樣？就是因?yàn)榇娌黄�，費(fèi)用太高�！备呶谋硎�，提高視頻的壓縮效率是解決存儲問題的途徑之一，目前科研人員正在從事第三代編碼技術(shù)的研究，以減少空間占用。

　　在數(shù)據(jù)處理上，由于大數(shù)據(jù)中大部分都是非結(jié)構(gòu)化的數(shù)據(jù)，現(xiàn)有的軟件和工具主要適用于以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù)，要想及時(shí)捕捉、存儲、聚合和管理這些大數(shù)據(jù)，以及對數(shù)據(jù)進(jìn)行深度分析和挖掘，需要新的技術(shù)和能力。而我國數(shù)據(jù)存儲、處理技術(shù)基礎(chǔ)薄弱，總體上以跟隨為主，難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。

　　此外，掌握非結(jié)構(gòu)化數(shù)據(jù)或流數(shù)據(jù)的分析技能，對大多數(shù)企業(yè)來說是一個(gè)持續(xù)的挑戰(zhàn)。在這些領(lǐng)域中，盡管硬件和軟件已經(jīng)成熟，但技能仍然缺乏。在美國，對高技能數(shù)據(jù)分析人才的需求，可能超出目前預(yù)測供應(yīng)量的50%至60%。到2018年，美國需要新增多達(dá)14萬至19萬名專家。“人才緊缺的狀況如果不解決將嚴(yán)重影響大數(shù)據(jù)應(yīng)用�！眲P格總裁兼首席科學(xué)家杰米·霍華德說。

　　“大數(shù)據(jù)”對個(gè)人信息獲取渠道拓寬的需求引發(fā)了另一個(gè)重要問題：隱私和便利性之間的沖突。一方面，大數(shù)據(jù)需要共享、數(shù)據(jù)開放、平臺利用，而目前我國一些部門和機(jī)構(gòu)擁有大量數(shù)據(jù)但受行政壟斷和商業(yè)利益所限，數(shù)據(jù)開放程度也較低，有些部門把一些數(shù)據(jù)當(dāng)成自己的，放那里既不使用，也不提供給研究者。專家指出，這是我國大數(shù)據(jù)研究的軟肋和需要解決的大問題。

　　另一方面，消費(fèi)者在享受大數(shù)據(jù)帶來好處的同時(shí)，個(gè)人購買偏好、健康和財(cái)務(wù)情況的海量數(shù)據(jù)被收集，對隱私的擔(dān)憂也在增大。高文表示，從純技術(shù)角度來說，美國的“棱鏡”項(xiàng)目是一個(gè)典型的通過分析海量通訊數(shù)據(jù)獲取安全情報(bào)的大數(shù)據(jù)案例，但嚴(yán)重侵犯了個(gè)人隱私。

　　“這些瓶頸與挑戰(zhàn)，是國內(nèi)外大數(shù)據(jù)發(fā)展當(dāng)中都面臨的問題，只是我國在某些方面表現(xiàn)得更為突出�！备呶恼f，“因此我們應(yīng)該下定決心迎頭趕上�！�