當(dāng)前位置:中工網(wǎng)理論頻道談股論經(jīng)-正文
大數(shù)據(jù):未來的“新石油”
劉松柏//agustinmoreno.com2013-11-13來源:經(jīng)濟(jì)日報(bào)
分享到:更多

  

  2011年—2016年中國大數(shù)據(jù)應(yīng)用市場規(guī)模與增長(數(shù)據(jù)來源:賽迪顧問2013年2月)

  就像空氣和水一樣,數(shù)據(jù)在我們周圍自然而然地存在著。每一次點(diǎn)擊鼠標(biāo),每一次刷卡消費(fèi),每一次撥打電話,每一次駕車出行……數(shù)據(jù)便已生成。我們每一個(gè)人既是數(shù)據(jù)的消費(fèi)者,也是數(shù)據(jù)的生產(chǎn)者,每天都生成海量數(shù)據(jù)。

  研究表明,過去5年里,人類行為產(chǎn)生的數(shù)據(jù)量增長了10倍,而在接下來10年中,這一增長將達(dá)到29倍。軟件巨頭EMC公司預(yù)計(jì),到2020年,全球數(shù)據(jù)使用量將達(dá)到大約40ZB(1ZB=10億TB)。這些數(shù)據(jù)意味著什么,對我們有何價(jià)值?這就是當(dāng)前最熱門的“大數(shù)據(jù)”研究。中國工程院院士高文說:“不管你是否認(rèn)同,大數(shù)據(jù)時(shí)代已經(jīng)來臨,并將深刻地改變著我們的工作和生活!

  被視為戰(zhàn)略資源

  一家電信運(yùn)營商運(yùn)用社交分析,篩選了3.65億段電話記錄,找出可能流失的客戶并提供針對性的服務(wù),大大提高了季度收益;一家金融服務(wù)公司從570億筆ATM交易中檢測出了欺詐模式……這是體現(xiàn)大數(shù)據(jù)價(jià)值的一些典型例子。

  凱格總裁兼首席科學(xué)家杰米·霍華德說,與傳統(tǒng)的、結(jié)構(gòu)化的、關(guān)系型數(shù)據(jù)不同,“電話記錄”等數(shù)據(jù)是非結(jié)構(gòu)化的。據(jù)國際數(shù)據(jù)公司調(diào)查,非結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)中約占80%至90%,包括網(wǎng)絡(luò)日志、語音、視頻、圖片、地理位置、傳感信息等。作為新的尚未開發(fā)的信息源,非結(jié)構(gòu)化數(shù)據(jù)分析可以揭露以前很難或無法確定的重要相互關(guān)系。

  “這是最關(guān)鍵的!贝髷(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系,人們只需知道“是什么”,而不用知道“為什么”,這顛覆了千百年來人類的思維模式,對人類的認(rèn)知方式和交流方式提出了新挑戰(zhàn)。

  除了體量大、數(shù)據(jù)類型繁多這兩個(gè)特征外,能否快速實(shí)時(shí)處理海量數(shù)據(jù)是衡量是否是大數(shù)據(jù)的關(guān)鍵維度。杰米·霍華德說:“大數(shù)據(jù)并非只有數(shù)百個(gè)TB才算得上,有時(shí)候數(shù)百個(gè)GB的數(shù)據(jù)也可稱為大數(shù)據(jù),這主要要看數(shù)據(jù)的處理速度。如果能在1秒之內(nèi)分析處理通常情況下需要花費(fèi)1個(gè)小時(shí)的數(shù)據(jù),這種變化帶來的價(jià)值是非常巨大的。”

  目前,隨著移動互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)等新一代信息技術(shù)的普及應(yīng)用,智能手機(jī)、平板電腦、PC以及遍布各個(gè)角落的傳感器,正在越來越多地接入到網(wǎng)絡(luò),成為數(shù)據(jù)來源和承載方式。各種交互數(shù)據(jù)、傳感數(shù)據(jù)正源源不斷從各行各業(yè)迅速生成。這些數(shù)量龐大、種類廣泛、迅速產(chǎn)生和更新的大數(shù)據(jù),蘊(yùn)含著前所未有的社會價(jià)值和商業(yè)價(jià)值。

  杰米·霍華德說,像能源、原材料一樣,大數(shù)據(jù)已成為提高未來競爭力的關(guān)鍵要素。比如,通過遍布各地的電子眼和監(jiān)控?cái)z像頭,警務(wù)系統(tǒng)可以基于大數(shù)據(jù)識別一些危險(xiǎn)的人或危險(xiǎn)的行為,發(fā)現(xiàn)苗頭進(jìn)行預(yù)警。比如,通過車上的GPS和手機(jī),當(dāng)交通進(jìn)入擁堵狀態(tài),交管部門可以通過手機(jī)信號的大數(shù)據(jù)運(yùn)用,提示車主進(jìn)入某個(gè)路段要收費(fèi),從而控制交通流量,等等。麥肯錫的最新調(diào)查研究顯示,大數(shù)據(jù)可以在任何一個(gè)行業(yè)內(nèi)創(chuàng)造更多價(jià)值。如,零售業(yè)可以利用大數(shù)據(jù)提高60%的運(yùn)營利潤,歐洲政府利用大數(shù)據(jù)每年可以減少1000億歐元的開支,同時(shí)避免偷稅漏稅行為。

  鑒于大數(shù)據(jù)潛在的巨大影響,很多國家或國際組織都將大數(shù)據(jù)視作戰(zhàn)略資源,并將大數(shù)據(jù)提升為國家戰(zhàn)略。美國政府把大數(shù)據(jù)看成是“未來的新石油”。2012年3月,美國奧巴馬政府宣布了“大數(shù)據(jù)研發(fā)計(jì)劃”,并設(shè)立了2億美元的啟動資金,希望增強(qiáng)海量數(shù)據(jù)收集、分析萃取能力,認(rèn)為這事關(guān)美國的國家安全和未來競爭力。聯(lián)合國推出的“全球脈動”項(xiàng)目,希望利用“大數(shù)據(jù)”預(yù)測某些地區(qū)的失業(yè)率或疾病爆發(fā)等現(xiàn)象,以提前指導(dǎo)援助項(xiàng)目。

  主要是商業(yè)應(yīng)用

  盡管大數(shù)據(jù)應(yīng)用在國防、反恐、安全以及社會管理等諸多領(lǐng)域,不過,企業(yè)應(yīng)用還是大數(shù)據(jù)的主要推動者。IBM商業(yè)價(jià)值研究院的一項(xiàng)研究表明,在各個(gè)行業(yè)中,大數(shù)據(jù)業(yè)務(wù)主要集中在滿足以客戶為中心這一目標(biāo)上。被調(diào)查企業(yè)認(rèn)為,大數(shù)據(jù)有能力更好地了解和預(yù)測客戶行為,并因此改善客戶體驗(yàn)。

  在互聯(lián)網(wǎng)時(shí)代,在網(wǎng)上留下的每個(gè)“足跡”,聚集了大量的“前兆性”行為數(shù)據(jù),如購買商品前先瀏覽、比價(jià),觀看電影前先搜索影評等,把這些數(shù)據(jù)搜集起來,通過進(jìn)一步分析便可快速獲取影響未來的信息。“這就意味著,借助大數(shù)據(jù)技術(shù),公司可以比以往任何時(shí)候都更加了解消費(fèi)者。”

  阿里小貸就是運(yùn)用大數(shù)據(jù)了解和預(yù)測客戶行為的典范。

  對于大多數(shù)小微企業(yè)或個(gè)體戶而言,規(guī)模較小、風(fēng)險(xiǎn)大,如果無抵押、無擔(dān)保,從銀行獲得貸款的難度很大。不過,阿里小貸卻與眾不同,借款者憑借的是企業(yè)的“信譽(yù)”這一資源,不用提交任何抵押與擔(dān)保。

  信譽(yù)從何而來?阿里金融高級專家年勁飛說,阿里巴巴、淘寶、天貓這些“阿里系”的電商平臺,每天記錄著各個(gè)商家、網(wǎng)店等小微企業(yè)的銷售額、信用記錄、顧客流量、評論、商品價(jià)格和存貨等各類數(shù)據(jù)。顯然,阿里對此了如指掌!巴ㄟ^分析大量企業(yè)以及消費(fèi)者行為數(shù)據(jù),信用體系建立起來了,阿里小貸由此而生。”

  像阿里小貸一樣,在金融、電信、媒體、制造、醫(yī)療、地產(chǎn)等行業(yè),大數(shù)據(jù)顛覆傳統(tǒng)的故事輪番上演。沃爾瑪基于數(shù)據(jù)分析的結(jié)果,將某些商品放置在一起;eBay通過數(shù)據(jù)分析技術(shù),精確計(jì)算出廣告中的每一個(gè)關(guān)鍵字為公司帶來的回報(bào)以優(yōu)化廣告投放,2007年以來eBay產(chǎn)品銷售的廣告費(fèi)降低了99%,而頂級賣家占總銷售額的百分比卻上升至32%。

  除了作為大數(shù)據(jù)服務(wù)消費(fèi)者的企業(yè)躍躍欲試,作為大數(shù)據(jù)服務(wù)提供者的企業(yè)也早已卷入其中。IT巨頭如英特爾、IBM、甲骨文、微軟等,早已對大數(shù)據(jù)的存儲、處理和應(yīng)用進(jìn)行布局,在大數(shù)據(jù)的管理和分析上投入了巨額資金。2010年以來,歐美IT巨頭掀起了一輪與大數(shù)據(jù)相關(guān)的并購潮。英特爾并購了安全軟件制造商McAfee等大數(shù)據(jù)處理以及架構(gòu)廠商來彌補(bǔ)自己在軟件上的能力;IBM通過并購數(shù)據(jù)分析公司來增強(qiáng)自己在海量數(shù)據(jù)處理上的實(shí)力。這些IT巨頭幾乎搶占了搜索服務(wù)、數(shù)據(jù)庫、服務(wù)器、存儲設(shè)備、數(shù)據(jù)挖掘等核心價(jià)值環(huán)節(jié)。

  國內(nèi)的淘寶、百度、騰訊以及金蝶軟件等也加入了大數(shù)據(jù)的生產(chǎn)、研究、應(yīng)用行列。金蝶國際軟件集團(tuán)有限公司首席科學(xué)家、高級副總裁張良杰告訴記者:“我們參與搭建的全國中小企業(yè)信息平臺,匯集了4000萬家企業(yè),通過對這些企業(yè)海量數(shù)據(jù)的挖掘和分析,能夠?qū)?jīng)濟(jì)運(yùn)行狀況作出準(zhǔn)確的預(yù)警,有助于國家相關(guān)部門作出應(yīng)對決策。”

  無論作為消費(fèi)者還是供應(yīng)商,企業(yè)開拓了大數(shù)據(jù)廣闊的市場前景。據(jù)預(yù)計(jì),從2013年到2018年,全球大數(shù)據(jù)市場將會出現(xiàn)年均26%的增長率,即從今年的148.7億美元增長到2018年的463.4億美元。

  瓶頸有待突破

  大數(shù)據(jù)在帶來機(jī)遇的同時(shí),也帶來了不可忽視的一系列挑戰(zhàn)。

  “‘存不下’和‘查不快’,是我們面臨的兩大難題!敝袊こ淘涸菏扛呶恼f,F(xiàn)在數(shù)據(jù)源源不斷地產(chǎn)生,除非增加存儲設(shè)備,但如此一來勢必會增加存儲成本!澳壳,街頭攝像頭拍攝的視頻數(shù)據(jù),通常只會存一段時(shí)間,有的保存三個(gè)月,有的保存一個(gè)月,就被覆蓋掉,為什么會這樣?就是因?yàn)榇娌黄,費(fèi)用太高!备呶谋硎,提高視頻的壓縮效率是解決存儲問題的途徑之一,目前科研人員正在從事第三代編碼技術(shù)的研究,以減少空間占用。

  在數(shù)據(jù)處理上,由于大數(shù)據(jù)中大部分都是非結(jié)構(gòu)化的數(shù)據(jù),現(xiàn)有的軟件和工具主要適用于以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù),要想及時(shí)捕捉、存儲、聚合和管理這些大數(shù)據(jù),以及對數(shù)據(jù)進(jìn)行深度分析和挖掘,需要新的技術(shù)和能力。而我國數(shù)據(jù)存儲、處理技術(shù)基礎(chǔ)薄弱,總體上以跟隨為主,難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。

  此外,掌握非結(jié)構(gòu)化數(shù)據(jù)或流數(shù)據(jù)的分析技能,對大多數(shù)企業(yè)來說是一個(gè)持續(xù)的挑戰(zhàn)。在這些領(lǐng)域中,盡管硬件和軟件已經(jīng)成熟,但技能仍然缺乏。在美國,對高技能數(shù)據(jù)分析人才的需求,可能超出目前預(yù)測供應(yīng)量的50%至60%。到2018年,美國需要新增多達(dá)14萬至19萬名專家。“人才緊缺的狀況如果不解決將嚴(yán)重影響大數(shù)據(jù)應(yīng)用!眲P格總裁兼首席科學(xué)家杰米·霍華德說。

  “大數(shù)據(jù)”對個(gè)人信息獲取渠道拓寬的需求引發(fā)了另一個(gè)重要問題:隱私和便利性之間的沖突。一方面,大數(shù)據(jù)需要共享、數(shù)據(jù)開放、平臺利用,而目前我國一些部門和機(jī)構(gòu)擁有大量數(shù)據(jù)但受行政壟斷和商業(yè)利益所限,數(shù)據(jù)開放程度也較低,有些部門把一些數(shù)據(jù)當(dāng)成自己的,放那里既不使用,也不提供給研究者。專家指出,這是我國大數(shù)據(jù)研究的軟肋和需要解決的大問題。

  另一方面,消費(fèi)者在享受大數(shù)據(jù)帶來好處的同時(shí),個(gè)人購買偏好、健康和財(cái)務(wù)情況的海量數(shù)據(jù)被收集,對隱私的擔(dān)憂也在增大。高文表示,從純技術(shù)角度來說,美國的“棱鏡”項(xiàng)目是一個(gè)典型的通過分析海量通訊數(shù)據(jù)獲取安全情報(bào)的大數(shù)據(jù)案例,但嚴(yán)重侵犯了個(gè)人隱私。

  “這些瓶頸與挑戰(zhàn),是國內(nèi)外大數(shù)據(jù)發(fā)展當(dāng)中都面臨的問題,只是我國在某些方面表現(xiàn)得更為突出!备呶恼f,“因此我們應(yīng)該下定決心迎頭趕上!

中 工 網(wǎng) 版 權(quán) 所 有 ,未 經(jīng) 書 面 授 權(quán) 禁 止 使 用
Copyright © 2008-2010 by agustinmoreno.com. all rights reserved
瀏覽本網(wǎng)主頁,建議將電腦顯示屏的分辨率調(diào)為1024*768