大數(shù)據(jù)時代的挑戰(zhàn)、價值與應(yīng)對策略
【摘要】在社會的發(fā)展之下,人們已經(jīng)全面進(jìn)入了大數(shù)據(jù)時代,在這一時代中,人們的生活與工作方式發(fā)生了極大的改變,本文主要分析大數(shù)據(jù)時代的挑戰(zhàn)、價值以及相關(guān)的應(yīng)對策略。
【關(guān)鍵詞】大數(shù)據(jù)時代;挑戰(zhàn);價值;應(yīng)對策略
當(dāng)今社會,互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)高速發(fā)展,視頻監(jiān)控技術(shù)、智能終端系統(tǒng)、手機(jī)應(yīng)用等也快速進(jìn)入人們的視線,普及量日益見長。隨之而來,全球數(shù)據(jù)量也呈現(xiàn)出指數(shù)式的增加,以太字節(jié)為單位的數(shù)據(jù)時代已經(jīng)到來了。
面對以太字節(jié)為單位的大數(shù)據(jù)時代,電信運(yùn)營商的網(wǎng)絡(luò)擴(kuò)容每秒都在無限量的增加,但其收益卻沒有因此而增加多少。一些公司為了提高其生產(chǎn)力,采用“數(shù)據(jù)驅(qū)動型決策”模式取得了顯著成效。
那么在大數(shù)據(jù)時代,人們可以做什么呢?人們可以通過技術(shù)對海量的數(shù)據(jù)進(jìn)行分析,得到用戶的喜好和行為,例如,在因材施教方面,學(xué)校和老師可以通過大數(shù)據(jù)來分析學(xué)生的個性和愛好,以此來進(jìn)行教學(xué),增強(qiáng)老師的教育工作能力,同時也提高了學(xué)生的學(xué)習(xí)效率,事半功倍。在公司管理方面,公司可以通過對公司各項數(shù)據(jù)的分析,開源節(jié)流,建立起精細(xì)型管理模式,提高公司發(fā)展水平。在產(chǎn)品生產(chǎn)方面,通過對大數(shù)據(jù)的分析,優(yōu)化產(chǎn)品生產(chǎn)結(jié)構(gòu),合理規(guī)劃生產(chǎn)流程,提高產(chǎn)品生產(chǎn)能力。
一、大數(shù)據(jù)時代的特征。
全球知名的咨詢公司麥肯錫最早提出了
“大數(shù)據(jù)時代”。現(xiàn)在人們用“大數(shù)據(jù)”來定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)。關(guān)于多少的數(shù)據(jù)量可以稱得上是“大數(shù)據(jù)”,到目前為止,還尚未達(dá)成共識。一般認(rèn)為,大數(shù)據(jù)應(yīng)該在10TB至1PB(P為T的1024被)以上。其特征主要有四個。
(一)數(shù)據(jù)量大——核心特征
大數(shù)據(jù)時代之所以稱之為“大”,就是其量大。數(shù)據(jù)量已經(jīng)進(jìn)入以太字節(jié)為單位了,其包含數(shù)量之廣是我們難以相信和預(yù)測的。據(jù)統(tǒng)計,2009年,全球信息量已經(jīng)達(dá)到了80萬PB(1021字節(jié)),2010年比2009年增加了40萬PB,達(dá)到了120萬PB。120萬PB是什么概念呢?就是把這些字節(jié)刻錄在DVD上面,再把這些刻錄了120萬PB數(shù)據(jù)的DVD疊放在一起,可以從地球到月球疊放一個來回。
(二)種類繁多
這里的“多”指的是數(shù)據(jù)形式的多樣性。在這個時代,網(wǎng)頁,圖片,視頻,音頻,文字等各種形式的數(shù)據(jù)承載方式,數(shù)據(jù)結(jié)構(gòu)繁多,在2012年半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)占全球網(wǎng)絡(luò)數(shù)據(jù)量的85%左右。
(三)速度快
大數(shù)據(jù)時代的一個基本特征就是傳播速度之“快”,現(xiàn)在不僅僅是傳播速度,就是處理數(shù)據(jù)的速度因為軟件工程的日新月異和人工智能的發(fā)展,也在急速增加。
(四)價值密度低
因為過多的數(shù)據(jù)和無處不在的信息感知,信息的價值密度相對較低,如何從海量的數(shù)據(jù)中提取出我們確實需要的數(shù)據(jù),成為了大數(shù)據(jù)時代的一大難題。
二、大數(shù)據(jù)時代的挑戰(zhàn)
(一)數(shù)據(jù)洪流的急速發(fā)展使得運(yùn)營商的帶寬能力更不上,適應(yīng)能力亟待提高。
運(yùn)營商的帶寬雖然也在不停的發(fā)展,但遠(yuǎn)遠(yuǎn)比不上數(shù)據(jù)的指數(shù)式增長,因此目前日益增長的數(shù)據(jù)傳輸能力和現(xiàn)有的帶寬承載能力無法相匹配。(二)數(shù)據(jù)量大、形式多樣以及快速等特征也對數(shù)據(jù)的處理和存儲提出了全新的要求。
那么多的數(shù)據(jù),那么多樣化的數(shù)據(jù),快速更新的數(shù)據(jù)要求更加寬大,更加便利的軟件工程和人工智能來處理和存儲,單單的人腦已經(jīng)無法滿足數(shù)據(jù)的需求。(三)在大數(shù)據(jù)時代,海量的數(shù)據(jù)往往為網(wǎng)絡(luò)罪犯和黑客提供了可乘之機(jī)。
他們利用海量的數(shù)據(jù)作為反追蹤的利器。海量的數(shù)據(jù)也為他們的作案工具和作案手法提供了新思路。例如我們熟知的APT(高級持續(xù)性安全威脅),一些小團(tuán)體就是利用了先進(jìn)的數(shù)據(jù)攻擊手段對特定目標(biāo)進(jìn)行長期的持續(xù)性網(wǎng)絡(luò)攻擊。(四)一些個人或者企業(yè)通過非法手段竊取了某些用戶的私人數(shù)據(jù),并用這些數(shù)據(jù)非法分析用戶的行為和愛好,一些企業(yè)的商業(yè)機(jī)密也在海量的數(shù)據(jù)中被泄露出去。
因此個人隱私和企業(yè)利益在大數(shù)據(jù)時代中受到了重大的沖擊和損害。如何保護(hù)個人和企業(yè)的利益成為關(guān)鍵。(五)在海量的數(shù)據(jù)面前,數(shù)據(jù)是否真實,這點(diǎn)顯得有些撲朔迷離。
“去偽存真”就成了十分重要的一項工作。但其方法和過程之分復(fù)雜。我們首先需要了解需要數(shù)據(jù)的基本特點(diǎn),根據(jù)其特點(diǎn)來對已有的數(shù)據(jù)進(jìn)行篩選,接著把已經(jīng)篩選出來的數(shù)據(jù)進(jìn)行分析和清理,通常是用相關(guān)工具和分析模型賴進(jìn)行評估,看看結(jié)果是否符合我們需要的數(shù)據(jù)的基本特點(diǎn)。最后把已經(jīng)分析出來的我們需要的數(shù)據(jù)進(jìn)行整理和呈現(xiàn)。三、大數(shù)據(jù)時代的應(yīng)對策略
面對上述五個挑戰(zhàn),我們需要措施來應(yīng)對以適應(yīng)更好的大數(shù)據(jù)時代的發(fā)展。
(一)面對帶寬不足的問題,電信運(yùn)營商已經(jīng)想出了初步的解決辦法,它們將以智能管道與聚合平臺作為基礎(chǔ),將擴(kuò)大流量規(guī)模、提升流量層次和豐富流量內(nèi)涵三者并駕齊驅(qū),把釋放流量價值作為導(dǎo)向,實現(xiàn)大數(shù)據(jù)和云計算的深層次結(jié)合。
(二)面對大數(shù)據(jù)時代的特征帶來的挑戰(zhàn),這需要惠普、IBM、微軟等IT巨頭們攜手共進(jìn),全方面加強(qiáng)科技創(chuàng)新,通過軟件工程和人工智能的創(chuàng)新發(fā)展來擴(kuò)大數(shù)據(jù)存儲容量,增加數(shù)據(jù)存儲方式,提高數(shù)據(jù)分析效率,讓海量的數(shù)據(jù)更好的為我們服務(wù)。
(三)面對APT帶來的安全威脅,政府需要借助大數(shù)據(jù)來創(chuàng)新處理技術(shù)。
針對APT的的單點(diǎn)隱蔽強(qiáng)、攻擊路徑不定等特點(diǎn),在全流量審計方面,需要加強(qiáng)事時流量監(jiān)測能力和事后回溯的能力,并且提高安全工作人員的分析素質(zhì),把計算機(jī)存儲和運(yùn)算能力相結(jié)合,運(yùn)做出一套完整的解決反APT方案。(四)面的個人隱私安全,最主要的是加強(qiáng)信息加密的可靠性,防止信息被盜。
用戶在登錄網(wǎng)頁時填寫的用戶名和密碼在存儲和傳輸時的路徑都需要加密。同時網(wǎng)站不能用用戶信息作為謀取私利的工具。另外,還需要對存儲信息的硬盤進(jìn)行加密和保護(hù),防止因硬盤被盜而資料外泄。除此以外,國家也可以通過加強(qiáng)立法來規(guī)范數(shù)據(jù)安全,保護(hù)個人隱私和商業(yè)機(jī)密。(五)面對“去偽存真”的冗雜工作,一方面我們需要建立有效的分析模型,提高分析數(shù)據(jù)的能力和效率,節(jié)省數(shù)據(jù)分析時間。
另一方面,在輸入數(shù)據(jù)的時候,提高篩選能力,利用人工智能自動篩選數(shù)據(jù),節(jié)省人力成本。另外,也需要提高工作人員的數(shù)據(jù)分析能力,盡可能掌握好大數(shù)據(jù)的存儲、分類、挖掘能力,以應(yīng)變各種可能的情況。大數(shù)據(jù)時代已經(jīng)到來,各行各業(yè)乃至我們自身都在不斷的積累數(shù)據(jù)、運(yùn)用數(shù)據(jù)、產(chǎn)生數(shù)據(jù)、傳輸數(shù)據(jù)。Gary
King作為哈佛量化社會科學(xué)研究所主任,他提出:“我們的確正在起航。在龐大的新數(shù)據(jù)來源的支持下,量化的前進(jìn)步伐將會踏遍學(xué)術(shù)、商業(yè)和政府領(lǐng)域。沒有一個領(lǐng)域可以不被觸及。”既然大數(shù)據(jù)時代已經(jīng)避無可避,作為大數(shù)據(jù)的擁有者和統(tǒng)計人,我們所要做的就是順應(yīng)時代,跟上時代,懂得什么是大數(shù)據(jù),如何運(yùn)用大數(shù)據(jù)。用大數(shù)據(jù)來提高企業(yè)發(fā)展,支撐社會進(jìn)入,振興中華民族。
參考文獻(xiàn):
[1]程蓮娟.美國推進(jìn)大數(shù)據(jù)的應(yīng)用實踐及其有益借鑒——基于圖書館視角的分析[J].情報資料工作.2013(05)
[2]程開明,陳龍.大數(shù)據(jù)時代的統(tǒng)計挑戰(zhàn)與應(yīng)對[J].中國統(tǒng)計.2013(08)
[3]沈曉雨.大數(shù)據(jù)時代下的服務(wù)需求管理新思路[J].商場現(xiàn)代化.2013(20)