大數(shù)據(jù)時代的挑戰(zhàn)、價值與應(yīng)對策略

【摘要】在社會的發(fā)展之下，人們已經(jīng)全面進(jìn)入了大數(shù)據(jù)時代，在這一時代中，人們的生活與工作方式發(fā)生了極大的改變，本文主要分析大數(shù)據(jù)時代的挑戰(zhàn)、價值以及相關(guān)的應(yīng)對策略。

【關(guān)鍵詞】大數(shù)據(jù)時代；挑戰(zhàn)；價值；應(yīng)對策略

當(dāng)今社會，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)高速發(fā)展，視頻監(jiān)控技術(shù)、智能終端系統(tǒng)、手機(jī)應(yīng)用等也快速進(jìn)入人們的視線，普及量日益見長。隨之而來，全球數(shù)據(jù)量也呈現(xiàn)出指數(shù)式的增加，以太字節(jié)為單位的數(shù)據(jù)時代已經(jīng)到來了。

面對以太字節(jié)為單位的大數(shù)據(jù)時代，電信運(yùn)營商的網(wǎng)絡(luò)擴(kuò)容每秒都在無限量的增加，但其收益卻沒有因此而增加多少。一些公司為了提高其生產(chǎn)力，采用“數(shù)據(jù)驅(qū)動型決策”模式取得了顯著成效。

那么在大數(shù)據(jù)時代，人們可以做什么呢？人們可以通過技術(shù)對海量的數(shù)據(jù)進(jìn)行分析，得到用戶的喜好和行為，例如，在因材施教方面，學(xué)校和老師可以通過大數(shù)據(jù)來分析學(xué)生的個性和愛好，以此來進(jìn)行教學(xué)，增強(qiáng)老師的教育工作能力，同時也提高了學(xué)生的學(xué)習(xí)效率，事半功倍。在公司管理方面，公司可以通過對公司各項數(shù)據(jù)的分析，開源節(jié)流，建立起精細(xì)型管理模式，提高公司發(fā)展水平。在產(chǎn)品生產(chǎn)方面，通過對大數(shù)據(jù)的分析，優(yōu)化產(chǎn)品生產(chǎn)結(jié)構(gòu)，合理規(guī)劃生產(chǎn)流程，提高產(chǎn)品生產(chǎn)能力。

一、大數(shù)據(jù)時代的特征。

全球知名的咨詢公司麥肯錫最早提出了

“大數(shù)據(jù)時代”。現(xiàn)在人們用“大數(shù)據(jù)”來定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)。關(guān)于多少的數(shù)據(jù)量可以稱得上是“大數(shù)據(jù)”，到目前為止，還尚未達(dá)成共識。一般認(rèn)為，大數(shù)據(jù)應(yīng)該在10TB至1PB（P為T的1024被）以上。其特征主要有四個。

（一）數(shù)據(jù)量大——核心特征

大數(shù)據(jù)時代之所以稱之為“大”，就是其量大。數(shù)據(jù)量已經(jīng)進(jìn)入以太字節(jié)為單位了，其包含數(shù)量之廣是我們難以相信和預(yù)測的。據(jù)統(tǒng)計，2009年，全球信息量已經(jīng)達(dá)到了80萬PB（1021字節(jié)），2010年比2009年增加了40萬PB，達(dá)到了120萬PB。120萬PB是什么概念呢？就是把這些字節(jié)刻錄在DVD上面，再把這些刻錄了120萬PB數(shù)據(jù)的DVD疊放在一起，可以從地球到月球疊放一個來回。

（二）種類繁多

這里的“多”指的是數(shù)據(jù)形式的多樣性。在這個時代，網(wǎng)頁，圖片，視頻，音頻，文字等各種形式的數(shù)據(jù)承載方式，數(shù)據(jù)結(jié)構(gòu)繁多，在2012年半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)占全球網(wǎng)絡(luò)數(shù)據(jù)量的85%左右。

（三）速度快

大數(shù)據(jù)時代的一個基本特征就是傳播速度之“快”，現(xiàn)在不僅僅是傳播速度，就是處理數(shù)據(jù)的速度因為軟件工程的日新月異和人工智能的發(fā)展，也在急速增加。

（四）價值密度低

因為過多的數(shù)據(jù)和無處不在的信息感知，信息的價值密度相對較低，如何從海量的數(shù)據(jù)中提取出我們確實需要的數(shù)據(jù)，成為了大數(shù)據(jù)時代的一大難題。

二、大數(shù)據(jù)時代的挑戰(zhàn)

（一）數(shù)據(jù)洪流的急速發(fā)展使得運(yùn)營商的帶寬能力更不上，適應(yīng)能力亟待提高。

運(yùn)營商的帶寬雖然也在不停的發(fā)展，但遠(yuǎn)遠(yuǎn)比不上數(shù)據(jù)的指數(shù)式增長，因此目前日益增長的數(shù)據(jù)傳輸能力和現(xiàn)有的帶寬承載能力無法相匹配。

（二）數(shù)據(jù)量大、形式多樣以及快速等特征也對數(shù)據(jù)的處理和存儲提出了全新的要求。

那么多的數(shù)據(jù)，那么多樣化的數(shù)據(jù)，快速更新的數(shù)據(jù)要求更加寬大，更加便利的軟件工程和人工智能來處理和存儲，單單的人腦已經(jīng)無法滿足數(shù)據(jù)的需求。

（三）在大數(shù)據(jù)時代，海量的數(shù)據(jù)往往為網(wǎng)絡(luò)罪犯和黑客提供了可乘之機(jī)。

他們利用海量的數(shù)據(jù)作為反追蹤的利器。海量的數(shù)據(jù)也為他們的作案工具和作案手法提供了新思路。例如我們熟知的APT（高級持續(xù)性安全威脅），一些小團(tuán)體就是利用了先進(jìn)的數(shù)據(jù)攻擊手段對特定目標(biāo)進(jìn)行長期的持續(xù)性網(wǎng)絡(luò)攻擊。

（四）一些個人或者企業(yè)通過非法手段竊取了某些用戶的私人數(shù)據(jù)，并用這些數(shù)據(jù)非法分析用戶的行為和愛好，一些企業(yè)的商業(yè)機(jī)密也在海量的數(shù)據(jù)中被泄露出去。

因此個人隱私和企業(yè)利益在大數(shù)據(jù)時代中受到了重大的沖擊和損害。如何保護(hù)個人和企業(yè)的利益成為關(guān)鍵。

（五）在海量的數(shù)據(jù)面前，數(shù)據(jù)是否真實，這點(diǎn)顯得有些撲朔迷離。

“去偽存真”就成了十分重要的一項工作。但其方法和過程之分復(fù)雜。我們首先需要了解需要數(shù)據(jù)的基本特點(diǎn)，根據(jù)其特點(diǎn)來對已有的數(shù)據(jù)進(jìn)行篩選，接著把已經(jīng)篩選出來的數(shù)據(jù)進(jìn)行分析和清理，通常是用相關(guān)工具和分析模型賴進(jìn)行評估，看看結(jié)果是否符合我們需要的數(shù)據(jù)的基本特點(diǎn)。最后把已經(jīng)分析出來的我們需要的數(shù)據(jù)進(jìn)行整理和呈現(xiàn)。

三、大數(shù)據(jù)時代的應(yīng)對策略

面對上述五個挑戰(zhàn)，我們需要措施來應(yīng)對以適應(yīng)更好的大數(shù)據(jù)時代的發(fā)展。

（一）面對帶寬不足的問題，電信運(yùn)營商已經(jīng)想出了初步的解決辦法，它們將以智能管道與聚合平臺作為基礎(chǔ)，將擴(kuò)大流量規(guī)模、提升流量層次和豐富流量內(nèi)涵三者并駕齊驅(qū)，把釋放流量價值作為導(dǎo)向，實現(xiàn)大數(shù)據(jù)和云計算的深層次結(jié)合。

（二）面對大數(shù)據(jù)時代的特征帶來的挑戰(zhàn)，這需要惠普、IBM、微軟等IT巨頭們攜手共進(jìn)，全方面加強(qiáng)科技創(chuàng)新，通過軟件工程和人工智能的創(chuàng)新發(fā)展來擴(kuò)大數(shù)據(jù)存儲容量，增加數(shù)據(jù)存儲方式，提高數(shù)據(jù)分析效率，讓海量的數(shù)據(jù)更好的為我們服務(wù)。

（三）面對APT帶來的安全威脅，政府需要借助大數(shù)據(jù)來創(chuàng)新處理技術(shù)。

針對APT的的單點(diǎn)隱蔽強(qiáng)、攻擊路徑不定等特點(diǎn)，在全流量審計方面，需要加強(qiáng)事時流量監(jiān)測能力和事后回溯的能力，并且提高安全工作人員的分析素質(zhì)，把計算機(jī)存儲和運(yùn)算能力相結(jié)合，運(yùn)做出一套完整的解決反APT方案。

（四）面的個人隱私安全，最主要的是加強(qiáng)信息加密的可靠性，防止信息被盜。

用戶在登錄網(wǎng)頁時填寫的用戶名和密碼在存儲和傳輸時的路徑都需要加密。同時網(wǎng)站不能用用戶信息作為謀取私利的工具。另外，還需要對存儲信息的硬盤進(jìn)行加密和保護(hù)，防止因硬盤被盜而資料外泄。除此以外，國家也可以通過加強(qiáng)立法來規(guī)范數(shù)據(jù)安全，保護(hù)個人隱私和商業(yè)機(jī)密。

（五）面對“去偽存真”的冗雜工作，一方面我們需要建立有效的分析模型，提高分析數(shù)據(jù)的能力和效率，節(jié)省數(shù)據(jù)分析時間。

另一方面，在輸入數(shù)據(jù)的時候，提高篩選能力，利用人工智能自動篩選數(shù)據(jù)，節(jié)省人力成本。另外，也需要提高工作人員的數(shù)據(jù)分析能力，盡可能掌握好大數(shù)據(jù)的存儲、分類、挖掘能力，以應(yīng)變各種可能的情況。

大數(shù)據(jù)時代已經(jīng)到來，各行各業(yè)乃至我們自身都在不斷的積累數(shù)據(jù)、運(yùn)用數(shù)據(jù)、產(chǎn)生數(shù)據(jù)、傳輸數(shù)據(jù)。Gary

King作為哈佛量化社會科學(xué)研究所主任，他提出：“我們的確正在起航。在龐大的新數(shù)據(jù)來源的支持下，量化的前進(jìn)步伐將會踏遍學(xué)術(shù)、商業(yè)和政府領(lǐng)域。沒有一個領(lǐng)域可以不被觸及。”既然大數(shù)據(jù)時代已經(jīng)避無可避，作為大數(shù)據(jù)的擁有者和統(tǒng)計人，我們所要做的就是順應(yīng)時代，跟上時代，懂得什么是大數(shù)據(jù)，如何運(yùn)用大數(shù)據(jù)。用大數(shù)據(jù)來提高企業(yè)發(fā)展，支撐社會進(jìn)入，振興中華民族。

參考文獻(xiàn)：

[1]程蓮娟.美國推進(jìn)大數(shù)據(jù)的應(yīng)用實踐及其有益借鑒——基于圖書館視角的分析[J].情報資料工作.2013(05)

[2]程開明,陳龍.大數(shù)據(jù)時代的統(tǒng)計挑戰(zhàn)與應(yīng)對[J].中國統(tǒng)計.2013(08)

[3]沈曉雨.大數(shù)據(jù)時代下的服務(wù)需求管理新思路[J].商場現(xiàn)代化.2013(20)