第一篇：數(shù)據(jù)網(wǎng)學(xué)習(xí)心得體會

數(shù)據(jù)通信技術(shù)與維護管理學(xué)習(xí)心得體會

在我們的仔細聆聽中，我們期盼已久的培訓(xùn)學(xué)習(xí)在我們的戀戀不舍中敲響了結(jié)尾的鐘聲。對于一個月的培訓(xùn)課程，我想我只能用受益匪淺這四個字來形容了。老師們的博文廣識、生動講解、精彩案例無不在我的腦海里留下了深刻的印象，我只恨自己才疏學(xué)淺、文筆糟糕，不能夠?qū)⑺械母杏|都通過文字顯然于紙上。但是我還是盡力絞盡腦汁，以祈求能將培訓(xùn)完后心中所想所獲能表達出來。

此次精彩的培訓(xùn)學(xué)習(xí)主要心得有以下幾個方面：

一、讓自己更加了解數(shù)據(jù)通信系統(tǒng)，了解數(shù)據(jù)通信原理，了解局域網(wǎng)技術(shù)和網(wǎng)絡(luò)協(xié)議。

通過這次的培訓(xùn)學(xué)習(xí)，我知道了是一個由分布在各地的數(shù)據(jù)終端設(shè)備、數(shù)據(jù)交換設(shè)備和數(shù)據(jù)傳輸鏈路構(gòu)成的網(wǎng)絡(luò)，其功能是在網(wǎng)絡(luò)協(xié)議支持下，實現(xiàn)數(shù)據(jù)終端間的數(shù)據(jù)傳輸和交換。數(shù)據(jù)通信網(wǎng)的組成包括:數(shù)據(jù)終端設(shè)備；數(shù)據(jù)交換設(shè)備；數(shù)據(jù)傳輸鏈路；通信協(xié)議。此外還掌握了網(wǎng)絡(luò)協(xié)議分析軟件的基本操作，并對ARP、TCP和UDP協(xié)議等做了基本的實作分析。

二、了解了綜合視頻監(jiān)控、會議電視等數(shù)據(jù)通信業(yè)務(wù) 綜合視頻監(jiān)控采用網(wǎng)絡(luò)化、數(shù)字化視頻監(jiān)控技術(shù)和IP傳輸方式構(gòu)建的視頻監(jiān)控系統(tǒng)，提供鐵路各業(yè)務(wù)部門和信息系統(tǒng)所需的視頻信息，實現(xiàn)網(wǎng)絡(luò)和視頻信息資源共享。全路現(xiàn)有視頻系統(tǒng)達500多個，安裝攝像機18524套。包括模擬和數(shù)字系統(tǒng)，除近年來建設(shè)的有青藏線路視頻監(jiān)視系統(tǒng)、客運專線、編組站及大站視頻監(jiān)視系統(tǒng)等，早期建設(shè)的視頻系統(tǒng)大部分沒有經(jīng)過聯(lián)網(wǎng)，僅為本地區(qū)單業(yè)務(wù)部門用戶服務(wù)。

視頻會議（會議電視）是視訊傳輸技術(shù)的典型應(yīng)用之一，一種在不同地點的用戶以電視的方式舉行會議，傳輸圖像、聲音和文件的通信方式。視頻會議具有節(jié)省時間、縮短空間、提高效率等優(yōu)點。視頻會議是現(xiàn)代計算機技術(shù)、通信技術(shù)和視頻技術(shù)完美結(jié)合的產(chǎn)物。

三、學(xué)習(xí)了綜合網(wǎng)管，數(shù)據(jù)網(wǎng)組網(wǎng)及相關(guān)技術(shù)規(guī)章，并了解了數(shù)據(jù)網(wǎng)常見故障分析及維護策略

網(wǎng)絡(luò)管理功能可概括為OAM﹠P，即網(wǎng)絡(luò)的操作(Operation)、管理(Administration)、維護(Maintenance)、服務(wù)提供(Provisioning)等所需要的各種活動。有時也只考慮前三種，即把網(wǎng)絡(luò)管理功能歸結(jié)為OAM.數(shù)據(jù)網(wǎng)網(wǎng)管的主要功能：對網(wǎng)絡(luò)中的設(shè)備進行配置管理，以利于運營維護；實現(xiàn)網(wǎng)絡(luò)的運行狀況監(jiān)控，包括：故障監(jiān)視、告警等功能；實現(xiàn)網(wǎng)絡(luò)的計費，例如：流量統(tǒng)計等；實現(xiàn)網(wǎng)絡(luò)的安全管理，例如：相關(guān)安全設(shè)置、用戶設(shè)置等。

鐵路IP數(shù)據(jù)網(wǎng)分為專用IP數(shù)據(jù)網(wǎng)和綜合IP數(shù)據(jù)網(wǎng)。專用IP數(shù)據(jù)網(wǎng)指獨立組網(wǎng)的信息網(wǎng)絡(luò)，包括：客票網(wǎng)、CTC/TDCS網(wǎng)、公安網(wǎng)、機要網(wǎng)等；鐵路數(shù)據(jù)通信網(wǎng)是綜合IP數(shù)據(jù)網(wǎng)（以下簡稱數(shù)據(jù)網(wǎng)），是鐵路信息業(yè)務(wù)及通信系統(tǒng)數(shù)據(jù)通信業(yè)務(wù)共用的數(shù)據(jù)通信基礎(chǔ)網(wǎng)絡(luò)平臺。

數(shù)據(jù)網(wǎng)應(yīng)承載鐵路信息化發(fā)展總體規(guī)劃中的客貨運營銷、經(jīng)營管理和部分運輸組織的信息應(yīng)用系統(tǒng)（包括：旅客信息服務(wù)信息系統(tǒng)、辦公信息化、運輸生產(chǎn)及調(diào)度指揮信息系統(tǒng)、各類監(jiān)測系統(tǒng)等），以及通信系統(tǒng)數(shù)據(jù)通信業(yè)務(wù)（包括：鐵路綜合視頻監(jiān)控系統(tǒng)、GSM-R GPRS、會議電視系統(tǒng)、網(wǎng)管系統(tǒng)、SIM卡管理等系統(tǒng)）。

四、最后我們學(xué)員間還進行了工作交流

通過交流我們互相之間了解了各鐵路局數(shù)據(jù)網(wǎng)的使用情況，并通過交流我們互相學(xué)習(xí)數(shù)據(jù)網(wǎng)的維護，從而提高了我對數(shù)據(jù)網(wǎng)維護工作的技術(shù)水平。以便以后能夠更好的進行工作。

學(xué)習(xí)是可貴的，培訓(xùn)是精彩的。通過這次可貴而精彩的培訓(xùn)學(xué)習(xí)，我們向鐵路數(shù)據(jù)通信更進了一步。感嘆與憧憬之余，我想我們只有靠自己的聰明與才智、努力與勤奮去建設(shè)好鐵路，為我們的鐵路數(shù)據(jù)通信更好的發(fā)展貢獻自己微薄的力量。

太原通信段技術(shù)支持中心

武威

2013年12月13日

第二篇：大數(shù)據(jù)心得體會

大數(shù)據(jù)時代的信息分析平臺搭建安裝報告

一、平臺搭建

描述小組在完成平臺安裝時候遇到的問題以及如何解決這些問題的，要求截圖加文字描述。

問題一：在決定選擇網(wǎng)站綁定時，當(dāng)時未找到網(wǎng)站綁定的地方。解決辦法：之后小組討論后，最終找到網(wǎng)站綁定的地方，點擊后解決了這個問題。

問題二：當(dāng)時未找到TCP/IP屬性這一欄

解決辦法：當(dāng)時未找到TCP/IP屬性這一欄，通過老師的幫助和指導(dǎo)，順利的點擊找到了該屬性途徑，啟用了這一屬性，完成了這一步的安裝步驟。

問題三：在數(shù)據(jù)庫這一欄中，當(dāng)時未找到“foodmartsaleDW”這個文件

解決辦法：在數(shù)據(jù)庫這一欄中，當(dāng)時未找到“foodmartsaleDW”這個文件，后來詢問老師后，得知該文件在第三周的文件里，所以很快的找到了該文件，順利的進行了下一步

問題四：在此處的SQL server的導(dǎo)入和導(dǎo)出向?qū)?，這個過程非常的長。

解決辦法：在此處的SQL server的導(dǎo)入和導(dǎo)出向?qū)?，這個過程非常的長，當(dāng)時一直延遲到了下課的時間，小組成員經(jīng)討論，懷疑是否是電腦不兼容或其他問題，后來經(jīng)問老師，老師說此處的加載這樣長的時間是正常的，直到下課后，我們將電腦一直開著到寢室直到軟件安裝完為止。

問題五：問題二：.不知道維度等概念，不知道怎么設(shè)置表間關(guān)系的數(shù)據(jù)源。關(guān)系方向不對

解決辦法：百度維度概念，設(shè)置好維度表和事實表之間的關(guān)系，關(guān)系有時候是反的——點擊反向，最后成功得到設(shè)置好表間關(guān)系后的數(shù)據(jù)源視圖。（如圖所示）

這個大圖當(dāng)時完全不知道怎么做，后來問的老師，老師邊講邊幫我們操作完成的。

問題六：由于發(fā)生以下連接問題，無法將項目部署到“l(fā)ocalhost”服務(wù)器:無法建立連接。請確保該服務(wù)器正在運行。若要驗證或更新目標(biāo)服務(wù)器的名稱，請在解決方案資源管理器中右鍵單擊相應(yīng)的項目、選擇“項目屬性”、單擊“部署”選項卡，然后輸入服務(wù)器的名稱。”因為我在配置數(shù)據(jù)源的時候就無法識別“l(fā)ocalhost”，所以我就打開數(shù)據(jù)庫屬性頁面：圖1-圖2 圖一：

圖二：

解決辦法：解決辦法: 圖2步驟1：從圖1到圖2后，將目標(biāo)下的“服務(wù)器” 成自己的SQL SERVER服務(wù)器名稱行SQL ServerManagement Studio可以）步驟2：點確定后，選擇“處理”，就可以成功部署了。

問題七：無法登陸界面如圖：

解決方法：嘗試了其他用戶登陸，就好了

二、心得體會

（1）在幾周的學(xué)習(xí)中，通過老師課堂上耐心細致的講解，耐心的指導(dǎo)我們?nèi)绾我徊揭徊降陌惭b軟件，以及老師那些簡單清晰明了的課件，是我了解了SQL的基礎(chǔ)知識，學(xué)會了如何創(chuàng)建數(shù)據(jù)庫，以及一些基本的數(shù)據(jù)應(yīng)用。陌生到熟悉的過程，從中經(jīng)歷了也體會到了很多感受，面臨不同的知識組織，我們也遇到不同困難。

數(shù)據(jù)隱藏著有價值的模式和信息，在以往的時間才能提取這些信息。如今的各種資源，如硬件、云結(jié)構(gòu)和開源軟件使得大數(shù)據(jù)的處理方法更為方便和廉價。大數(shù)據(jù)的規(guī)模是傳統(tǒng)IT架構(gòu)所面臨的直接挑戰(zhàn)。要求可擴展的儲存和分布方式來完成查詢。傳統(tǒng)的關(guān)系數(shù)據(jù)庫無法處

理大數(shù)據(jù)的規(guī)模。大數(shù)據(jù)進修學(xué)習(xí)內(nèi)容模板：

LINUX安裝，文件系統(tǒng)，系統(tǒng)性能分析 HAdoop學(xué)習(xí)原理

大數(shù)據(jù)飛速發(fā)展時代，做一個合格的大數(shù)據(jù)開發(fā)工程師，只有不斷完善自己，不斷提高自己技術(shù)水平，這是一門神奇的課程。

2、在學(xué)習(xí)SQL的過程中，讓我們明白了原來自己的電腦可以成為一個數(shù)據(jù)庫，也可以做很多意想不到的事。以及在學(xué)習(xí)的過程中讓我的動手能力增強了，也讓我更加懂得了原來電腦的世界是如此的博大精深，如此的神秘。通過這次的學(xué)習(xí)鍛煉了我們的動手能力，上網(wǎng)查閱的能力。改善了我只會用電腦上網(wǎng)的尷尬處境，是電腦的用處更大。讓我們的小組更加的團結(jié)，每個人對自己的分工更加的明確，也鍛煉了我們的團結(jié)協(xié)作，互幫互助的能力。

3、如果再有機會進行平臺搭建，會比這一次的安裝更加順手。而在導(dǎo)入數(shù)據(jù)庫和報表等方面也可以避免再犯相同的錯誤，在安裝lls時可以做的更好。相信報表分析也會做的更加簡單明了有條理。

總結(jié)，大數(shù)據(jù)時代是信息化社會發(fā)展必然趨勢，在大學(xué)的最后一學(xué)期里學(xué)習(xí)了這門課程是我們受益匪淺。讓我們知道了大數(shù)據(jù)大量的存在于現(xiàn)代社會生活中，隨著新興技術(shù)的發(fā)展與互聯(lián)網(wǎng)底層技術(shù)的革新，數(shù)據(jù)正在呈指數(shù)級增長，所有數(shù)據(jù)的產(chǎn)生形式，都是數(shù)字化。如何收集、管理和分析海量數(shù)據(jù)對于企業(yè)從事的一切商業(yè)活動都顯得尤為重要。

大數(shù)據(jù)時代是信息化社會發(fā)展必然趨勢，我們只有緊緊跟隨時代的發(fā)展才能在以后的工作生活中中獲得更多的知識和經(jīng)驗。

三、結(jié)語

敘述小組內(nèi)每個組員在這次的項目里各自分工和完成情況，組長需給組員打分，10分為滿分

第三篇：大數(shù)據(jù)心得體會

大數(shù)據(jù)心得體會

早在2007年，人類制造的信息量有史以來第一次在理論上超過可用存儲空間總量，近幾年兩者的剪刀差越來越大。2010年，全球數(shù)字規(guī)模首次達到了“ZB”（1ZB＝1024TB）級別。2012年，淘寶網(wǎng)每天在線商品數(shù)超過8億件。2013年底，中國手機網(wǎng)民超過6億戶。隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、傳感器、物聯(lián)網(wǎng)、社交網(wǎng)站、云計算等的興起，我們這個社會的幾乎所有方面都已數(shù)字化，產(chǎn)生了大量新型、實時的數(shù)據(jù)。無疑，我們已身處在大數(shù)據(jù)的海洋。

有兩個重要的趨勢使得目前的這個時代（大數(shù)據(jù)時代）與之前有顯著的差別：其一，社會生活的廣泛數(shù)字化，其產(chǎn)生數(shù)據(jù)的規(guī)模、復(fù)雜性及速度都已遠遠超過此前的任何時代；其二，人類的數(shù)據(jù)分析技術(shù)和工藝使得各機構(gòu)、組織和企業(yè)能夠以從前無法達到的復(fù)雜度、速度和精準(zhǔn)度從龐雜的數(shù)據(jù)中獲得史無前例的洞察力和預(yù)見性。

大數(shù)據(jù)是技術(shù)進步的產(chǎn)物，而其中的關(guān)鍵是云技術(shù)的進步。在云技術(shù)中，虛擬化技術(shù)乃最基本、最核心的組成部份。計算虛擬化、存儲虛擬化和網(wǎng)絡(luò)虛擬化技術(shù)，使得大數(shù)據(jù)在數(shù)據(jù)存儲、挖掘、分析和應(yīng)用分享等方面不僅在技術(shù)上可行，在經(jīng)濟上也可接受。

在人類文明史上，人類一直執(zhí)著探索我們處的世界以及人類自身，一直試圖測量、計量這個世界以及人類自身，試圖找到隱藏其中的深刻關(guān)聯(lián)、運行規(guī)律及終極答案。大數(shù)據(jù)以其人類史上從未有過的龐大容量、極大的復(fù)雜性、快速的生產(chǎn)及經(jīng)濟可得性，使人類第一次試圖從總體而非樣本，從混雜性而非精確性，從相關(guān)關(guān)系而非因果關(guān)系來測量、計量我們這個世界。人類的思維方式、行為方式及社會生活的諸多形態(tài)（當(dāng)然包括商業(yè)活動）正在開始發(fā)生新的變化。或許是一場革命性、顛覆性的變化。從這個意義上講，大數(shù)據(jù)不僅是一場技術(shù)運動，更是一次哲學(xué)創(chuàng)新。1 大數(shù)據(jù)的概述

1.1 大數(shù)據(jù)的概念

大數(shù)據(jù)（Big Data）是指那些超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉(zhuǎn)輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取大數(shù)據(jù)中的價值，我們必須選擇另一種方式來處理它。

數(shù)據(jù)中隱藏著有價值的模式和信息，在以往需要相當(dāng)?shù)臅r間和成本才能提取這些信息。如沃爾瑪或谷歌這類領(lǐng)先企業(yè)都要付高昂的代價才能從大數(shù)據(jù)中挖掘信息。而當(dāng)今的各種資源，如硬件、云架構(gòu)和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價格租用云服務(wù)時間了。

對于企業(yè)組織來講，大數(shù)據(jù)的價值體現(xiàn)在兩個方面：分析使用和二次開發(fā)。對大數(shù)據(jù)進行分析能揭示隱藏其中的信息，例如零售業(yè)中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數(shù)據(jù)的二次開發(fā)則是那些成功的網(wǎng)絡(luò)公司的長項。例如Facebook通過結(jié)合大量用戶信息，定制出高度個性化的用戶體驗，并創(chuàng)造出一種新的廣告模式。這種通過大數(shù)據(jù)創(chuàng)造出新產(chǎn)品和服務(wù)的商業(yè)行為并非巧合，谷歌、雅虎、亞馬遜和Facebook，它們都是大數(shù)據(jù)時代的創(chuàng)新者。

1.2 大數(shù)據(jù)的三層關(guān)系

第一層關(guān)系：數(shù)據(jù)與機器的關(guān)系。大數(shù)據(jù)紀元剛開始，產(chǎn)業(yè)界碰到的第一個核心問題就是“大”的問題。做了幾十年的數(shù)據(jù)倉庫甚至海量并行處理的數(shù)據(jù)庫都不能處理那么大的數(shù)據(jù)，怎么辦？需要范式切換。主要有三個方面，新型的數(shù)據(jù)與機器關(guān)系當(dāng)中的第一條就是重新考慮架構(gòu)與算法，重新考慮舍得，有舍才能得，天下沒有免費的午餐，所以必須要舍棄一些，得到一些新的。必須舍棄貴族化的高端小型機和UNIX服務(wù)器，得到平民化的更大量的X86服務(wù)器。通過這樣一種可橫向、可水平擴展服務(wù)器處理每兩年翻番的數(shù)據(jù)量的挑戰(zhàn)。第二個舍得是舍棄硬件的可靠性和可用性，得到軟件的可靠性和可用性。這也就是谷歌三大論文以及Hadoop的核心重點。第三個舍得是舍棄傳統(tǒng)數(shù)據(jù)庫的強一致性，獲得更放松一致性、可擴展架構(gòu)，如NoSQL。第四個舍得是傳統(tǒng)算法強調(diào)非常嚴格的精確性，現(xiàn)在要放棄一些精確性，通過近似、采樣這種方式來獲得更好的擴展性。

最早大數(shù)據(jù)的處理范式是Mapreduce的批量處理，英特爾慢慢有其他的需求，實時的流處理、多迭代的處理、圖計算、即時查詢等等新的范式百花齊放，最后萬法歸宗。剛才王斌老師將講的SAP的HANA本身就是數(shù)據(jù)管理和分析的融合，現(xiàn)在非常流行的Hadoop之后的SPARK，就是把前面的各種范式進行了融合。存儲與內(nèi)存的消長，大數(shù)據(jù)第一個要解決把數(shù)據(jù)存儲下來，后來發(fā)現(xiàn)要把它放到大的內(nèi)存里進行處理，獲得實時性，接著在存儲和內(nèi)存之間現(xiàn)在又出現(xiàn)了閃存，有閃存化甚至全閃存的存儲，也有閃存化的內(nèi)存，把所有的計算在閃存里面處理，已經(jīng)被微軟、Facebook等等大量使用。大家可以預(yù)期，兩年以后出現(xiàn)新的非易失性的閃存，它的速度可能要比閃存快幾百倍，和內(nèi)存相似，這又會極大地顛覆數(shù)據(jù)與機器的關(guān)系。

第二層關(guān)系：數(shù)據(jù)與人的關(guān)系。主要是價值的覺醒，如果數(shù)據(jù)不能產(chǎn)生價值它可能是負面資產(chǎn)。數(shù)據(jù)怎么能夠給人帶來價值？我們介紹一下它的價值維度，把它映射到二維的時空象限里，用六個關(guān)鍵詞來描述它。第一是“Volume”，兩個關(guān)鍵詞，小數(shù)據(jù)見微對個人進行刻劃，大數(shù)據(jù)知著能夠了解宏觀規(guī)律，它是空間概念，同時也是時間概念，數(shù)據(jù)剛剛產(chǎn)生的時候，它的個性化價值、見微的價值最大，而隨著時間的推移，它漸漸退化到只有集合價值。第二是Velocity，時間軸的原點是當(dāng)下實時價值，副軸是過往，正軸是預(yù)測未來，如果知道知前后就能夠做到萬物的皆明。第三是Variety，多源異質(zhì)的數(shù)據(jù)，能夠過濾噪聲、查漏補缺、去偽存真，就是辯訛。還有曉意，能夠從大量的非結(jié)構(gòu)化數(shù)據(jù)中獲得語意，從而能夠使機器窺探人的思維境界，這六個價值維度怎么去實現(xiàn)？主要是兩部分人，一是數(shù)據(jù)科學(xué)家要洞察數(shù)據(jù)，另外一個是終端用戶和領(lǐng)域?qū)＜乙ソ庾x數(shù)據(jù)并利用數(shù)據(jù)。首先看洞察數(shù)據(jù)，數(shù)據(jù)科學(xué)，人和機器作用發(fā)生了消長，講個例子，機器學(xué)習(xí)大家覺得是機器的問題，其實人在里面起到很重要的作用，尤其是機器學(xué)習(xí)是模型加特征，而特征工程是一個人力工程，你要有經(jīng)驗非常豐富的特征團隊去死磕特征，找出更好、更多的特征，才能夠使機器學(xué)習(xí)的效果更好。但是現(xiàn)在深度學(xué)習(xí)這些新技術(shù)出來，能夠用機器學(xué)習(xí)特征，能夠在大量非結(jié)構(gòu)化數(shù)據(jù)中找到豐富的信息維度用特征表達出來，這遠遠超出了人的能力。大家知道黑客帝國描述了一個場景，人腦袋后面插一個插頭，給機器提供營養(yǎng)，我可能不會那么悲觀，但是像這樣的互動關(guān)系以一種更良性的方式出現(xiàn)了，現(xiàn)在人的一言一行、社交行為、金融行為都已經(jīng)成為機器的養(yǎng)料、機器的數(shù)據(jù)，使得機器獲得更好的洞察。

終端用戶需要更好地、更傻瓜化的分析工具和可視化工具，兩年前我去參加大數(shù)據(jù)的會，基本上都是Hadoop和NoSQL現(xiàn)在大家參加大數(shù)據(jù)會可以看到清一色的分析工具和可視化工具。大數(shù)據(jù)跟各行各業(yè)的化學(xué)作用正在發(fā)生。如果馬化騰說“互聯(lián)網(wǎng)+”是互聯(lián)網(wǎng)與各行各業(yè)的加法效應(yīng)，那么大數(shù)據(jù)將與各行各業(yè)產(chǎn)生乘法效應(yīng)。

第三個關(guān)系，數(shù)據(jù)與數(shù)據(jù)的關(guān)系?，F(xiàn)在只有海面平的數(shù)據(jù)是搜索引擎可以檢索到，深海的數(shù)據(jù)可能是黑暗的數(shù)據(jù)，在政府、在企業(yè)里大家看不到。我們怎么辦呢？必須讓數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)。只有讓數(shù)據(jù)能夠發(fā)現(xiàn)數(shù)據(jù)、遇到數(shù)據(jù)，才能產(chǎn)生金風(fēng)玉露一相逢、便勝卻人間無數(shù)的效果。這里有三個重要的觀念，需要法律、技術(shù)、經(jīng)濟理論和實踐上配合。法律上要明確數(shù)據(jù)的權(quán)利，數(shù)據(jù)所有權(quán)，數(shù)據(jù)的隱私權(quán)，什么數(shù)據(jù)不能給你看；數(shù)據(jù)的許可權(quán)，什么數(shù)據(jù)是可以給你看的；數(shù)據(jù)的審計權(quán)，我給你看了以后，你是不是按照許可的范圍去看；數(shù)據(jù)的分紅權(quán)。數(shù)據(jù)像原油又不同于原油，原油用完了就沒有了，數(shù)據(jù)可以反復(fù)地產(chǎn)生價值，因此數(shù)據(jù)的擁有者應(yīng)該得到分紅。我們要保證數(shù)據(jù)的開放、共享、交易。公共數(shù)據(jù)和部分科研數(shù)據(jù)要開放，開放過程中注意保護隱私。企業(yè)之間可以進行數(shù)據(jù)的點對點共享，最高境界是不丟失數(shù)據(jù)的所有權(quán)和隱私權(quán)的前提下共享，這里有多方安全計算的概念。1982年姚期智老先生提出了百萬富翁的窘境的問題，兩個百萬富翁他們想要比誰更富，但是誰都不愿意說出來自己都多少錢，在我們的數(shù)據(jù)共享當(dāng)中要通過各種各樣的技術(shù)達到這樣的效果。還有數(shù)據(jù)交易，建立多邊多邊平臺來支持數(shù)據(jù)交易。

互聯(lián)網(wǎng)能發(fā)展起來經(jīng)濟學(xué)理論和實踐是很重要的支撐，梅特卡夫定律決定了一個互聯(lián)網(wǎng)公司的價值，跟它用戶數(shù)的平方成正比，又比如說谷歌請最好的經(jīng)濟學(xué)家，它的一個廣告業(yè)務(wù)的核心就是建立在一個非常先進的拍賣經(jīng)濟學(xué)的模型基礎(chǔ)上。數(shù)據(jù)經(jīng)濟也需要這樣一些基礎(chǔ)的理論，比如數(shù)據(jù)定價和信息定價不一樣，信息做一個咨詢報告5000美金賣給你，可以賣給所有人。但數(shù)據(jù)對不同的單位價值不一樣，可能我之毒藥是彼之蜜糖。另外估值，一個企業(yè)擁有大量的數(shù)據(jù)，是無形資產(chǎn)的一部分，對于企業(yè)的市場價值帶來了多大的增長。

1.3 大數(shù)據(jù)的四個特性

大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。這也是一個描述性的定義，在對數(shù)據(jù)描述的基礎(chǔ)上加入了處理此類數(shù)據(jù)的一些特征，用這些特征來描述大數(shù)據(jù)。當(dāng)前，較為統(tǒng)一的認識是大數(shù)據(jù)有四個基本特征: 數(shù)據(jù)規(guī)模大(Volume)，數(shù)據(jù)種類多(Variety)，數(shù)據(jù)要求處理速度快(Velocity)，數(shù)據(jù)價值密度低(Value)，即所謂的四V 特性。

數(shù)據(jù)規(guī)模大(Volume)：企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長。例如，IDC最近的報告預(yù)測稱，到2020年，全球數(shù)據(jù)量將擴大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個不斷變化的指標(biāo)，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡而言之，存儲1PB數(shù)據(jù)將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。

數(shù)據(jù)種類多(Variety)：一個普遍觀點認為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因，這一看法部分正確。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數(shù)據(jù)的多樣性。

處理速度快(Velocity)：高速描述的是數(shù)據(jù)被創(chuàng)建和移動的速度。在高速網(wǎng)絡(luò)時代，通過基于實現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實時數(shù)據(jù)流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據(jù)IMS Research關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查，據(jù)預(yù)測，到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設(shè)備。

數(shù)據(jù)價值密度低(Value)：大數(shù)據(jù)具有多層結(jié)構(gòu)，這意味著大數(shù)據(jù)會呈現(xiàn)出多變的形式和類型。相較傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統(tǒng)的應(yīng)用軟件進行分析。傳統(tǒng)業(yè)務(wù)數(shù)據(jù)隨時間演變已擁有標(biāo)準(zhǔn)的格式，能夠被標(biāo)準(zhǔn)的商務(wù)智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復(fù)雜數(shù)據(jù)中挖掘價值。

1.4 大數(shù)據(jù)的三個特征

除了有四個特性之外，大數(shù)據(jù)時代的數(shù)據(jù)還呈現(xiàn)出其他三個特征。

第一個特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求.第二個特征是數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。

第三個特征是處理速度快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。大數(shù)據(jù)的技術(shù)與處理

2.1 大數(shù)據(jù)的技術(shù)

1.數(shù)據(jù)采集：ETL工具負責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

2.數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫、NOSQL、SQL等。

3.基礎(chǔ)架構(gòu)：云存儲、分布式文件存儲等。

4.數(shù)據(jù)處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學(xué)科。處理自然語言的關(guān)鍵是要讓計算機“理解”自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也

稱

為

計

算

語

言

學(xué)(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。

5.統(tǒng)計分析：假設(shè)檢驗、顯著性檢驗、差異分析、相關(guān)分析、T檢驗、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應(yīng)分析、多元對應(yīng)分析（最優(yōu)尺度分析）、bootstrap技術(shù)等等。

6.數(shù)據(jù)挖掘：分類（Classification）、估計（Estimation）、預(yù)測（Prediction）、相

關(guān)

性

分

組

或

關(guān)

聯(lián)

規(guī)

則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復(fù)雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)。

7.模型預(yù)測：預(yù)測模型、機器學(xué)習(xí)、建模仿真。

8.結(jié)果呈現(xiàn)：云計算、標(biāo)簽云、關(guān)系圖等。

2.2 大數(shù)據(jù)的處理

1.采集 大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。

在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進行負載均衡和分片的確是需要深入的思考和設(shè)計。

2.導(dǎo)入/預(yù)處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。也有一些用戶會在導(dǎo)入時使用來自Twitter的Storm來對數(shù)據(jù)進行流式計算，來滿足部分業(yè)務(wù)的實時計算需求。導(dǎo)入與預(yù)處理過程的特點和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會達到百兆，甚至千兆級別。

3.統(tǒng)計/分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

4.挖掘

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

整個大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個方面的步驟，才能算得上是一個比較完整的大數(shù)據(jù)處理。大數(shù)據(jù)的應(yīng)用

正如諸多文獻所談到的，大數(shù)據(jù)對許多行業(yè)的影響和沖擊已經(jīng)呈現(xiàn)。例如，商零售、物流、醫(yī)藥、文化產(chǎn)業(yè)等。金融，作為現(xiàn)代經(jīng)濟中樞，其實也已透出了大數(shù)據(jù)金融的曙光。

過去的2013年，中國金融界熱議最多的或許是互聯(lián)網(wǎng)金融，更有人指出2013年是中國互聯(lián)網(wǎng)金融元年。確實，第三方支付、P2P、網(wǎng)貸、眾籌融資、余額寶、微信支付等發(fā)展迅速。眾多傳統(tǒng)金融業(yè)者也或推出自己的電商平臺，或與互聯(lián)網(wǎng)企業(yè)聯(lián)手提供相應(yīng)的金融產(chǎn)品和服務(wù)。

互聯(lián)網(wǎng)金融，無論是業(yè)界、監(jiān)管者或理論界，都在試圖給出自己的理解和定義。但到目前為止，尚未有一個統(tǒng)一的、規(guī)范的概念。在我看來，互聯(lián)網(wǎng)金融本來就是一個不確切的概念，也不可能有一個明確的定義。嚴格說來，所謂互聯(lián)網(wǎng)金融只是大數(shù)據(jù)金融的一種展現(xiàn)或形態(tài)。換言之，前者是表，后者是里。

這是因為，無論是互聯(lián)網(wǎng)還是金融業(yè)，其實質(zhì)都是大數(shù)據(jù)（信息）。首先，對互聯(lián)網(wǎng)企業(yè)而言，流量、客戶等數(shù)據(jù)（信息）是其涉足金融業(yè)的基石。對金融企業(yè)而言，提供中介服務(wù)，撮合金融交易也是以數(shù)據(jù)（信息）為基礎(chǔ)。其次，沒有大數(shù)據(jù)技術(shù)的支撐，所謂互聯(lián)網(wǎng)金融也難以快速、持續(xù)成長。20世紀90年代互聯(lián)網(wǎng)浪潮的蓬勃興起，至今已近二十年。但從世界范圍看，所謂互聯(lián)網(wǎng)金融卻發(fā)展緩慢。當(dāng)然，其中原因很多，但其主要原因則是大數(shù)據(jù)技術(shù)是近幾年才快速發(fā)展起來的。最后，從金融企業(yè)來看，在數(shù)據(jù)中心建設(shè)，軟硬件系統(tǒng)建設(shè)，數(shù)據(jù)（信息）挖掘、分析等方面也是做得有聲有色，其龐大的客戶數(shù)據(jù)、海量交易記錄及眾多信息源，使其在大數(shù)據(jù)應(yīng)用方面也做了許多積極探索。因此，要準(zhǔn)確反映近年新金融趨勢，“大數(shù)據(jù)金融”比“互聯(lián)網(wǎng)金融”更為貼切。大數(shù)據(jù)應(yīng)用中的三大難題 近年來，大數(shù)據(jù)這個詞成為互聯(lián)網(wǎng)領(lǐng)域關(guān)注度最高的詞匯，時至今日，大數(shù)據(jù)已經(jīng)不再是IT圈的“專利”了，從去年的春晚，到剛剛過去的兩會，都能見到它的身影，但實際上春晚與兩會的數(shù)據(jù)都只能叫做小數(shù)據(jù)，它與真正的大數(shù)據(jù)還相差甚遠。即便如此，數(shù)據(jù)所產(chǎn)生的價值已經(jīng)被人們所認知。

就大數(shù)據(jù)來說，它的發(fā)展可以分成三個階段，第一個階段是組織內(nèi)部的數(shù)據(jù)，這些數(shù)據(jù)通常都是結(jié)構(gòu)化的數(shù)據(jù)，我們一般將這些數(shù)據(jù)進行分類、排序等操作，將相同類型的數(shù)據(jù)進行對比、分析、挖掘，總而言之基本上都是統(tǒng)計工作。到了第二階段，數(shù)據(jù)的范圍擴大到行業(yè)內(nèi)，各種各樣的應(yīng)用數(shù)據(jù)出現(xiàn)，數(shù)據(jù)量大規(guī)模增長，尤其是非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)。典型的像視頻、圖片這一類的數(shù)據(jù)，在這一階段的特點就是非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)并存，且數(shù)據(jù)量巨大，要對這些數(shù)據(jù)進行分析是我們目前現(xiàn)階段所處在的狀態(tài)。

第三階段則是未來大數(shù)據(jù)發(fā)展的理想化狀態(tài)，首先它一定是跨行業(yè)的，且數(shù)據(jù)的范圍是整個社會。通過對這些數(shù)據(jù)進行分析加以使用，將直接改變我們的生活方式，這也是現(xiàn)在很多企業(yè)所設(shè)想的未來交通、醫(yī)療、教育等領(lǐng)域的發(fā)展方向。

1.大數(shù)據(jù)太大不敢用

第三個階段是我們所憧憬的，但在我們所處的第二階段面對的更多是問題。其中的一個問題就是“大”。大數(shù)據(jù)給人最直觀的感受就是大，它所帶來的問題不僅僅是存儲，更多的是龐大的數(shù)據(jù)沒辦法使用，以交通為例，從2001年開始在北京的主干道上都增設(shè)了一些卡口設(shè)備，到了今天基本上大街小巷都能看到。這些設(shè)備每天所拍攝的視頻及照片產(chǎn)生的數(shù)據(jù)量是驚人的，僅照片每天就能產(chǎn)生2千萬張，而解決這些數(shù)據(jù)的存儲只是最基本的任務(wù)，我們更需要的是使用這些數(shù)據(jù)。例如對套牌車輛的檢查，對嫌疑車輛的監(jiān)控，當(dāng)你想要使用這些數(shù)據(jù)的時候，傳統(tǒng)的數(shù)據(jù)庫以及系統(tǒng)架構(gòu)，放進這么龐大的數(shù)據(jù)，是根本跑不動的。這一問題導(dǎo)致很多企業(yè)對大數(shù)據(jù)望而卻步。

2.大數(shù)據(jù)太難不會用

說到大數(shù)據(jù)的使用，自然離不開Hadoop，Hadoop本身提供了分布式系統(tǒng)中兩個最重要的東西：分布式存儲（HDFS）和分布式計算（Mapreduce）。這兩者解決了處理大數(shù)據(jù)面臨的計算和存儲問題，但更為重要的是，為開發(fā)大數(shù)據(jù)應(yīng)用開辟了道路。Hadoop是目前解決大數(shù)據(jù)問題最流行的一種方式，但其仍然有不成熟的地方，曾作為雅虎云計算以及Facebook軟件工程師的Jonathan Gray就表示：“Hadoop實施難度大，且復(fù)雜，如果不解決技術(shù)復(fù)雜性問題，Hadoop將被自己終結(jié)?！闭怯捎谶@樣的原因，Gray創(chuàng)辦了自己的公司——Continuuity，這家公司的目標(biāo)就是在Hadoop和Hbase基礎(chǔ)上創(chuàng)建一個抽象層，屏蔽掉Hadoop底層技術(shù)的復(fù)雜性。由此可見想要用好大數(shù)據(jù)又是一大考驗。

3.大數(shù)據(jù)太貴用不起

Hadoop的特點就是讓你可以使用廉價的x86設(shè)備來完成大數(shù)據(jù)的業(yè)務(wù)，但事實上如果你真想要用它來完成某些商業(yè)任務(wù)你還得是個“土豪”。在國外那些使用大數(shù)據(jù)的成功案例里，亞馬遜曾給出過這樣一組數(shù)字，NASA需要為45天的數(shù)據(jù)存儲服務(wù)支付超過100萬美元。像Quant___cast這樣的數(shù)字廣告公司，同樣也是花費了巨額的資金用在Hadoop技術(shù)上，來根據(jù)自己的需求定制系統(tǒng)。從上面兩個案例來看用于商業(yè)用途的大數(shù)據(jù)現(xiàn)階段還是很費錢的，隨著大數(shù)據(jù)軟件環(huán)境逐漸成熟，開發(fā)工具增多，價格在未來會逐漸降低。

從上面羅列的這三點困難，其實并不是要給大數(shù)據(jù)潑冷水，而是想說大數(shù)據(jù)想要淘金并不簡單，首先在做大數(shù)據(jù)之前，好好盤點一下自己擁有的資源，不僅僅是數(shù)據(jù)資源，還包括知識與技能。確定了自己的能力之后，選擇一個能夠發(fā)揮你現(xiàn)有資源最大價值的項目。如果你需要幫手，應(yīng)先考慮商業(yè)顧問，再考慮技術(shù)人才。為了解答一個生意上的困惑花下的錢，叫作投資，而把錢投到一個擁有特殊技能的IT人才身上，那就叫沉沒成本。當(dāng)你有了這些之后，選擇更靈活且可擴展的工具，為以后的擴充打好基礎(chǔ)。更重要的是——從小規(guī)模做起。大數(shù)據(jù)創(chuàng)新的驅(qū)動力

計算機科學(xué)與技術(shù)的發(fā)展使得大規(guī)模信息處理基礎(chǔ)設(shè)施產(chǎn)生重要改變。在過去的30年中，經(jīng)典的數(shù)據(jù)庫管理系統(tǒng)（DBMS）在處理大規(guī)模數(shù)據(jù)方面與時俱進，在企業(yè)數(shù)據(jù)處理等方面得到廣泛應(yīng)用。數(shù)據(jù)庫研究和技術(shù)進展主要集中在數(shù)據(jù)建模、描述性查詢語言、事務(wù)處理和數(shù)據(jù)庫可靠性等。在這個過程中，相關(guān)的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘分析技術(shù)也成為一個熱點研究方向；人們認識到數(shù)據(jù)處理過程中的信息可以被有效整理和分析來支持以數(shù)據(jù)為中心的決策支持。數(shù)據(jù)庫管理系統(tǒng)在目前的互聯(lián)網(wǎng)時代繼續(xù)占據(jù)了重要地位。在一個典型的互聯(lián)網(wǎng)服務(wù)系統(tǒng)架構(gòu)中，數(shù)據(jù)庫管理系統(tǒng)和Web服務(wù)器及應(yīng)用服務(wù)共同作用，為互聯(lián)網(wǎng)用戶提供各類信息和服務(wù)。在這個系統(tǒng)架構(gòu)中，人們期望系統(tǒng)能支持無限次和高速的互聯(lián)網(wǎng)用戶訪問，這個時候數(shù)據(jù)庫層由于在硬件可擴展性上面的不足可能成為系統(tǒng)性能瓶頸。這個挑戰(zhàn)我們稱為大數(shù)據(jù)問題（big data problem）。大數(shù)據(jù)系統(tǒng)期望能對大規(guī)模異構(gòu)復(fù)雜數(shù)據(jù)建模，進行實時分析；傳統(tǒng)的商用數(shù)據(jù)庫系統(tǒng)很難提供良好的解決方案。另一個大數(shù)據(jù)相關(guān)的挑戰(zhàn)是服務(wù)器端數(shù)據(jù)中心的數(shù)據(jù)維護及安全隱私問題。近年來云計算技術(shù)已經(jīng)成為大數(shù)據(jù)中心的一種可靠解決方案，Google, Yahoo and Microsoft等公司也紛紛開發(fā)自己的云計算系統(tǒng)。盡管云計算在互聯(lián)網(wǎng)應(yīng)用中已經(jīng)體現(xiàn)出很多優(yōu)越性，其在系統(tǒng)成熟性、可用性等方面還有很大提高空間。

顯而易見，大數(shù)據(jù)領(lǐng)域的大規(guī)模數(shù)據(jù)管理和復(fù)雜數(shù)據(jù)分析已經(jīng)成為新的研究前沿。目前的各類大數(shù)據(jù)應(yīng)用正是大數(shù)據(jù)研究的驅(qū)動力，比如社會網(wǎng)絡(luò)、移動計算、科學(xué)應(yīng)用等等。這些應(yīng)用產(chǎn)生的大數(shù)據(jù)往往具有海量、時序動態(tài)性、多樣等特性，給數(shù)據(jù)庫領(lǐng)域的各項技術(shù)帶來巨大挑戰(zhàn)，涵蓋包括數(shù)據(jù)獲取、組織管理、分析處理和應(yīng)用呈現(xiàn)等整個數(shù)據(jù)管理生命周期。針對數(shù)據(jù)管理和分析不同系統(tǒng)應(yīng)用，各類大數(shù)據(jù)處理技術(shù)在也不斷發(fā)展。MapReduce作為一種分布式的數(shù)據(jù)處理框架由于其靈活性、可擴展性、高效和容錯等特性其近年來得到了廣泛應(yīng)用。此外，也有多類其他分布式數(shù)據(jù)處理系統(tǒng)用來解決MapReduce不擅長的問題，比如交互式分析、圖計算和分析、實時和流處理、通用數(shù)據(jù)處理等等。大數(shù)據(jù)不但給數(shù)據(jù)庫研究領(lǐng)域，同時也給體系結(jié)構(gòu)、存儲系統(tǒng)、系統(tǒng)軟件和軟件工程等計算機多個學(xué)科帶來了很多機會和挑戰(zhàn)。大數(shù)據(jù)正是目前很多計算機科學(xué)問題的根本，并驅(qū)動眾多新科技的發(fā)展。大數(shù)據(jù)的發(fā)展前景

大數(shù)據(jù)的概念來源于、發(fā)展于美國，并向全球擴展，必將給我國未來的科技與經(jīng)濟發(fā)展帶來深遠影響。根據(jù)IDC 統(tǒng)計，目前數(shù)據(jù)量在全球比例為: 美國32%、西歐19%、中國13%，預(yù)計到2020 年中國將產(chǎn)生全球21% 的數(shù)據(jù)，我國是僅次于美國的數(shù)據(jù)大國，而我國大數(shù)據(jù)方面的研究尚處在起步階段，如何開發(fā)、利用保護好大數(shù)據(jù)這一重要的戰(zhàn)略資源，是我國當(dāng)前亟待解決的問題。

而大數(shù)據(jù)未來的發(fā)展趨勢則從以下幾個方面進行：

（1）開放源代碼

大數(shù)據(jù)獲得動力，關(guān)鍵在于開放源代碼，幫助分解和分析數(shù)據(jù)。Hadoop 和NoSQL 數(shù)據(jù)庫便是其中的贏家，他們讓其他技術(shù)商望而卻步、處境很被動。畢竟，我們需要清楚怎樣創(chuàng)建一個平臺，既能解開所有的數(shù)據(jù)，克服數(shù)據(jù)相互獨立的障礙，又能將數(shù)據(jù)重新上鎖。

（2）市場細分

當(dāng)今，許多通用的大數(shù)據(jù)分析平臺已投入市場，人們同時期望更多平臺的出現(xiàn)，可以運用在特殊領(lǐng)域，如藥物創(chuàng)新、客戶關(guān)系管理、應(yīng)用性能的監(jiān)控和使用。若市場逐步成熟，在通用分析平臺之上，開發(fā)特定的垂直應(yīng)用將會實現(xiàn)。但現(xiàn)在的技術(shù)有限，除非考慮利用潛在的數(shù)據(jù)庫技術(shù)作為通用平臺(如Hadoop、NoSQL)。人們期望更多特定的垂直應(yīng)用出現(xiàn)，把目標(biāo)定為特定領(lǐng)域的數(shù)據(jù)分析，這些特定領(lǐng)域包括航運業(yè)、銷售業(yè)、網(wǎng)上購物、社交媒體用戶的情緒分析等。同時，其他公司正在研發(fā)小規(guī)模分析引擎的軟件套件。比如，社交媒體管理工具，這些工具以數(shù)據(jù)分析做為基礎(chǔ)。

（3）預(yù)測分析

建模、機器學(xué)習(xí)、統(tǒng)計分析和大數(shù)據(jù)經(jīng)常被聯(lián)系起來，用以預(yù)測即將發(fā)生的事情和行為。有些事情是很容易被預(yù)測的，比如壞天氣可以影響選民的投票率，但是有些卻很難被準(zhǔn)確預(yù)測。例如，中間選民改變投票決定的決定性因素。但是，當(dāng)數(shù)據(jù)累加時，我們基本上有能力可以大規(guī)模嘗試一個連續(xù)的基礎(chǔ)。網(wǎng)上零售商重新設(shè)計購物車，來探索何種設(shè)計方式能使銷售利潤最大化。根據(jù)病人的飲食、家族史和每天的運動量，醫(yī)生有能力預(yù)測未來疾病的風(fēng)險。當(dāng)然，在人類歷史的開端，我們就已經(jīng)有各種預(yù)測。但是，在過去，許多預(yù)測都是基于直覺，沒有依靠完整的數(shù)據(jù)集，或者單單靠的是常識。當(dāng)然，即便有大量數(shù)據(jù)支撐你的預(yù)測，也不表明那些預(yù)測都是準(zhǔn)確的。2007 年和2008 年，許多對沖基金經(jīng)理和華爾街買賣商分析市場數(shù)據(jù)，認為房地產(chǎn)泡沫將不會破滅。根據(jù)歷史的數(shù)據(jù)，可以預(yù)測出房地產(chǎn)泡沫即將破裂，但是許多分析家堅持原有的觀點。另一方面，預(yù)測分析在許多領(lǐng)域流行起來，例如欺詐發(fā)現(xiàn)(比如在外省使用信用卡時會接到的詐騙電話)，保險公司和顧客維系的風(fēng)險管理。7 結(jié)語

大數(shù)據(jù)正在以不可阻攔的磅礴氣勢，與當(dāng)代同樣具有革命意義的最新科技進步(如納米技術(shù)、生物工程、全球化等)一起，揭開人類新世紀的序幕?？梢院唵蔚卣f，以往人類社會基本處于蒙昧狀態(tài)中的不發(fā)展階段，即自然發(fā)展階段。現(xiàn)在，這一不發(fā)展階段隨著2012年的所謂“世界末日”之說而永遠成為了過去。大數(shù)據(jù)宣告了21世紀是人類自主發(fā)展的時代，是不以所謂“上帝”的意志為轉(zhuǎn)移的時代，是“上帝”失業(yè)的時代。

對于地球上每一個普通居民而言，大數(shù)據(jù)有什么應(yīng)用價值呢?只要看看周圍正在變化的一切，你就可以知道，大數(shù)據(jù)對每個人的重要性不亞于人類初期對火的使用。大數(shù)據(jù)讓人類對一切事物的認識回歸本源;大數(shù)據(jù)通過影響經(jīng)濟生活、政治博弈、社會管理、文化教育科研、醫(yī)療保健休閑等等行業(yè)，與每個人產(chǎn)生密切的聯(lián)系。

大數(shù)據(jù)技術(shù)離你我都并不遙遠，它已經(jīng)來到我們身邊，滲透進入我們每個人的日常生活消費之中，時時刻刻，事事處處，我們無法逃遁，因為它無微不至：它提供了光怪陸離的全媒體，難以琢磨的云計算，無法抵御的仿真環(huán)境。大數(shù)據(jù)依仗于無處不在的傳感器，比如手機、發(fā)帶，甚至是能夠收集司機身體數(shù)據(jù)的汽車，或是能夠監(jiān)控老人下床和行走速度與壓力的“魔毯”(由GE與Intel聯(lián)合開發(fā))，洞察了一切。通過大數(shù)據(jù)技術(shù)，人們能夠在醫(yī)院之外得悉自己的健康情況;而通過收集普通家庭的能耗數(shù)據(jù)，大數(shù)據(jù)技術(shù)給出人們切實可用的節(jié)能提醒;通過對城市交通的數(shù)據(jù)收集處理，大數(shù)據(jù)技術(shù)能夠?qū)崿F(xiàn)城市交通的優(yōu)化。隨著科學(xué)技術(shù)的發(fā)展，人類必將實現(xiàn)數(shù)千年的機器人夢想。早在古希臘、古羅馬的神話中就有冶煉之神用黃金制造機械仆人的故事?！墩摵狻分幸灿涊d有魯班曾為其母巧公制作一臺木馬車，“機關(guān)具備，一驅(qū)不還”。而到現(xiàn)代，人類對于機器人的向往，從機器人頻繁出現(xiàn)在科幻小說和電影中已不難看出。公元2035年，智能型機器人已被人類廣泛利用，送快遞、遛狗、打掃衛(wèi)生……這是電影《我，機器人》里描繪的場景。事實上，今天人們已經(jīng)享受到了部分家用智能機器人給生活帶來的便利。比如，智能吸塵器以及廣泛應(yīng)用于汽車工業(yè)領(lǐng)域的機器手等等。有意思的是，2010年松下公司專門為老年人開發(fā)了“洗發(fā)機器人”，它可以自動完成從涂抹洗發(fā)水、按摩到用清水洗凈頭發(fā)的全過程。未來的智能機器人不會是電影《變形金剛》中的龐然大物，而會越來越小。目前，科學(xué)家研發(fā)出的智能微型計算機只和雪花一樣大，卻能夠執(zhí)行復(fù)雜的計算任務(wù)，將來可以把這些微型計算機安裝在任何物件上用以監(jiān)測環(huán)境和發(fā)號施令。隨著大數(shù)據(jù)時代的到來和技術(shù)的發(fā)展，科技最終會將我們帶進神奇的智能機器人時代。

在大數(shù)據(jù)時代，人腦信息轉(zhuǎn)換為電腦信息成為可能。科學(xué)家們通過各種途徑模擬人腦，試圖解密人腦活動，最終用電腦代替人腦發(fā)出指令。正如今天人們可以從電腦上下載所需的知識和技能一樣，將來也可以實現(xiàn)人腦中的信息直接轉(zhuǎn)換為電腦中的圖片和文字，用電腦施展讀心術(shù)。2011年，美國軍方啟動了“讀心頭盔”計劃，憑借讀心頭盔，士兵無需語言和手勢就可以互相“閱讀”彼此的腦部活動，在戰(zhàn)場上依靠“心靈感應(yīng)”，用意念與戰(zhàn)友互通訊息。目前，“讀心頭盔”已經(jīng)能正確“解讀”45%的命令。隨著這項“讀心術(shù)”的發(fā)展，人們不僅可以用意念寫微博、打電話，甚至連夢中所見都可以轉(zhuǎn)化為電腦圖像。據(jù)美國《紐約時報》報道，奧巴馬政府將繪制完整的人腦活動地圖，全面解開人類大腦如何思考、如何儲存和檢索記憶等思維密碼作為美國科技發(fā)展的重點，美國科學(xué)家已經(jīng)成功繪出鼠腦的三維圖譜。2012年，美國IBM計算機專家用運算速度最快的96臺計算機，制造了世界上第一個“人造大腦”，電腦精確模擬大腦不再是癡人說夢。試想一下，如果人類大腦實現(xiàn)了數(shù)據(jù)模擬，或許你的下一個BOSS是機器人也不一定。

總而言之，大數(shù)據(jù)技術(shù)的發(fā)展有可能解開宇宙起源的奧秘。因為，計算機技術(shù)將一切信息無論是有與無、正與負，都歸結(jié)為0與1，原來一切存在都在于數(shù)的排列組合，在于大數(shù)據(jù)。

第四篇：段考數(shù)據(jù)分析學(xué)習(xí)心得體會

段考成績分析會學(xué)習(xí)心得

柯賢軍

2016-12-11

周五，在教務(wù)處的組織下，我校全體老師就“段考”質(zhì)量召開了分析會。本次分析會共有三個議程：

1、公布教學(xué)質(zhì)量獎罰；

2、成績分析與教學(xué)建議；

3、整改措施。我感覺本次會議的每個議程都給了我很大的觸動和鼓舞。

首先，公布教學(xué)質(zhì)量獎罰，學(xué)校拿出巨額獎金對一學(xué)學(xué)習(xí)上取得成就的老師進行表彰和鼓勵，罰也起到了督促老師的作用。極大地促進了老師們教書育人，傳道授業(yè)解惑的積極性。

第二個環(huán)節(jié)，成績的分析。這個，我很頭疼，很內(nèi)疚。不管是在集團的排名，還是在教育局幾十所學(xué)校的排名都不夠理想，九年級語文平均分81.7分，離我的目標(biāo)還差很遠，優(yōu)秀率過于偏低不具備中考整體的競爭；還有發(fā)展不均衡最高分102分，最低是56分，高低落差太大；但是值得慶幸的是沒有低分率。造成這個結(jié)果，學(xué)校從管理層到老師都在尋找原因，最終培優(yōu)輔差重視不夠，力度不大；備課不精心，習(xí)題不精練；習(xí)慣養(yǎng)成不到位成為最突出的因素。

第三個議程，針對于目前現(xiàn)狀，我們打算加大培優(yōu)力度，關(guān)注學(xué)困生；加強針對性練習(xí)，讓學(xué)生通過方法形成技能。

我們說教學(xué)，離不開兩個字：教師的教和學(xué)生的學(xué)。從現(xiàn)在課堂教學(xué)改革和教育形勢來說，學(xué)生的學(xué)所占的地位越來越重要。各種學(xué)習(xí)任務(wù)最終要靠我們同學(xué)們落實和完成的，積極學(xué)和被動的學(xué)，效果是截然不同的。因此，對于每一位任課老師來說，都要加強對學(xué)生學(xué)習(xí)主動性的培養(yǎng)。課前認真預(yù)習(xí)、課堂上認真聽講，積極開動腦筋思考，課后進行鞏固，遇有疑難問題積極和同學(xué)們探討，和老師交流，尤其是要加強師生之間的交流。面對我們學(xué)校的學(xué)生現(xiàn)狀，我們的班主任和任課老師要協(xié)助學(xué)生清楚的知道自己的優(yōu)勢學(xué)科和弱勢學(xué)科。應(yīng)該說我們學(xué)校每個學(xué)生都有差科，差科補不起來，我們的成績就不能達到真正的理想狀態(tài)。那么，如何補。（1）、前提是靠自己，這個自己即是我們的學(xué)生也是我們的老師，訂好計劃，慢慢來，爭取逐步提高。（2）、內(nèi)容是從基礎(chǔ)抓起。對于差科以教材為重點，強化基礎(chǔ)，不追求偏難題。考試能將基礎(chǔ)題的分數(shù)得住即可。（3）、適當(dāng)傾斜，各任課老師在班主任的協(xié)調(diào)之下，每天擠出固定時間讓學(xué)生傾斜薄弱學(xué)科。對于薄弱學(xué)科，一定要盯住不放，不能松懈。、讓學(xué)生充滿信心，相信自己 我們的孩子們由于種種原因，缺乏信心，總認為自己不行，有很強的自卑感。天生我才必有用，成績差一點不要怕，要有信心去改變。有句格言：心態(tài)決定習(xí)慣，習(xí)慣決定性格，性格決定人生。要不斷激勵學(xué)生，鼓舞學(xué)生，要讓孩子們知道“我們不是最優(yōu)秀的，但我們是最執(zhí)著的”，我覺得只有發(fā)自內(nèi)心的設(shè)身處地的為他好，他才會真正的悅納你，靠近你，追隨你，我們需要做的只是給他們一點找到自信的機會和條件。4、注意勞逸適度，提高效率 學(xué)習(xí)是一個積累的過程，成績靠的不是一時的激情。從態(tài)度上要端正，從方法上要講究效率，向課堂 45 分鐘要質(zhì)量。應(yīng)該說，我們大多數(shù)同學(xué)在課堂上的表現(xiàn)是積極的，大多數(shù)老師在課堂上是投入的；但個別同學(xué)在課堂上睡覺，沒有把黃金時間把握好，個別老師的投入不僅已經(jīng)占用了學(xué)生僅有的課間 10 分鐘，甚至還影響到了下一節(jié)課。我們倡導(dǎo)老師們積極的生活，當(dāng)然也希望自己能將這種積極地心態(tài)傳遞給我們的孩子們。學(xué)習(xí)時積極投入地學(xué)，該活動時放開地玩。我們師生都要學(xué)會合理利用時間，從而才能提高教與學(xué)的效率。“不為失敗找理由，要為成功找方法”，讓我們共同努力，采用有效措施，為我們整個學(xué)校的成功而奮斗！

第五篇：大數(shù)據(jù)學(xué)習(xí)路線

大數(shù)據(jù)學(xué)習(xí)路線

年薪30W大數(shù)據(jù)學(xué)習(xí)路線圖：

一、Hadoop入門，了解什么是Hadoop

1、Hadoop產(chǎn)生背景

2、Hadoop在大數(shù)據(jù)、云計算中的位置和關(guān)系

3、國內(nèi)外Hadoop應(yīng)用案例介紹

4、國內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹

5、分布式系統(tǒng)概述

6、Hadoop生態(tài)圈以及各組成部分的簡介

7、Hadoop核心MapReduce例子說明

二、分布式文件系統(tǒng)HDFS，是數(shù)據(jù)庫管理員的基礎(chǔ)課程

1、分布式文件系統(tǒng)HDFS簡介

2、HDFS的系統(tǒng)組成介紹

3、HDFS的組成部分詳解

4、副本存放策略及路由規(guī)則

5、NameNode Federation

6、命令行接口

7、Java接口

8、客戶端與HDFS的數(shù)據(jù)流講解

9、HDFS的可用性（HA）

三、初級MapReduce，成為Hadoop開發(fā)人員的基礎(chǔ)課程

1、如何理解map、reduce計算模型

2、剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程

3、Yarn模型

4、序列化

5、MapReduce的類型與格式

6、MapReduce開發(fā)環(huán)境搭建

7、MapReduce應(yīng)用開發(fā)

8、更多示例講解，熟悉MapReduce算法原理

四、高級MapReduce，高級Hadoop開發(fā)人員的關(guān)鍵課程

1、使用壓縮分隔減少輸入規(guī)模

2、利用Combiner減少中間數(shù)據(jù)

3、編寫Partitioner優(yōu)化負載均衡

4、如何自定義排序規(guī)則

5、如何自定義分組規(guī)則

6、MapReduce優(yōu)化

7、編程實戰(zhàn)

五、Hadoop集群與管理，是數(shù)據(jù)庫管理員的高級課程

1、Hadoop集群的搭建

2、Hadoop集群的監(jiān)控

3、Hadoop集群的管理

4、集群下運行MapReduce程序

六、ZooKeeper基礎(chǔ)知識，構(gòu)建分布式系統(tǒng)的基礎(chǔ)框架

1、ZooKeeper體現(xiàn)結(jié)構(gòu)

2、ZooKeeper集群的安裝

3、操作ZooKeeper

七、HBase基礎(chǔ)知識，面向列的實時分布式數(shù)據(jù)庫

1、HBase定義

2、HBase與RDBMS的對比

3、數(shù)據(jù)模型

4、系統(tǒng)架構(gòu)

5、HBase上的MapReduce

6、表的設(shè)計

八、HBase集群及其管理

1、集群的搭建過程講解

2、集群的監(jiān)控

3、集群的管理

九、HBase客戶端

1、HBase Shell以及演示

2、Java客戶端以及代碼演示

十、Pig基礎(chǔ)知識，進行Hadoop計算的另一種框架

1、Pig概述

2、安裝Pig

3、使用Pig完成手機流量統(tǒng)計業(yè)務(wù)

十一、Hive，使用SQL進行計算的Hadoop框架

1、數(shù)據(jù)倉庫基礎(chǔ)知識

2、Hive定義

3、Hive體系結(jié)構(gòu)簡介

4、Hive集群

5、客戶端簡介

6、HiveQL定義

7、HiveQL與SQL的比較

8、數(shù)據(jù)類型

9、表與表分區(qū)概念

10、表的操作與CLI客戶端演示

11、數(shù)據(jù)導(dǎo)入與CLI客戶端演示

12、查詢數(shù)據(jù)與CLI客戶端演示

13、數(shù)據(jù)的連接與CLI客戶端演示

14、用戶自定義函數(shù)（UDF）的開發(fā)與演示

十二、Sqoop，Hadoop與rdbms進行數(shù)據(jù)轉(zhuǎn)換的框架

1、配置Sqoop

2、使用Sqoop把數(shù)據(jù)從MySQL導(dǎo)入到HDFS中

3、使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到MySQL中

十三、Storm

1、Storm基礎(chǔ)知識：包括Storm的基本概念和Storm應(yīng)用

場景，體系結(jié)構(gòu)與基本原理，Storm和Hadoop的對比

2、Storm集群搭建：詳細講述Storm集群的安裝和安裝時常見問題

3、Storm組件介紹: spout、bolt、stream groupings等

4、Storm消息可靠性：消息失敗的重發(fā)

5、Hadoop 2.0和Storm的整合：Storm on YARN

6、Storm編程實戰(zhàn)