第一篇：大數(shù)據(jù)心得體會

大數(shù)據(jù)心得體會

早在2007年，人類制造的信息量有史以來第一次在理論上超過可用存儲空間總量，近幾年兩者的剪刀差越來越大。2010年，全球數(shù)字規(guī)模首次達到了“ZB”（1ZB＝1024TB）級別。2012年，淘寶網(wǎng)每天在線商品數(shù)超過8億件。2013年底，中國手機網(wǎng)民超過6億戶。隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、傳感器、物聯(lián)網(wǎng)、社交網(wǎng)站、云計算等的興起，我們這個社會的幾乎所有方面都已數(shù)字化，產(chǎn)生了大量新型、實時的數(shù)據(jù)。無疑，我們已身處在大數(shù)據(jù)的海洋。

有兩個重要的趨勢使得目前的這個時代（大數(shù)據(jù)時代）與之前有顯著的差別：其一，社會生活的廣泛數(shù)字化，其產(chǎn)生數(shù)據(jù)的規(guī)模、復雜性及速度都已遠遠超過此前的任何時代；其二，人類的數(shù)據(jù)分析技術(shù)和工藝使得各機構(gòu)、組織和企業(yè)能夠以從前無法達到的復雜度、速度和精準度從龐雜的數(shù)據(jù)中獲得史無前例的洞察力和預見性。

大數(shù)據(jù)是技術(shù)進步的產(chǎn)物，而其中的關(guān)鍵是云技術(shù)的進步。在云技術(shù)中，虛擬化技術(shù)乃最基本、最核心的組成部份。計算虛擬化、存儲虛擬化和網(wǎng)絡(luò)虛擬化技術(shù)，使得大數(shù)據(jù)在數(shù)據(jù)存儲、挖掘、分析和應(yīng)用分享等方面不僅在技術(shù)上可行，在經(jīng)濟上也可接受。

在人類文明史上，人類一直執(zhí)著探索我們處的世界以及人類自身，一直試圖測量、計量這個世界以及人類自身，試圖找到隱藏其中的深刻關(guān)聯(lián)、運行規(guī)律及終極答案。大數(shù)據(jù)以其人類史上從未有過的龐大容量、極大的復雜性、快速的生產(chǎn)及經(jīng)濟可得性，使人類第一次試圖從總體而非樣本，從混雜性而非精確性，從相關(guān)關(guān)系而非因果關(guān)系來測量、計量我們這個世界。人類的思維方式、行為方式及社會生活的諸多形態(tài)（當然包括商業(yè)活動）正在開始發(fā)生新的變化。或許是一場革命性、顛覆性的變化。從這個意義上講，大數(shù)據(jù)不僅是一場技術(shù)運動，更是一次哲學創(chuàng)新。1 大數(shù)據(jù)的概述

1.1 大數(shù)據(jù)的概念

大數(shù)據(jù)（Big Data）是指那些超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉(zhuǎn)輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取大數(shù)據(jù)中的價值，我們必須選擇另一種方式來處理它。

數(shù)據(jù)中隱藏著有價值的模式和信息，在以往需要相當?shù)臅r間和成本才能提取這些信息。如沃爾瑪或谷歌這類領(lǐng)先企業(yè)都要付高昂的代價才能從大數(shù)據(jù)中挖掘信息。而當今的各種資源，如硬件、云架構(gòu)和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價格租用云服務(wù)時間了。

對于企業(yè)組織來講，大數(shù)據(jù)的價值體現(xiàn)在兩個方面：分析使用和二次開發(fā)。對大數(shù)據(jù)進行分析能揭示隱藏其中的信息，例如零售業(yè)中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數(shù)據(jù)的二次開發(fā)則是那些成功的網(wǎng)絡(luò)公司的長項。例如Facebook通過結(jié)合大量用戶信息，定制出高度個性化的用戶體驗，并創(chuàng)造出一種新的廣告模式。這種通過大數(shù)據(jù)創(chuàng)造出新產(chǎn)品和服務(wù)的商業(yè)行為并非巧合，谷歌、雅虎、亞馬遜和Facebook，它們都是大數(shù)據(jù)時代的創(chuàng)新者。

1.2 大數(shù)據(jù)的三層關(guān)系

第一層關(guān)系：數(shù)據(jù)與機器的關(guān)系。大數(shù)據(jù)紀元剛開始，產(chǎn)業(yè)界碰到的第一個核心問題就是“大”的問題。做了幾十年的數(shù)據(jù)倉庫甚至海量并行處理的數(shù)據(jù)庫都不能處理那么大的數(shù)據(jù)，怎么辦？需要范式切換。主要有三個方面，新型的數(shù)據(jù)與機器關(guān)系當中的第一條就是重新考慮架構(gòu)與算法，重新考慮舍得，有舍才能得，天下沒有免費的午餐，所以必須要舍棄一些，得到一些新的。必須舍棄貴族化的高端小型機和UNIX服務(wù)器，得到平民化的更大量的X86服務(wù)器。通過這樣一種可橫向、可水平擴展服務(wù)器處理每兩年翻番的數(shù)據(jù)量的挑戰(zhàn)。第二個舍得是舍棄硬件的可靠性和可用性，得到軟件的可靠性和可用性。這也就是谷歌三大論文以及Hadoop的核心重點。第三個舍得是舍棄傳統(tǒng)數(shù)據(jù)庫的強一致性，獲得更放松一致性、可擴展架構(gòu)，如NoSQL。第四個舍得是傳統(tǒng)算法強調(diào)非常嚴格的精確性，現(xiàn)在要放棄一些精確性，通過近似、采樣這種方式來獲得更好的擴展性。

最早大數(shù)據(jù)的處理范式是Mapreduce的批量處理，英特爾慢慢有其他的需求，實時的流處理、多迭代的處理、圖計算、即時查詢等等新的范式百花齊放，最后萬法歸宗。剛才王斌老師將講的SAP的HANA本身就是數(shù)據(jù)管理和分析的融合，現(xiàn)在非常流行的Hadoop之后的SPARK，就是把前面的各種范式進行了融合。存儲與內(nèi)存的消長，大數(shù)據(jù)第一個要解決把數(shù)據(jù)存儲下來，后來發(fā)現(xiàn)要把它放到大的內(nèi)存里進行處理，獲得實時性，接著在存儲和內(nèi)存之間現(xiàn)在又出現(xiàn)了閃存，有閃存化甚至全閃存的存儲，也有閃存化的內(nèi)存，把所有的計算在閃存里面處理，已經(jīng)被微軟、Facebook等等大量使用。大家可以預期，兩年以后出現(xiàn)新的非易失性的閃存，它的速度可能要比閃存快幾百倍，和內(nèi)存相似，這又會極大地顛覆數(shù)據(jù)與機器的關(guān)系。

第二層關(guān)系：數(shù)據(jù)與人的關(guān)系。主要是價值的覺醒，如果數(shù)據(jù)不能產(chǎn)生價值它可能是負面資產(chǎn)。數(shù)據(jù)怎么能夠給人帶來價值？我們介紹一下它的價值維度，把它映射到二維的時空象限里，用六個關(guān)鍵詞來描述它。第一是“Volume”，兩個關(guān)鍵詞，小數(shù)據(jù)見微對個人進行刻劃，大數(shù)據(jù)知著能夠了解宏觀規(guī)律，它是空間概念，同時也是時間概念，數(shù)據(jù)剛剛產(chǎn)生的時候，它的個性化價值、見微的價值最大，而隨著時間的推移，它漸漸退化到只有集合價值。第二是Velocity，時間軸的原點是當下實時價值，副軸是過往，正軸是預測未來，如果知道知前后就能夠做到萬物的皆明。第三是Variety，多源異質(zhì)的數(shù)據(jù)，能夠過濾噪聲、查漏補缺、去偽存真，就是辯訛。還有曉意，能夠從大量的非結(jié)構(gòu)化數(shù)據(jù)中獲得語意，從而能夠使機器窺探人的思維境界，這六個價值維度怎么去實現(xiàn)？主要是兩部分人，一是數(shù)據(jù)科學家要洞察數(shù)據(jù)，另外一個是終端用戶和領(lǐng)域?qū)＜乙ソ庾x數(shù)據(jù)并利用數(shù)據(jù)。首先看洞察數(shù)據(jù)，數(shù)據(jù)科學，人和機器作用發(fā)生了消長，講個例子，機器學習大家覺得是機器的問題，其實人在里面起到很重要的作用，尤其是機器學習是模型加特征，而特征工程是一個人力工程，你要有經(jīng)驗非常豐富的特征團隊去死磕特征，找出更好、更多的特征，才能夠使機器學習的效果更好。但是現(xiàn)在深度學習這些新技術(shù)出來，能夠用機器學習特征，能夠在大量非結(jié)構(gòu)化數(shù)據(jù)中找到豐富的信息維度用特征表達出來，這遠遠超出了人的能力。大家知道黑客帝國描述了一個場景，人腦袋后面插一個插頭，給機器提供營養(yǎng)，我可能不會那么悲觀，但是像這樣的互動關(guān)系以一種更良性的方式出現(xiàn)了，現(xiàn)在人的一言一行、社交行為、金融行為都已經(jīng)成為機器的養(yǎng)料、機器的數(shù)據(jù)，使得機器獲得更好的洞察。

終端用戶需要更好地、更傻瓜化的分析工具和可視化工具，兩年前我去參加大數(shù)據(jù)的會，基本上都是Hadoop和NoSQL現(xiàn)在大家參加大數(shù)據(jù)會可以看到清一色的分析工具和可視化工具。大數(shù)據(jù)跟各行各業(yè)的化學作用正在發(fā)生。如果馬化騰說“互聯(lián)網(wǎng)+”是互聯(lián)網(wǎng)與各行各業(yè)的加法效應(yīng)，那么大數(shù)據(jù)將與各行各業(yè)產(chǎn)生乘法效應(yīng)。

第三個關(guān)系，數(shù)據(jù)與數(shù)據(jù)的關(guān)系?，F(xiàn)在只有海面平的數(shù)據(jù)是搜索引擎可以檢索到，深海的數(shù)據(jù)可能是黑暗的數(shù)據(jù)，在政府、在企業(yè)里大家看不到。我們怎么辦呢？必須讓數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)。只有讓數(shù)據(jù)能夠發(fā)現(xiàn)數(shù)據(jù)、遇到數(shù)據(jù)，才能產(chǎn)生金風玉露一相逢、便勝卻人間無數(shù)的效果。這里有三個重要的觀念，需要法律、技術(shù)、經(jīng)濟理論和實踐上配合。法律上要明確數(shù)據(jù)的權(quán)利，數(shù)據(jù)所有權(quán)，數(shù)據(jù)的隱私權(quán)，什么數(shù)據(jù)不能給你看；數(shù)據(jù)的許可權(quán)，什么數(shù)據(jù)是可以給你看的；數(shù)據(jù)的審計權(quán)，我給你看了以后，你是不是按照許可的范圍去看；數(shù)據(jù)的分紅權(quán)。數(shù)據(jù)像原油又不同于原油，原油用完了就沒有了，數(shù)據(jù)可以反復地產(chǎn)生價值，因此數(shù)據(jù)的擁有者應(yīng)該得到分紅。我們要保證數(shù)據(jù)的開放、共享、交易。公共數(shù)據(jù)和部分科研數(shù)據(jù)要開放，開放過程中注意保護隱私。企業(yè)之間可以進行數(shù)據(jù)的點對點共享，最高境界是不丟失數(shù)據(jù)的所有權(quán)和隱私權(quán)的前提下共享，這里有多方安全計算的概念。1982年姚期智老先生提出了百萬富翁的窘境的問題，兩個百萬富翁他們想要比誰更富，但是誰都不愿意說出來自己都多少錢，在我們的數(shù)據(jù)共享當中要通過各種各樣的技術(shù)達到這樣的效果。還有數(shù)據(jù)交易，建立多邊多邊平臺來支持數(shù)據(jù)交易。

互聯(lián)網(wǎng)能發(fā)展起來經(jīng)濟學理論和實踐是很重要的支撐，梅特卡夫定律決定了一個互聯(lián)網(wǎng)公司的價值，跟它用戶數(shù)的平方成正比，又比如說谷歌請最好的經(jīng)濟學家，它的一個廣告業(yè)務(wù)的核心就是建立在一個非常先進的拍賣經(jīng)濟學的模型基礎(chǔ)上。數(shù)據(jù)經(jīng)濟也需要這樣一些基礎(chǔ)的理論，比如數(shù)據(jù)定價和信息定價不一樣，信息做一個咨詢報告5000美金賣給你，可以賣給所有人。但數(shù)據(jù)對不同的單位價值不一樣，可能我之毒藥是彼之蜜糖。另外估值，一個企業(yè)擁有大量的數(shù)據(jù)，是無形資產(chǎn)的一部分，對于企業(yè)的市場價值帶來了多大的增長。

1.3 大數(shù)據(jù)的四個特性

大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。這也是一個描述性的定義，在對數(shù)據(jù)描述的基礎(chǔ)上加入了處理此類數(shù)據(jù)的一些特征，用這些特征來描述大數(shù)據(jù)。當前，較為統(tǒng)一的認識是大數(shù)據(jù)有四個基本特征: 數(shù)據(jù)規(guī)模大(Volume)，數(shù)據(jù)種類多(Variety)，數(shù)據(jù)要求處理速度快(Velocity)，數(shù)據(jù)價值密度低(Value)，即所謂的四V 特性。

數(shù)據(jù)規(guī)模大(Volume)：企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長。例如，IDC最近的報告預測稱，到2020年，全球數(shù)據(jù)量將擴大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個不斷變化的指標，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡而言之，存儲1PB數(shù)據(jù)將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。

數(shù)據(jù)種類多(Variety)：一個普遍觀點認為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因，這一看法部分正確。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數(shù)據(jù)的多樣性。

處理速度快(Velocity)：高速描述的是數(shù)據(jù)被創(chuàng)建和移動的速度。在高速網(wǎng)絡(luò)時代，通過基于實現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實時數(shù)據(jù)流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據(jù)IMS Research關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查，據(jù)預測，到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設(shè)備。

數(shù)據(jù)價值密度低(Value)：大數(shù)據(jù)具有多層結(jié)構(gòu)，這意味著大數(shù)據(jù)會呈現(xiàn)出多變的形式和類型。相較傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統(tǒng)的應(yīng)用軟件進行分析。傳統(tǒng)業(yè)務(wù)數(shù)據(jù)隨時間演變已擁有標準的格式，能夠被標準的商務(wù)智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復雜數(shù)據(jù)中挖掘價值。

1.4 大數(shù)據(jù)的三個特征

除了有四個特性之外，大數(shù)據(jù)時代的數(shù)據(jù)還呈現(xiàn)出其他三個特征。

第一個特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求.第二個特征是數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。

第三個特征是處理速度快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。大數(shù)據(jù)的技術(shù)與處理

2.1 大數(shù)據(jù)的技術(shù)

1.數(shù)據(jù)采集：ETL工具負責將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

2.數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫、NOSQL、SQL等。

3.基礎(chǔ)架構(gòu)：云存儲、分布式文件存儲等。

4.數(shù)據(jù)處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關(guān)鍵是要讓計算機“理解”自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也

稱

為

計

算

語

言

學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。

5.統(tǒng)計分析：假設(shè)檢驗、顯著性檢驗、差異分析、相關(guān)分析、T檢驗、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應(yīng)分析、多元對應(yīng)分析（最優(yōu)尺度分析）、bootstrap技術(shù)等等。

6.數(shù)據(jù)挖掘：分類（Classification）、估計（Estimation）、預測（Prediction）、相

關(guān)

性

分

組

或

關(guān)

聯(lián)

規(guī)

則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)。

7.模型預測：預測模型、機器學習、建模仿真。

8.結(jié)果呈現(xiàn)：云計算、標簽云、關(guān)系圖等。

2.2 大數(shù)據(jù)的處理

1.采集 大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。

在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進行負載均衡和分片的確是需要深入的思考和設(shè)計。

2.導入/預處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導入基礎(chǔ)上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數(shù)據(jù)進行流式計算，來滿足部分業(yè)務(wù)的實時計算需求。導入與預處理過程的特點和挑戰(zhàn)主要是導入的數(shù)據(jù)量大，每秒鐘的導入量經(jīng)常會達到百兆，甚至千兆級別。

3.統(tǒng)計/分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

4.挖掘

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計學習的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

整個大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個方面的步驟，才能算得上是一個比較完整的大數(shù)據(jù)處理。大數(shù)據(jù)的應(yīng)用

正如諸多文獻所談到的，大數(shù)據(jù)對許多行業(yè)的影響和沖擊已經(jīng)呈現(xiàn)。例如，商零售、物流、醫(yī)藥、文化產(chǎn)業(yè)等。金融，作為現(xiàn)代經(jīng)濟中樞，其實也已透出了大數(shù)據(jù)金融的曙光。

過去的2013年，中國金融界熱議最多的或許是互聯(lián)網(wǎng)金融，更有人指出2013年是中國互聯(lián)網(wǎng)金融元年。確實，第三方支付、P2P、網(wǎng)貸、眾籌融資、余額寶、微信支付等發(fā)展迅速。眾多傳統(tǒng)金融業(yè)者也或推出自己的電商平臺，或與互聯(lián)網(wǎng)企業(yè)聯(lián)手提供相應(yīng)的金融產(chǎn)品和服務(wù)。

互聯(lián)網(wǎng)金融，無論是業(yè)界、監(jiān)管者或理論界，都在試圖給出自己的理解和定義。但到目前為止，尚未有一個統(tǒng)一的、規(guī)范的概念。在我看來，互聯(lián)網(wǎng)金融本來就是一個不確切的概念，也不可能有一個明確的定義。嚴格說來，所謂互聯(lián)網(wǎng)金融只是大數(shù)據(jù)金融的一種展現(xiàn)或形態(tài)。換言之，前者是表，后者是里。

這是因為，無論是互聯(lián)網(wǎng)還是金融業(yè)，其實質(zhì)都是大數(shù)據(jù)（信息）。首先，對互聯(lián)網(wǎng)企業(yè)而言，流量、客戶等數(shù)據(jù)（信息）是其涉足金融業(yè)的基石。對金融企業(yè)而言，提供中介服務(wù)，撮合金融交易也是以數(shù)據(jù)（信息）為基礎(chǔ)。其次，沒有大數(shù)據(jù)技術(shù)的支撐，所謂互聯(lián)網(wǎng)金融也難以快速、持續(xù)成長。20世紀90年代互聯(lián)網(wǎng)浪潮的蓬勃興起，至今已近二十年。但從世界范圍看，所謂互聯(lián)網(wǎng)金融卻發(fā)展緩慢。當然，其中原因很多，但其主要原因則是大數(shù)據(jù)技術(shù)是近幾年才快速發(fā)展起來的。最后，從金融企業(yè)來看，在數(shù)據(jù)中心建設(shè)，軟硬件系統(tǒng)建設(shè)，數(shù)據(jù)（信息）挖掘、分析等方面也是做得有聲有色，其龐大的客戶數(shù)據(jù)、海量交易記錄及眾多信息源，使其在大數(shù)據(jù)應(yīng)用方面也做了許多積極探索。因此，要準確反映近年新金融趨勢，“大數(shù)據(jù)金融”比“互聯(lián)網(wǎng)金融”更為貼切。大數(shù)據(jù)應(yīng)用中的三大難題 近年來，大數(shù)據(jù)這個詞成為互聯(lián)網(wǎng)領(lǐng)域關(guān)注度最高的詞匯，時至今日，大數(shù)據(jù)已經(jīng)不再是IT圈的“專利”了，從去年的春晚，到剛剛過去的兩會，都能見到它的身影，但實際上春晚與兩會的數(shù)據(jù)都只能叫做小數(shù)據(jù)，它與真正的大數(shù)據(jù)還相差甚遠。即便如此，數(shù)據(jù)所產(chǎn)生的價值已經(jīng)被人們所認知。

就大數(shù)據(jù)來說，它的發(fā)展可以分成三個階段，第一個階段是組織內(nèi)部的數(shù)據(jù)，這些數(shù)據(jù)通常都是結(jié)構(gòu)化的數(shù)據(jù)，我們一般將這些數(shù)據(jù)進行分類、排序等操作，將相同類型的數(shù)據(jù)進行對比、分析、挖掘，總而言之基本上都是統(tǒng)計工作。到了第二階段，數(shù)據(jù)的范圍擴大到行業(yè)內(nèi)，各種各樣的應(yīng)用數(shù)據(jù)出現(xiàn)，數(shù)據(jù)量大規(guī)模增長，尤其是非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)。典型的像視頻、圖片這一類的數(shù)據(jù)，在這一階段的特點就是非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)并存，且數(shù)據(jù)量巨大，要對這些數(shù)據(jù)進行分析是我們目前現(xiàn)階段所處在的狀態(tài)。

第三階段則是未來大數(shù)據(jù)發(fā)展的理想化狀態(tài)，首先它一定是跨行業(yè)的，且數(shù)據(jù)的范圍是整個社會。通過對這些數(shù)據(jù)進行分析加以使用，將直接改變我們的生活方式，這也是現(xiàn)在很多企業(yè)所設(shè)想的未來交通、醫(yī)療、教育等領(lǐng)域的發(fā)展方向。

1.大數(shù)據(jù)太大不敢用

第三個階段是我們所憧憬的，但在我們所處的第二階段面對的更多是問題。其中的一個問題就是“大”。大數(shù)據(jù)給人最直觀的感受就是大，它所帶來的問題不僅僅是存儲，更多的是龐大的數(shù)據(jù)沒辦法使用，以交通為例，從2001年開始在北京的主干道上都增設(shè)了一些卡口設(shè)備，到了今天基本上大街小巷都能看到。這些設(shè)備每天所拍攝的視頻及照片產(chǎn)生的數(shù)據(jù)量是驚人的，僅照片每天就能產(chǎn)生2千萬張，而解決這些數(shù)據(jù)的存儲只是最基本的任務(wù)，我們更需要的是使用這些數(shù)據(jù)。例如對套牌車輛的檢查，對嫌疑車輛的監(jiān)控，當你想要使用這些數(shù)據(jù)的時候，傳統(tǒng)的數(shù)據(jù)庫以及系統(tǒng)架構(gòu)，放進這么龐大的數(shù)據(jù)，是根本跑不動的。這一問題導致很多企業(yè)對大數(shù)據(jù)望而卻步。

2.大數(shù)據(jù)太難不會用

說到大數(shù)據(jù)的使用，自然離不開Hadoop，Hadoop本身提供了分布式系統(tǒng)中兩個最重要的東西：分布式存儲（HDFS）和分布式計算（Mapreduce）。這兩者解決了處理大數(shù)據(jù)面臨的計算和存儲問題，但更為重要的是，為開發(fā)大數(shù)據(jù)應(yīng)用開辟了道路。Hadoop是目前解決大數(shù)據(jù)問題最流行的一種方式，但其仍然有不成熟的地方，曾作為雅虎云計算以及Facebook軟件工程師的Jonathan Gray就表示：“Hadoop實施難度大，且復雜，如果不解決技術(shù)復雜性問題，Hadoop將被自己終結(jié)?！闭怯捎谶@樣的原因，Gray創(chuàng)辦了自己的公司——Continuuity，這家公司的目標就是在Hadoop和Hbase基礎(chǔ)上創(chuàng)建一個抽象層，屏蔽掉Hadoop底層技術(shù)的復雜性。由此可見想要用好大數(shù)據(jù)又是一大考驗。

3.大數(shù)據(jù)太貴用不起

Hadoop的特點就是讓你可以使用廉價的x86設(shè)備來完成大數(shù)據(jù)的業(yè)務(wù)，但事實上如果你真想要用它來完成某些商業(yè)任務(wù)你還得是個“土豪”。在國外那些使用大數(shù)據(jù)的成功案例里，亞馬遜曾給出過這樣一組數(shù)字，NASA需要為45天的數(shù)據(jù)存儲服務(wù)支付超過100萬美元。像Quant___cast這樣的數(shù)字廣告公司，同樣也是花費了巨額的資金用在Hadoop技術(shù)上，來根據(jù)自己的需求定制系統(tǒng)。從上面兩個案例來看用于商業(yè)用途的大數(shù)據(jù)現(xiàn)階段還是很費錢的，隨著大數(shù)據(jù)軟件環(huán)境逐漸成熟，開發(fā)工具增多，價格在未來會逐漸降低。

從上面羅列的這三點困難，其實并不是要給大數(shù)據(jù)潑冷水，而是想說大數(shù)據(jù)想要淘金并不簡單，首先在做大數(shù)據(jù)之前，好好盤點一下自己擁有的資源，不僅僅是數(shù)據(jù)資源，還包括知識與技能。確定了自己的能力之后，選擇一個能夠發(fā)揮你現(xiàn)有資源最大價值的項目。如果你需要幫手，應(yīng)先考慮商業(yè)顧問，再考慮技術(shù)人才。為了解答一個生意上的困惑花下的錢，叫作投資，而把錢投到一個擁有特殊技能的IT人才身上，那就叫沉沒成本。當你有了這些之后，選擇更靈活且可擴展的工具，為以后的擴充打好基礎(chǔ)。更重要的是——從小規(guī)模做起。大數(shù)據(jù)創(chuàng)新的驅(qū)動力

計算機科學與技術(shù)的發(fā)展使得大規(guī)模信息處理基礎(chǔ)設(shè)施產(chǎn)生重要改變。在過去的30年中，經(jīng)典的數(shù)據(jù)庫管理系統(tǒng)（DBMS）在處理大規(guī)模數(shù)據(jù)方面與時俱進，在企業(yè)數(shù)據(jù)處理等方面得到廣泛應(yīng)用。數(shù)據(jù)庫研究和技術(shù)進展主要集中在數(shù)據(jù)建模、描述性查詢語言、事務(wù)處理和數(shù)據(jù)庫可靠性等。在這個過程中，相關(guān)的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘分析技術(shù)也成為一個熱點研究方向；人們認識到數(shù)據(jù)處理過程中的信息可以被有效整理和分析來支持以數(shù)據(jù)為中心的決策支持。數(shù)據(jù)庫管理系統(tǒng)在目前的互聯(lián)網(wǎng)時代繼續(xù)占據(jù)了重要地位。在一個典型的互聯(lián)網(wǎng)服務(wù)系統(tǒng)架構(gòu)中，數(shù)據(jù)庫管理系統(tǒng)和Web服務(wù)器及應(yīng)用服務(wù)共同作用，為互聯(lián)網(wǎng)用戶提供各類信息和服務(wù)。在這個系統(tǒng)架構(gòu)中，人們期望系統(tǒng)能支持無限次和高速的互聯(lián)網(wǎng)用戶訪問，這個時候數(shù)據(jù)庫層由于在硬件可擴展性上面的不足可能成為系統(tǒng)性能瓶頸。這個挑戰(zhàn)我們稱為大數(shù)據(jù)問題（big data problem）。大數(shù)據(jù)系統(tǒng)期望能對大規(guī)模異構(gòu)復雜數(shù)據(jù)建模，進行實時分析；傳統(tǒng)的商用數(shù)據(jù)庫系統(tǒng)很難提供良好的解決方案。另一個大數(shù)據(jù)相關(guān)的挑戰(zhàn)是服務(wù)器端數(shù)據(jù)中心的數(shù)據(jù)維護及安全隱私問題。近年來云計算技術(shù)已經(jīng)成為大數(shù)據(jù)中心的一種可靠解決方案，Google, Yahoo and Microsoft等公司也紛紛開發(fā)自己的云計算系統(tǒng)。盡管云計算在互聯(lián)網(wǎng)應(yīng)用中已經(jīng)體現(xiàn)出很多優(yōu)越性，其在系統(tǒng)成熟性、可用性等方面還有很大提高空間。

顯而易見，大數(shù)據(jù)領(lǐng)域的大規(guī)模數(shù)據(jù)管理和復雜數(shù)據(jù)分析已經(jīng)成為新的研究前沿。目前的各類大數(shù)據(jù)應(yīng)用正是大數(shù)據(jù)研究的驅(qū)動力，比如社會網(wǎng)絡(luò)、移動計算、科學應(yīng)用等等。這些應(yīng)用產(chǎn)生的大數(shù)據(jù)往往具有海量、時序動態(tài)性、多樣等特性，給數(shù)據(jù)庫領(lǐng)域的各項技術(shù)帶來巨大挑戰(zhàn)，涵蓋包括數(shù)據(jù)獲取、組織管理、分析處理和應(yīng)用呈現(xiàn)等整個數(shù)據(jù)管理生命周期。針對數(shù)據(jù)管理和分析不同系統(tǒng)應(yīng)用，各類大數(shù)據(jù)處理技術(shù)在也不斷發(fā)展。MapReduce作為一種分布式的數(shù)據(jù)處理框架由于其靈活性、可擴展性、高效和容錯等特性其近年來得到了廣泛應(yīng)用。此外，也有多類其他分布式數(shù)據(jù)處理系統(tǒng)用來解決MapReduce不擅長的問題，比如交互式分析、圖計算和分析、實時和流處理、通用數(shù)據(jù)處理等等。大數(shù)據(jù)不但給數(shù)據(jù)庫研究領(lǐng)域，同時也給體系結(jié)構(gòu)、存儲系統(tǒng)、系統(tǒng)軟件和軟件工程等計算機多個學科帶來了很多機會和挑戰(zhàn)。大數(shù)據(jù)正是目前很多計算機科學問題的根本，并驅(qū)動眾多新科技的發(fā)展。大數(shù)據(jù)的發(fā)展前景

大數(shù)據(jù)的概念來源于、發(fā)展于美國，并向全球擴展，必將給我國未來的科技與經(jīng)濟發(fā)展帶來深遠影響。根據(jù)IDC 統(tǒng)計，目前數(shù)據(jù)量在全球比例為: 美國32%、西歐19%、中國13%，預計到2020 年中國將產(chǎn)生全球21% 的數(shù)據(jù)，我國是僅次于美國的數(shù)據(jù)大國，而我國大數(shù)據(jù)方面的研究尚處在起步階段，如何開發(fā)、利用保護好大數(shù)據(jù)這一重要的戰(zhàn)略資源，是我國當前亟待解決的問題。

而大數(shù)據(jù)未來的發(fā)展趨勢則從以下幾個方面進行：

（1）開放源代碼

大數(shù)據(jù)獲得動力，關(guān)鍵在于開放源代碼，幫助分解和分析數(shù)據(jù)。Hadoop 和NoSQL 數(shù)據(jù)庫便是其中的贏家，他們讓其他技術(shù)商望而卻步、處境很被動。畢竟，我們需要清楚怎樣創(chuàng)建一個平臺，既能解開所有的數(shù)據(jù)，克服數(shù)據(jù)相互獨立的障礙，又能將數(shù)據(jù)重新上鎖。

（2）市場細分

當今，許多通用的大數(shù)據(jù)分析平臺已投入市場，人們同時期望更多平臺的出現(xiàn)，可以運用在特殊領(lǐng)域，如藥物創(chuàng)新、客戶關(guān)系管理、應(yīng)用性能的監(jiān)控和使用。若市場逐步成熟，在通用分析平臺之上，開發(fā)特定的垂直應(yīng)用將會實現(xiàn)。但現(xiàn)在的技術(shù)有限，除非考慮利用潛在的數(shù)據(jù)庫技術(shù)作為通用平臺(如Hadoop、NoSQL)。人們期望更多特定的垂直應(yīng)用出現(xiàn)，把目標定為特定領(lǐng)域的數(shù)據(jù)分析，這些特定領(lǐng)域包括航運業(yè)、銷售業(yè)、網(wǎng)上購物、社交媒體用戶的情緒分析等。同時，其他公司正在研發(fā)小規(guī)模分析引擎的軟件套件。比如，社交媒體管理工具，這些工具以數(shù)據(jù)分析做為基礎(chǔ)。

（3）預測分析

建模、機器學習、統(tǒng)計分析和大數(shù)據(jù)經(jīng)常被聯(lián)系起來，用以預測即將發(fā)生的事情和行為。有些事情是很容易被預測的，比如壞天氣可以影響選民的投票率，但是有些卻很難被準確預測。例如，中間選民改變投票決定的決定性因素。但是，當數(shù)據(jù)累加時，我們基本上有能力可以大規(guī)模嘗試一個連續(xù)的基礎(chǔ)。網(wǎng)上零售商重新設(shè)計購物車，來探索何種設(shè)計方式能使銷售利潤最大化。根據(jù)病人的飲食、家族史和每天的運動量，醫(yī)生有能力預測未來疾病的風險。當然，在人類歷史的開端，我們就已經(jīng)有各種預測。但是，在過去，許多預測都是基于直覺，沒有依靠完整的數(shù)據(jù)集，或者單單靠的是常識。當然，即便有大量數(shù)據(jù)支撐你的預測，也不表明那些預測都是準確的。2007 年和2008 年，許多對沖基金經(jīng)理和華爾街買賣商分析市場數(shù)據(jù)，認為房地產(chǎn)泡沫將不會破滅。根據(jù)歷史的數(shù)據(jù)，可以預測出房地產(chǎn)泡沫即將破裂，但是許多分析家堅持原有的觀點。另一方面，預測分析在許多領(lǐng)域流行起來，例如欺詐發(fā)現(xiàn)(比如在外省使用信用卡時會接到的詐騙電話)，保險公司和顧客維系的風險管理。7 結(jié)語

大數(shù)據(jù)正在以不可阻攔的磅礴氣勢，與當代同樣具有革命意義的最新科技進步(如納米技術(shù)、生物工程、全球化等)一起，揭開人類新世紀的序幕?？梢院唵蔚卣f，以往人類社會基本處于蒙昧狀態(tài)中的不發(fā)展階段，即自然發(fā)展階段?，F(xiàn)在，這一不發(fā)展階段隨著2012年的所謂“世界末日”之說而永遠成為了過去。大數(shù)據(jù)宣告了21世紀是人類自主發(fā)展的時代，是不以所謂“上帝”的意志為轉(zhuǎn)移的時代，是“上帝”失業(yè)的時代。

對于地球上每一個普通居民而言，大數(shù)據(jù)有什么應(yīng)用價值呢?只要看看周圍正在變化的一切，你就可以知道，大數(shù)據(jù)對每個人的重要性不亞于人類初期對火的使用。大數(shù)據(jù)讓人類對一切事物的認識回歸本源;大數(shù)據(jù)通過影響經(jīng)濟生活、政治博弈、社會管理、文化教育科研、醫(yī)療保健休閑等等行業(yè)，與每個人產(chǎn)生密切的聯(lián)系。

大數(shù)據(jù)技術(shù)離你我都并不遙遠，它已經(jīng)來到我們身邊，滲透進入我們每個人的日常生活消費之中，時時刻刻，事事處處，我們無法逃遁，因為它無微不至：它提供了光怪陸離的全媒體，難以琢磨的云計算，無法抵御的仿真環(huán)境。大數(shù)據(jù)依仗于無處不在的傳感器，比如手機、發(fā)帶，甚至是能夠收集司機身體數(shù)據(jù)的汽車，或是能夠監(jiān)控老人下床和行走速度與壓力的“魔毯”(由GE與Intel聯(lián)合開發(fā))，洞察了一切。通過大數(shù)據(jù)技術(shù)，人們能夠在醫(yī)院之外得悉自己的健康情況;而通過收集普通家庭的能耗數(shù)據(jù)，大數(shù)據(jù)技術(shù)給出人們切實可用的節(jié)能提醒;通過對城市交通的數(shù)據(jù)收集處理，大數(shù)據(jù)技術(shù)能夠?qū)崿F(xiàn)城市交通的優(yōu)化。隨著科學技術(shù)的發(fā)展，人類必將實現(xiàn)數(shù)千年的機器人夢想。早在古希臘、古羅馬的神話中就有冶煉之神用黃金制造機械仆人的故事。《論衡》中也記載有魯班曾為其母巧公制作一臺木馬車，“機關(guān)具備，一驅(qū)不還”。而到現(xiàn)代，人類對于機器人的向往，從機器人頻繁出現(xiàn)在科幻小說和電影中已不難看出。公元2035年，智能型機器人已被人類廣泛利用，送快遞、遛狗、打掃衛(wèi)生……這是電影《我，機器人》里描繪的場景。事實上，今天人們已經(jīng)享受到了部分家用智能機器人給生活帶來的便利。比如，智能吸塵器以及廣泛應(yīng)用于汽車工業(yè)領(lǐng)域的機器手等等。有意思的是，2010年松下公司專門為老年人開發(fā)了“洗發(fā)機器人”，它可以自動完成從涂抹洗發(fā)水、按摩到用清水洗凈頭發(fā)的全過程。未來的智能機器人不會是電影《變形金剛》中的龐然大物，而會越來越小。目前，科學家研發(fā)出的智能微型計算機只和雪花一樣大，卻能夠執(zhí)行復雜的計算任務(wù)，將來可以把這些微型計算機安裝在任何物件上用以監(jiān)測環(huán)境和發(fā)號施令。隨著大數(shù)據(jù)時代的到來和技術(shù)的發(fā)展，科技最終會將我們帶進神奇的智能機器人時代。

在大數(shù)據(jù)時代，人腦信息轉(zhuǎn)換為電腦信息成為可能?？茖W家們通過各種途徑模擬人腦，試圖解密人腦活動，最終用電腦代替人腦發(fā)出指令。正如今天人們可以從電腦上下載所需的知識和技能一樣，將來也可以實現(xiàn)人腦中的信息直接轉(zhuǎn)換為電腦中的圖片和文字，用電腦施展讀心術(shù)。2011年，美國軍方啟動了“讀心頭盔”計劃，憑借讀心頭盔，士兵無需語言和手勢就可以互相“閱讀”彼此的腦部活動，在戰(zhàn)場上依靠“心靈感應(yīng)”，用意念與戰(zhàn)友互通訊息。目前，“讀心頭盔”已經(jīng)能正確“解讀”45%的命令。隨著這項“讀心術(shù)”的發(fā)展，人們不僅可以用意念寫微博、打電話，甚至連夢中所見都可以轉(zhuǎn)化為電腦圖像。據(jù)美國《紐約時報》報道，奧巴馬政府將繪制完整的人腦活動地圖，全面解開人類大腦如何思考、如何儲存和檢索記憶等思維密碼作為美國科技發(fā)展的重點，美國科學家已經(jīng)成功繪出鼠腦的三維圖譜。2012年，美國IBM計算機專家用運算速度最快的96臺計算機，制造了世界上第一個“人造大腦”，電腦精確模擬大腦不再是癡人說夢。試想一下，如果人類大腦實現(xiàn)了數(shù)據(jù)模擬，或許你的下一個BOSS是機器人也不一定。

總而言之，大數(shù)據(jù)技術(shù)的發(fā)展有可能解開宇宙起源的奧秘。因為，計算機技術(shù)將一切信息無論是有與無、正與負，都歸結(jié)為0與1，原來一切存在都在于數(shù)的排列組合，在于大數(shù)據(jù)。

第二篇：大數(shù)據(jù)心得體會

大數(shù)據(jù)時代的信息分析平臺搭建安裝報告

一、平臺搭建

描述小組在完成平臺安裝時候遇到的問題以及如何解決這些問題的，要求截圖加文字描述。

問題一：在決定選擇網(wǎng)站綁定時，當時未找到網(wǎng)站綁定的地方。解決辦法：之后小組討論后，最終找到網(wǎng)站綁定的地方，點擊后解決了這個問題。

問題二：當時未找到TCP/IP屬性這一欄

解決辦法：當時未找到TCP/IP屬性這一欄，通過老師的幫助和指導，順利的點擊找到了該屬性途徑，啟用了這一屬性，完成了這一步的安裝步驟。

問題三：在數(shù)據(jù)庫這一欄中，當時未找到“foodmartsaleDW”這個文件

解決辦法：在數(shù)據(jù)庫這一欄中，當時未找到“foodmartsaleDW”這個文件，后來詢問老師后，得知該文件在第三周的文件里，所以很快的找到了該文件，順利的進行了下一步

問題四：在此處的SQL server的導入和導出向?qū)?，這個過程非常的長。

解決辦法：在此處的SQL server的導入和導出向?qū)?，這個過程非常的長，當時一直延遲到了下課的時間，小組成員經(jīng)討論，懷疑是否是電腦不兼容或其他問題，后來經(jīng)問老師，老師說此處的加載這樣長的時間是正常的，直到下課后，我們將電腦一直開著到寢室直到軟件安裝完為止。

問題五：問題二：.不知道維度等概念，不知道怎么設(shè)置表間關(guān)系的數(shù)據(jù)源。關(guān)系方向不對

解決辦法：百度維度概念，設(shè)置好維度表和事實表之間的關(guān)系，關(guān)系有時候是反的——點擊反向，最后成功得到設(shè)置好表間關(guān)系后的數(shù)據(jù)源視圖。（如圖所示）

這個大圖當時完全不知道怎么做，后來問的老師，老師邊講邊幫我們操作完成的。

問題六：由于發(fā)生以下連接問題，無法將項目部署到“l(fā)ocalhost”服務(wù)器:無法建立連接。請確保該服務(wù)器正在運行。若要驗證或更新目標服務(wù)器的名稱，請在解決方案資源管理器中右鍵單擊相應(yīng)的項目、選擇“項目屬性”、單擊“部署”選項卡，然后輸入服務(wù)器的名稱?！币驗槲以谂渲脭?shù)據(jù)源的時候就無法識別“l(fā)ocalhost”，所以我就打開數(shù)據(jù)庫屬性頁面：圖1-圖2 圖一：

圖二：

解決辦法：解決辦法: 圖2步驟1：從圖1到圖2后，將目標下的“服務(wù)器” 成自己的SQL SERVER服務(wù)器名稱行SQL ServerManagement Studio可以）步驟2：點確定后，選擇“處理”，就可以成功部署了。

問題七：無法登陸界面如圖：

解決方法：嘗試了其他用戶登陸，就好了

二、心得體會

（1）在幾周的學習中，通過老師課堂上耐心細致的講解，耐心的指導我們?nèi)绾我徊揭徊降陌惭b軟件，以及老師那些簡單清晰明了的課件，是我了解了SQL的基礎(chǔ)知識，學會了如何創(chuàng)建數(shù)據(jù)庫，以及一些基本的數(shù)據(jù)應(yīng)用。陌生到熟悉的過程，從中經(jīng)歷了也體會到了很多感受，面臨不同的知識組織，我們也遇到不同困難。

數(shù)據(jù)隱藏著有價值的模式和信息，在以往的時間才能提取這些信息。如今的各種資源，如硬件、云結(jié)構(gòu)和開源軟件使得大數(shù)據(jù)的處理方法更為方便和廉價。大數(shù)據(jù)的規(guī)模是傳統(tǒng)IT架構(gòu)所面臨的直接挑戰(zhàn)。要求可擴展的儲存和分布方式來完成查詢。傳統(tǒng)的關(guān)系數(shù)據(jù)庫無法處

理大數(shù)據(jù)的規(guī)模。大數(shù)據(jù)進修學習內(nèi)容模板：

LINUX安裝，文件系統(tǒng)，系統(tǒng)性能分析 HAdoop學習原理

大數(shù)據(jù)飛速發(fā)展時代，做一個合格的大數(shù)據(jù)開發(fā)工程師，只有不斷完善自己，不斷提高自己技術(shù)水平，這是一門神奇的課程。

2、在學習SQL的過程中，讓我們明白了原來自己的電腦可以成為一個數(shù)據(jù)庫，也可以做很多意想不到的事。以及在學習的過程中讓我的動手能力增強了，也讓我更加懂得了原來電腦的世界是如此的博大精深，如此的神秘。通過這次的學習鍛煉了我們的動手能力，上網(wǎng)查閱的能力。改善了我只會用電腦上網(wǎng)的尷尬處境，是電腦的用處更大。讓我們的小組更加的團結(jié)，每個人對自己的分工更加的明確，也鍛煉了我們的團結(jié)協(xié)作，互幫互助的能力。

3、如果再有機會進行平臺搭建，會比這一次的安裝更加順手。而在導入數(shù)據(jù)庫和報表等方面也可以避免再犯相同的錯誤，在安裝lls時可以做的更好。相信報表分析也會做的更加簡單明了有條理。

總結(jié)，大數(shù)據(jù)時代是信息化社會發(fā)展必然趨勢，在大學的最后一學期里學習了這門課程是我們受益匪淺。讓我們知道了大數(shù)據(jù)大量的存在于現(xiàn)代社會生活中，隨著新興技術(shù)的發(fā)展與互聯(lián)網(wǎng)底層技術(shù)的革新，數(shù)據(jù)正在呈指數(shù)級增長，所有數(shù)據(jù)的產(chǎn)生形式，都是數(shù)字化。如何收集、管理和分析海量數(shù)據(jù)對于企業(yè)從事的一切商業(yè)活動都顯得尤為重要。

大數(shù)據(jù)時代是信息化社會發(fā)展必然趨勢，我們只有緊緊跟隨時代的發(fā)展才能在以后的工作生活中中獲得更多的知識和經(jīng)驗。

三、結(jié)語

敘述小組內(nèi)每個組員在這次的項目里各自分工和完成情況，組長需給組員打分，10分為滿分

第三篇：大數(shù)據(jù)時代心得體會

《大數(shù)據(jù)時代》心得體會

信息時代的到來，我們感受到的是技術(shù)變化日新月異，隨之而來的是生活方式的轉(zhuǎn)變，我們這樣評論著的信息時代已經(jīng)變?yōu)樵?jīng)。如今，大數(shù)據(jù)時代成為炙手可熱的話題。

信息和數(shù)據(jù)的定義。維基百科解釋：信息，又稱資訊，是一個高度概括抽象概念，是一個發(fā)展中的動態(tài)范疇，是進行互相交換的內(nèi)容和名稱，信息的界定沒有統(tǒng)一的定義，但是信息具備客觀、動態(tài)、傳遞、共享、經(jīng)濟等特性卻是大家的共識。數(shù)據(jù)：或稱資料，指描述事物的符號記錄，是可定義為意義的實體，它涉及到事物的存在形式。它是關(guān)于事件之一組離散且客觀的事實描述，是構(gòu)成信息和知識的原始材料。數(shù)據(jù)可分為模擬數(shù)據(jù)和數(shù)字數(shù)據(jù)兩大類。數(shù)據(jù)指計算機加工的“原料”，如圖形、聲音、文字、數(shù)、字符和符號等。從定義看來，數(shù)據(jù)是原始的處女地，需要耕耘。信息則是已經(jīng)處理過的可以傳播的資訊。信息時代依賴于數(shù)據(jù)的爆發(fā)，只是當數(shù)據(jù)爆發(fā)到無法駕馭的狀態(tài)，大數(shù)據(jù)時代應(yīng)運而生。

在大數(shù)據(jù)時代，大數(shù)據(jù)時代區(qū)別與轉(zhuǎn)變就是，放棄對因果關(guān)系的渴求，而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”，而不需要知道“為什么”。數(shù)據(jù)的更多、更雜，導致應(yīng)用主意只能盡量觀察，而不是傾其所有進行推理。小數(shù)據(jù)停留在說明過去，大數(shù)據(jù)用驅(qū)動過去來預測未來。數(shù)據(jù)的用途意在何為，與數(shù)據(jù)本身無關(guān)，而與數(shù)據(jù)的解讀者有關(guān)，而相關(guān)關(guān)系更有利于預測未來。大數(shù)據(jù)更多的體現(xiàn)在海量非結(jié)構(gòu)化數(shù)據(jù)本身與處理方法的整合。大數(shù)據(jù)更像是理論與現(xiàn)實齊頭并進，理論來創(chuàng)立處理非結(jié)構(gòu)化數(shù)據(jù)的方法，處理結(jié)果與未來進行驗證。大數(shù)據(jù)是在互聯(lián)網(wǎng)背景下數(shù)據(jù)從量變到質(zhì)變的過程。小數(shù)據(jù)時代也即是信息時代，是大數(shù)據(jù)時代的前提，大數(shù)據(jù)時代是升華和進化，本質(zhì)是相輔相成，而并非相離互斥。

數(shù)據(jù)未來的故事。數(shù)據(jù)的發(fā)展，給我們帶來什么預期和啟示？金融業(yè)業(yè)天然有大數(shù)據(jù)的潛質(zhì)?？蛻魯?shù)據(jù)、交易數(shù)據(jù)、管理數(shù)據(jù)等海量數(shù)據(jù)不斷增長，海量機遇和挑戰(zhàn)也隨之而來，適應(yīng)變革，適者生存。我們可以有更廣闊的學習空間、可以有更精準的決策判斷能力這些都基于數(shù)據(jù)的收集、整理、駕馭、分析能力，基于脫穎而出的創(chuàng)新思維和執(zhí)行。因此，建設(shè)“數(shù)據(jù)倉庫”，培養(yǎng)“數(shù)據(jù)思維”，養(yǎng)成“數(shù)據(jù)治理”，創(chuàng)造“數(shù)據(jù)融合”，實現(xiàn)“數(shù)據(jù)應(yīng)用”才能擁抱“大數(shù)據(jù)”時代，從數(shù)據(jù)中攫取價值，笑看風云變換，穩(wěn)健贏取未來。

第四篇：數(shù)據(jù)網(wǎng)學習心得體會

數(shù)據(jù)通信技術(shù)與維護管理學習心得體會

在我們的仔細聆聽中，我們期盼已久的培訓學習在我們的戀戀不舍中敲響了結(jié)尾的鐘聲。對于一個月的培訓課程，我想我只能用受益匪淺這四個字來形容了。老師們的博文廣識、生動講解、精彩案例無不在我的腦海里留下了深刻的印象，我只恨自己才疏學淺、文筆糟糕，不能夠?qū)⑺械母杏|都通過文字顯然于紙上。但是我還是盡力絞盡腦汁，以祈求能將培訓完后心中所想所獲能表達出來。

此次精彩的培訓學習主要心得有以下幾個方面：

一、讓自己更加了解數(shù)據(jù)通信系統(tǒng)，了解數(shù)據(jù)通信原理，了解局域網(wǎng)技術(shù)和網(wǎng)絡(luò)協(xié)議。

通過這次的培訓學習，我知道了是一個由分布在各地的數(shù)據(jù)終端設(shè)備、數(shù)據(jù)交換設(shè)備和數(shù)據(jù)傳輸鏈路構(gòu)成的網(wǎng)絡(luò)，其功能是在網(wǎng)絡(luò)協(xié)議支持下，實現(xiàn)數(shù)據(jù)終端間的數(shù)據(jù)傳輸和交換。數(shù)據(jù)通信網(wǎng)的組成包括:數(shù)據(jù)終端設(shè)備；數(shù)據(jù)交換設(shè)備；數(shù)據(jù)傳輸鏈路；通信協(xié)議。此外還掌握了網(wǎng)絡(luò)協(xié)議分析軟件的基本操作，并對ARP、TCP和UDP協(xié)議等做了基本的實作分析。

二、了解了綜合視頻監(jiān)控、會議電視等數(shù)據(jù)通信業(yè)務(wù) 綜合視頻監(jiān)控采用網(wǎng)絡(luò)化、數(shù)字化視頻監(jiān)控技術(shù)和IP傳輸方式構(gòu)建的視頻監(jiān)控系統(tǒng)，提供鐵路各業(yè)務(wù)部門和信息系統(tǒng)所需的視頻信息，實現(xiàn)網(wǎng)絡(luò)和視頻信息資源共享。全路現(xiàn)有視頻系統(tǒng)達500多個，安裝攝像機18524套。包括模擬和數(shù)字系統(tǒng)，除近年來建設(shè)的有青藏線路視頻監(jiān)視系統(tǒng)、客運專線、編組站及大站視頻監(jiān)視系統(tǒng)等，早期建設(shè)的視頻系統(tǒng)大部分沒有經(jīng)過聯(lián)網(wǎng)，僅為本地區(qū)單業(yè)務(wù)部門用戶服務(wù)。

視頻會議（會議電視）是視訊傳輸技術(shù)的典型應(yīng)用之一，一種在不同地點的用戶以電視的方式舉行會議，傳輸圖像、聲音和文件的通信方式。視頻會議具有節(jié)省時間、縮短空間、提高效率等優(yōu)點。視頻會議是現(xiàn)代計算機技術(shù)、通信技術(shù)和視頻技術(shù)完美結(jié)合的產(chǎn)物。

三、學習了綜合網(wǎng)管，數(shù)據(jù)網(wǎng)組網(wǎng)及相關(guān)技術(shù)規(guī)章，并了解了數(shù)據(jù)網(wǎng)常見故障分析及維護策略

網(wǎng)絡(luò)管理功能可概括為OAM﹠P，即網(wǎng)絡(luò)的操作(Operation)、管理(Administration)、維護(Maintenance)、服務(wù)提供(Provisioning)等所需要的各種活動。有時也只考慮前三種，即把網(wǎng)絡(luò)管理功能歸結(jié)為OAM.數(shù)據(jù)網(wǎng)網(wǎng)管的主要功能：對網(wǎng)絡(luò)中的設(shè)備進行配置管理，以利于運營維護；實現(xiàn)網(wǎng)絡(luò)的運行狀況監(jiān)控，包括：故障監(jiān)視、告警等功能；實現(xiàn)網(wǎng)絡(luò)的計費，例如：流量統(tǒng)計等；實現(xiàn)網(wǎng)絡(luò)的安全管理，例如：相關(guān)安全設(shè)置、用戶設(shè)置等。

鐵路IP數(shù)據(jù)網(wǎng)分為專用IP數(shù)據(jù)網(wǎng)和綜合IP數(shù)據(jù)網(wǎng)。專用IP數(shù)據(jù)網(wǎng)指獨立組網(wǎng)的信息網(wǎng)絡(luò)，包括：客票網(wǎng)、CTC/TDCS網(wǎng)、公安網(wǎng)、機要網(wǎng)等；鐵路數(shù)據(jù)通信網(wǎng)是綜合IP數(shù)據(jù)網(wǎng)（以下簡稱數(shù)據(jù)網(wǎng)），是鐵路信息業(yè)務(wù)及通信系統(tǒng)數(shù)據(jù)通信業(yè)務(wù)共用的數(shù)據(jù)通信基礎(chǔ)網(wǎng)絡(luò)平臺。

數(shù)據(jù)網(wǎng)應(yīng)承載鐵路信息化發(fā)展總體規(guī)劃中的客貨運營銷、經(jīng)營管理和部分運輸組織的信息應(yīng)用系統(tǒng)（包括：旅客信息服務(wù)信息系統(tǒng)、辦公信息化、運輸生產(chǎn)及調(diào)度指揮信息系統(tǒng)、各類監(jiān)測系統(tǒng)等），以及通信系統(tǒng)數(shù)據(jù)通信業(yè)務(wù)（包括：鐵路綜合視頻監(jiān)控系統(tǒng)、GSM-R GPRS、會議電視系統(tǒng)、網(wǎng)管系統(tǒng)、SIM卡管理等系統(tǒng)）。

四、最后我們學員間還進行了工作交流

通過交流我們互相之間了解了各鐵路局數(shù)據(jù)網(wǎng)的使用情況，并通過交流我們互相學習數(shù)據(jù)網(wǎng)的維護，從而提高了我對數(shù)據(jù)網(wǎng)維護工作的技術(shù)水平。以便以后能夠更好的進行工作。

學習是可貴的，培訓是精彩的。通過這次可貴而精彩的培訓學習，我們向鐵路數(shù)據(jù)通信更進了一步。感嘆與憧憬之余，我想我們只有靠自己的聰明與才智、努力與勤奮去建設(shè)好鐵路，為我們的鐵路數(shù)據(jù)通信更好的發(fā)展貢獻自己微薄的力量。

太原通信段技術(shù)支持中心

武威

2013年12月13日

第五篇：數(shù)據(jù)挖掘心得體會

心得體會

這次數(shù)據(jù)挖掘?qū)嶒灲Y(jié)束了，期間我們小組明確分工并積極去完成，雖然有點辛苦，但我感覺充實而有收獲感！

根據(jù)老師給的一些資料，我們決定采用SQL Server 2000中的Northwind數(shù)據(jù)庫里的數(shù)據(jù)作為我們的實驗數(shù)據(jù)。根據(jù)表Order Details中的數(shù)據(jù)，我們分別根據(jù)ProductID和OrderID字段，并結(jié)合我們規(guī)定的最小支持度閥值對數(shù)據(jù)進行篩選。依次篩選出1項頻繁集、2項頻繁集和3項頻繁集，其中還會使用游標的方式來遍歷2項集與3項集的候選集，分別選出2項頻繁集和3項頻繁集。

由于數(shù)據(jù)較多，因此過程比較復雜，要編寫很多的查詢語句，建立許多數(shù)據(jù)表，包括臨時表。開始不知道則操作，但經(jīng)過我們各自多次重復的建表與查詢，逐漸的理解和有了自己的思路。尤其是在運用游標的方法進行遍歷這塊，因為我們比較陌生而不理解，操作時一時無法實現(xiàn)結(jié)果，但經(jīng)過我們在網(wǎng)上查詢了解相關(guān)知識，最終得以解決。

經(jīng)過該次實驗，使我對數(shù)據(jù)庫的操作更加熟練，而且還使我對課本上的“挖掘頻繁模式”這塊知識有了很好的掌握，今后我會多做實驗，使我在實際操作過程中學得更好！