第一篇：密碼學心得體會(DES數(shù)據(jù)算法)

現(xiàn)代密碼學小論文

姓名：肖寬 學號：P111813618

專業(yè)：11級電子信息工程二班

指導教師：李娟

數(shù)據(jù)的DES加密算法

摘要：

密碼學是研究如何隱密地傳遞信息的學科。在現(xiàn)代特別指對信息以及其傳輸?shù)臄?shù)學性研究，常被認為是數(shù)學和計算機科學的分支，和信息論也密切相關。著名的密碼學者Ron Rivest解釋道：“密碼學是關于如何在敵人存在的環(huán)境中通訊，自工程學角度，這相當于密碼學與純數(shù)學的異同。密碼學是信息安全等相關議題，如認證，訪問控制的核心。密碼學的首要目的是隱藏信息的涵義，并不是隱藏信息的存在。密碼學也是促進計算機科學，特別是在于電腦與網(wǎng)絡安全所使用的技術，如訪問控制與信息的機密性。密碼學已經(jīng)被應用在日常生活：包括自動柜員機的芯片卡，電腦使用者存取密碼，電子商務等等。本文以DES數(shù)據(jù)加密算法為例，演示如何使用c#中的加密包進行DES算法加密，關鍵詞：加密 對稱 非對稱DES 密鑰 明文

20世紀70年代，主機時代的信息安全是面向單機的，由于早期的用戶主要是軍方，信息安全的主要內(nèi)容是保密，20世紀80年代，微機和局域網(wǎng)的興起帶來了信息在微機間的傳輸和用戶間的共享問題，豐富了信息安全的內(nèi)函，使人們認識到數(shù)據(jù)完整性，可用性的重要性。安全服務，安全機制等基本框架成為信息安全的重要內(nèi)容。20世紀90年代，因特網(wǎng)爆炸性的發(fā)展把人類帶進了一個新生的生存空間。因特網(wǎng)具有高度分布，邊界模糊，層次欠清，動態(tài)演化，而用戶又在其中扮演主角的特點，如何處理好這一復雜而又巨大的系統(tǒng)的安全，成為信息安全的主要問題。21世紀是信息時代，信息已經(jīng)成為社會發(fā)展的重要戰(zhàn)略資源，社會的信息已經(jīng)成為當今世界發(fā)展的潮流和核心，而信息安全在信息社會中 2 將扮演極為重要的角色，它會直接關系到國家安全，企業(yè)經(jīng)營和人們的日常生活。

信息安全可分為系統(tǒng)安全，數(shù)據(jù)安全和內(nèi)容安全三個層次，是一個綜合，交叉的學科領域，要利用數(shù)學，電子，信息，通信，計算機等諸多學科的長期知識積累和最新發(fā)展成果。隨著信息安全的快速發(fā)展，全球?qū)π畔踩瞬诺男枨蟛粩嘣黾樱覈鸩捷^晚，目前信息安全人才極度匱乏，遠遠不能滿足金融，商業(yè)，公共安全，國防軍事和政府等部門的需求。要解決供需矛盾，必須加快信息安全人才的培養(yǎng)，以滿足社會對信息安全人才的需求。而我作為一名21世紀的大學生，有機會學到了密碼學這門課，從這門課中，我學到了很多有用的知識，讓自己受益匪淺。

經(jīng)過半學期的學習，我了解了密碼學的大致內(nèi)容，掌握了密碼學的基礎知識，密碼學主要有以下章節(jié)：

1密碼學概述 2流密碼 3分組密碼體制 4公鑰密碼

5密鑰分配與密鑰管理

按照密鑰方式劃分，可分為對稱加密算法和非對稱加密算法。

一、對稱加密算法

對稱加密算法有時又叫做傳統(tǒng)密碼算法，加密密鑰可以從解密密鑰中推導出來，解密密鑰也可以從加密密鑰中推導出來。在大多數(shù)的對稱算法中 加密密鑰和解密密鑰是相同的，因此也成為秘密密鑰算法或者單密鑰算法。它要求發(fā)送發(fā)和接收方在安全通信之前先商定一個密鑰。對稱算法的安全性依賴于密鑰．所以密鑰的保密性對通信至關重要。對稱加密算法主要有分組加密和流加密兩類。分 3 組加密是指將明文分成固定商都的組，用同一密鑰分別對每一組加密．輸出固定長度的密文 典型代表：DES。

二、非對稱加密算法

非對稱加密算法有時又叫做公開密鑰算法。其中用到兩個密鑰。一個是公共的。一個事私有的。一個密鑰用于加密，另一個密鑰用于解密。兩個密鑰不能夠互相推導。常用的非對稱加密算法有RSA公鑰算法、Diffie-HelIman算法和ECC橢圓曲線密碼。

以下具體介紹DES算法：

我們詳細分析一下DES加密算法的處理過程。DES加密算法是分組加密算法．明文以64位為單位分成塊。64位數(shù)據(jù)在64位密鑰的控制下．經(jīng)過初始變換后 進行1 6輪加密迭代：64位數(shù)據(jù)被分成左右兩半部分．每部分32位，密鑰與右半部分相結合．然后再與左半部分相結合．結果作為新的右半部分：結合前的右半部分作為新的左半部分。這一系列步驟組成一輪。這種輪換要重復16次。最后一輪之后，再進行初始置換的逆置換，就得到了64位的密文。DES的加密過程可分為加密處理．加密變換和子密鑰生成幾個部分組成。1．加密處理過程

（1）初始變換。加密處理首先要對64位的明文按表1所示的初始換位表IP進行變換。表中的數(shù)值表示輸入位被置換后的新位置。例如輸入的第58位，在輸出的時候被置換到第1位；輸入的是第7位，在輸出時被置換到第64位。

(2)加密處理。上述換位處理的輸出，中間要經(jīng)過1 6輪加密變換。初始換位的64位的輸出作為下一次的輸入，將64位分為左、右兩個32位，分別記為LO和RO 從L0、RO到L1

6、R16，共進行1 6輪加密變換。其中，經(jīng)過n輪處理后的點左右 4 32位分別為Ln和Rn．則可做如下定義：Ln=Rn-1Rn=Ln一1其中．kn是向第n輪輸入的48位的子密鑰，Ln-1和Rn-1分別是第n-1輪的輸出 f是Mangler函數(shù)。(3)最后換位。進行1 6輪的加密變換之后，將L1 6和R1 6合成64位的數(shù)據(jù)．再按照表2所示的最后換位表進行IP一1的換位 得到64位的密文 這就是DES算法加密的結果。2．加密變換過程

通過重復某些位將32位的右半部分按照擴展表3擴展換位表擴展為48位．而56位的密鑰先移位然后通過選擇其中的某些位減少至48位．48位的右半部分通過異或操作和48位的密鑰結合．并分成6位的8個分組．通過8個S一盒將這48位替代成新的32位數(shù)據(jù)，再將其置換一次。這些s一盒輸入6位，輸出4位。3.子密鑰產(chǎn)生過程

鑰通常表示為64位自然數(shù)，首先通過壓縮換位，去掉每個字節(jié)的第八位，用作奇偶校驗，因此，密鑰去掉8,16,24,…..減至56位，所以實際密鑰長度為56位，而每輪要生成48位的子密鑰。輸入的64位密鑰，首先通過減壓換位得到56位的密鑰，每層分成兩部分，上部分28位為C0，下部分為D0。C0和D0依次進行循環(huán)左移操作生成C1和D1，將C1和D1合成56位，再通過壓縮換位PC-2輸出48位的子密鑰K1，再將將C1和D1進行循環(huán)左移和PC-2壓縮位，得到子密鑰K2….以此類推，得到16個子密鑰。4．解密處理過程

從密文到明文的解密過程可采用與加密完全相同的算法。不過解密要用加密的逆變換．就是把上面的最后換位表和初始換位表完全倒過來變換。

使用以下實例演示了如何使用c# 中的加密包進行DES算法加密。

des_ demo CS代碼如下： using System ；

using System.Security.Cryptography； using System.IO； using System.Text;public class EncryptsngDES { pubIic static void Main(String[]args){ if(args Length< 1){ Console Wri reLine(“fUsage：des_demoencrypt> ”args[0])； return．} UTF8Encoding utf8Encoding= new UTF8Encoding()：

byte[]inputByteArray= utf8Encoding GetBytes(args[0]．ToCharArray())： DES des= DES Create()：

Byte[]key= {0x01,0x23,0x45,0x67,0x89,0xab,0xcd Oxef};Byte[]IV= {0x12,0x34,0x56,0x78,0x90,0xab,Oxcd,Oxef};Des.Key = key;Des.lV = 1V;SymmetricStreamEncryptor sse= des.CreateEncryptor();CryptoMemoryStream cms= new CryptoMemoryStream();Sse.SetSink(cms);sse.Write(inputByteArray);sse.CloseSt ream();6 byte[1] encryptedData= cms.Data;Console WdteLine(”加密結果：”);for(int i= 0;i< encryptedData,Length;i++){Console．Write(“{0：X2l”.encryptedData[i]);} Console WriteLine();SymmetricStreamDecryptor ssd = des.CreateDecryptor();cms= new CryptoMemoryStream();ssd.SetSink(cms);ssd.Write(encryptedData);ssd.CIoseStream();byte[]decryptedData;cms.Data char[]decryptedCharArray=utf8Encoding.GetChars(decryptedData);Console.WriteUne(”解密后數(shù)據(jù)：”)； Console.Write(decryptedCharArray);Console.WriteLiRe();} } 編譯,運行后: 使用C#編寫DES加密程序的framework 加密結果：3D 22 64 C6 57 D1 C4 C3 CF 77 CE 2F D0 E1 78 2A 4D ED 7A AB 83 F9 0E 14 E1 BA 38 7B 06 41 8D B5 E9 3F 00 0D C3 28 D1 F9 6D 17 4B 6E A7 41 68 40 解密后的數(shù)據(jù)：

使用C#編寫DES加密程序的framework DES算法的安全性極高，到目前為止，除了用窮舉搜索法對DES算法進行攻擊外，還沒有發(fā)現(xiàn)更有效的辦法。通過窮舉搜索空間，可獲得總共256個可能的密鑰。如果每一秒能檢測一百萬個的話，需要2000年才能完成檢測。可見，這是很難實現(xiàn)的。隨著科學技術的發(fā)展，超級計算機可能會破解，但我們可以增加DES密鑰的長度，以此達到保密性。密碼學應用廣泛，滲透到社會的各個領域，了解密碼學的基礎知識，學習密碼學的基本技術，會對我們了解信息安全有很大的益處，就目前而言，我們的一些私人信息如身份證號，銀行卡密碼，手機號，還有平時愛玩的QQ賬號密碼等都是很有幫助的。因此，我逐漸對密碼學有了濃厚的興趣，盡管有很多不理解的知識，但這并不妨礙我對密碼學的熱愛，有道是書山有路勤為徑，學海無涯苦作舟，我相信只要有著正確的學習態(tài)度和學習方法，加上自己堅韌不拔的意志，在平時生活學習當中再加以運用，就一定可以學好密碼學。參考文獻：

（1）http://baike.baidu.com/view/25311.htm?fr=aladdin（2）楊波.現(xiàn)代密碼學（第二版）.清華大學出版社（3）計算機網(wǎng)絡安全技術（第二版）?？茖W出版社（4）蔡立軍計算機網(wǎng)絡安全技術．中國水利水電出版社

第二篇：大數(shù)據(jù)算法及臨床應用(定稿)

“大數(shù)據(jù)算法及臨床應用”學術講座通知

主題：Big Data Algorithms and Clinical Applications(大數(shù)據(jù)算法及臨床應用）

講座人：美國華盛頓大學計算機系副教授 陳一昕博士 時間：2014年10月20日（周一）下午14：30 地點：湖北工業(yè)大學科技樓二樓圓形報告廳

歡迎全校對講座主題感興趣的師生參加！

[陳一昕簡介] 陳一昕博士，中國科技大學少年班本科畢業(yè)，美國伊利諾大學香檳分校獲計算機科學博士學位，導師為華云生教授。現(xiàn)任美國華盛頓大學計算機系副教授，終身教授，北京協(xié)和醫(yī)院衛(wèi)生統(tǒng)計學博導，中國聯(lián)通研究院大數(shù)據(jù)首席科學家。

研究領域為數(shù)據(jù)挖掘、機器學習、優(yōu)化算法、規(guī)劃調(diào)度、人工智能、博弈論、云計算等。在AIJ、JAIR、TKDE、TKDD、TIST、TPDS等國際一流期刊和VLDB、AAAI、KDD、IJCAI、ICML、RTSS等國際頂級會議和上發(fā)表論文100余篇。其研究連續(xù)獲得美國國家科學基金委、美國能源部、美國國家衛(wèi)生局、美國能源研究科學計算中心、美國微軟公司、美國斯隆凱特琳癌癥中心、美國巴恩猶太醫(yī)院基金、中國科技部973項目的資助。曾獲KDD(2014)、AAAI(2010)、ICTAI(2005)、ICMLC(2004)等國際會議的最佳論文獎，以及ICDM(2013)、RTAS(2012)、KDD(2009)、ITA(2004)等國際會議的最佳論文獎提名。其開創(chuàng)性的研究工作獲得了美國微軟青年教授獎(2007)和美國能源部杰出青年教授獎(2006)。

現(xiàn)擔任美國國家科學基金委，香港研究基金委，奧地利國家科學基金委，瑞士國家科學基金委，卡塔爾國家基金委，中國科技部科技評估中心的評審委員。中國科技大學所承擔的教育部111引智計劃專家組八位專家成員之一，中國計算機學會大數(shù)據(jù)專家委員會首屆委員之一。數(shù)據(jù)挖掘和人工智能領域的一流期刊JAIR、TKDE、TIST的編委，以及ICML、KDD、AAAI、IJCAI、ICDM、SDM等一流國際會議的程序委員會委員。[講座摘要] In the era of big data, we need novel algorithms on top of the supporting platform.In this talk, I will first discuss some key aspects of big data algorithms in general.Then, I will talk about our recent medical big data project as a case study.Early detection of clinical deterioration is essential to improving clinical outcome.In this project, we develop new algorithms for clinical early warning by mining massive clinical records in hospital databases.The research focuses on the large population of patients in the general hospital wards, who are not in the intensive care units and suffer from infrequent monitoring.I will discuss the challenges this big data application poses to traditional machine learning and data mining algorithms, our recent progress, and the lessons we learnt.Promising results on real-life clinical trials at the Barnes-Jewish Hospital(the eighth largest hospital in the United States)will be discussed.邀請人 ： 計算機學院 陳建峽副教授

第三篇：18大經(jīng)典數(shù)據(jù)挖掘算法小結

18大經(jīng)典數(shù)據(jù)挖掘算法小結

2015-03-05 CSDN大數(shù)據(jù) CSDN大數(shù)據(jù)

csdnbigdataCSDN分享Hadoop、Spark、NoSQL/NewSQL、HBase、Impala、內(nèi)存計算、流計算、機器學習和智能算法等相關大數(shù)據(jù)觀點，提供云計算和大數(shù)據(jù)技術、平臺、實踐和產(chǎn)業(yè)信息等服務。本文所有涉及到的數(shù)據(jù)挖掘代碼的都放在了github上了。

地址鏈接: https://github.com/linyiqun/DataMiningAlgorithm 大概花了將近2個月的時間，自己把18大數(shù)據(jù)挖掘的經(jīng)典算法進行了學習并且進行了代碼實現(xiàn)，涉及到了決策分類，聚類，鏈接挖掘，關聯(lián)挖掘，模式挖掘等等方面。也算是對數(shù)據(jù)挖掘領域的小小入門了吧。下面就做個小小的總結，后面都是我自己相應算法的博文鏈接，希望能夠幫助大家學習。

1.C4.5算法。C4.5算法與ID3算法一樣，都是數(shù)學分類算法，C4.5算法是ID3算法的一個改進。ID3算法采用信息增益進行決策判斷，而C4.5采用的是增益率。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/42395865 2.CART算法。CART算法的全稱是分類回歸樹算法，他是一個二元分類，采用的是類似于熵的基尼指數(shù)作為分類決策，形成決策樹后之后還要進行剪枝，我自己在實現(xiàn)整個算法的時候采用的是代價復雜度算法，詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/42558235 3.KNN(K最近鄰)算法。給定一些已經(jīng)訓練好的數(shù)據(jù)，輸入一個新的測試數(shù)據(jù)點，計算包含于此測試數(shù)據(jù)點的最近的點的分類情況，哪個分類的類型占多數(shù)，則此測試點的分類與此相同，所以在這里,有的時候可以復制不同的分類點不同的權重。近的點的權重大點，遠的點自然就小點。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/42613011 4.Naive Bayes(樸素貝葉斯)算法。樸素貝葉斯算法是貝葉斯算法里面一種比較簡單的分類算法，用到了一個比較重要的貝葉斯定理，用一句簡單的話概括就是條件概率的相互轉(zhuǎn)換推導。詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/42680161 5.SVM(支持向量機)算法。支持向量機算法是一種對線性和非線性數(shù)據(jù)進行分類的方法，非線性數(shù)據(jù)進行分類的時候可以通過核函數(shù)轉(zhuǎn)為線性的情況再處理。其中的一個關鍵的步驟是搜索最大邊緣超平面。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/42780439 6.EM(期望最大化)算法。期望最大化算法，可以拆分為2個算法，1個E-Step期望化步驟,和1個M-Step最大化步驟。他是一種算法框架，在每次計算結果之后，逼近統(tǒng)計模型參數(shù)的最大似然或最大后驗估計。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/42921789 7.Apriori算法。Apriori算法是關聯(lián)規(guī)則挖掘算法，通過連接和剪枝運算挖掘出頻繁項集，然后根據(jù)頻繁項集得到關聯(lián)規(guī)則，關聯(lián)規(guī)則的導出需要滿足最小置信度的要求。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43059211 8.FP-Tree(頻繁模式樹)算法。這個算法也有被稱為FP-growth算法，這個算法克服了Apriori算法的產(chǎn)生過多侯選集的缺點，通過遞歸的產(chǎn)生頻度模式樹，然后對樹進行挖掘，后面的過程與Apriori算法一致。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43234309 9.PageRank(網(wǎng)頁重要性/排名)算法。PageRank算法最早產(chǎn)生于Google,核心思想是通過網(wǎng)頁的入鏈數(shù)作為一個網(wǎng)頁好快的判定標準，如果1個網(wǎng)頁內(nèi)部包含了多個指向外部的鏈接，則PR值將會被均分，PageRank算法也會遭到Link Span攻擊。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43311943 10.HITS算法。HITS算法是另外一個鏈接算法，部分原理與PageRank算法是比較相似的，HITS算法引入了權威值和中心值的概念，HITS算法是受用戶查詢條件影響的，他一般用于小規(guī)模的數(shù)據(jù)鏈接分析，也更容易遭受到攻擊。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43311943 11.K-Means(K均值)算法。K-Means算法是聚類算法，k在在這里指的是分類的類型數(shù)，所以在開始設定的時候非常關鍵，算法的原理是首先假定k個分類點，然后根據(jù)歐式距離計算分類，然后去同分類的均值作為新的聚簇中心，循環(huán)操作直到收斂。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43373159 12.BIRCH算法。BIRCH算法利用構建CF聚類特征樹作為算法的核心，通過樹的形式，BIRCH算法掃描數(shù)據(jù)庫，在內(nèi)存中建立一棵初始的CF-樹，可以看做數(shù)據(jù)的多層壓縮。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43532111 13.AdaBoost算法。AdaBoost算法是一種提升算法，通過對數(shù)據(jù)的多次訓練得到多個互補的分類器，然后組合多個分類器，構成一個更加準確的分類器。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43635115 14.GSP算法。GSP算法是序列模式挖掘算法。GSP算法也是Apriori類算法，在算法的過程中也會進行連接和剪枝操作，不過在剪枝判斷的時候還加上了一些時間上的約束等條件。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43699083 15.PreFixSpan算法。PreFixSpan算法是另一個序列模式挖掘算法，在算法的過程中不會產(chǎn)生候選集，給定初始前綴模式，不斷的通過后綴模式中的元素轉(zhuǎn)到前綴模式中，而不斷的遞歸挖掘下去。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43766253 16.CBA(基于關聯(lián)規(guī)則分類)算法。CBA算法是一種集成挖掘算法，因為他是建立在關聯(lián)規(guī)則挖掘算法之上的，在已有的關聯(lián)規(guī)則理論前提下，做分類判斷，只是在算法的開始時對數(shù)據(jù)做處理，變成類似于事務的形式。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43818787 17.RoughSets(粗糙集)算法。粗糙集理論是一個比較新穎的數(shù)據(jù)挖掘思想。這里使用的是用粗糙集進行屬性約簡的算法，通過上下近似集的判斷刪除無效的屬性，進行規(guī)制的輸出。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43876001 18.gSpan算法。gSpan算法屬于圖挖掘算法領域。，主要用于頻繁子圖的挖掘，相較于其他的圖算法，子圖挖掘算法是他們的一個前提或基礎算法。gSpan算法用到了DFS編碼，和Edge五元組，最右路徑子圖擴展等概念，算法比較的抽象和復雜。

詳細介紹鏈接：http://blog.csdn.net/androidlushangderen/article/details/43924273

第四篇：大數(shù)據(jù)心得體會

大數(shù)據(jù)時代的信息分析平臺搭建安裝報告

一、平臺搭建

描述小組在完成平臺安裝時候遇到的問題以及如何解決這些問題的，要求截圖加文字描述。

問題一：在決定選擇網(wǎng)站綁定時，當時未找到網(wǎng)站綁定的地方。解決辦法：之后小組討論后，最終找到網(wǎng)站綁定的地方，點擊后解決了這個問題。

問題二：當時未找到TCP/IP屬性這一欄

解決辦法：當時未找到TCP/IP屬性這一欄，通過老師的幫助和指導，順利的點擊找到了該屬性途徑，啟用了這一屬性，完成了這一步的安裝步驟。

問題三：在數(shù)據(jù)庫這一欄中，當時未找到“foodmartsaleDW”這個文件

解決辦法：在數(shù)據(jù)庫這一欄中，當時未找到“foodmartsaleDW”這個文件，后來詢問老師后，得知該文件在第三周的文件里，所以很快的找到了該文件，順利的進行了下一步

問題四：在此處的SQL server的導入和導出向?qū)?，這個過程非常的長。

解決辦法：在此處的SQL server的導入和導出向?qū)?，這個過程非常的長，當時一直延遲到了下課的時間，小組成員經(jīng)討論，懷疑是否是電腦不兼容或其他問題，后來經(jīng)問老師，老師說此處的加載這樣長的時間是正常的，直到下課后，我們將電腦一直開著到寢室直到軟件安裝完為止。

問題五：問題二：.不知道維度等概念，不知道怎么設置表間關系的數(shù)據(jù)源。關系方向不對

解決辦法：百度維度概念，設置好維度表和事實表之間的關系，關系有時候是反的——點擊反向，最后成功得到設置好表間關系后的數(shù)據(jù)源視圖。（如圖所示）

這個大圖當時完全不知道怎么做，后來問的老師，老師邊講邊幫我們操作完成的。

問題六：由于發(fā)生以下連接問題，無法將項目部署到“l(fā)ocalhost”服務器:無法建立連接。請確保該服務器正在運行。若要驗證或更新目標服務器的名稱，請在解決方案資源管理器中右鍵單擊相應的項目、選擇“項目屬性”、單擊“部署”選項卡，然后輸入服務器的名稱。”因為我在配置數(shù)據(jù)源的時候就無法識別“l(fā)ocalhost”，所以我就打開數(shù)據(jù)庫屬性頁面：圖1-圖2 圖一：

圖二：

解決辦法：解決辦法: 圖2步驟1：從圖1到圖2后，將目標下的“服務器” 成自己的SQL SERVER服務器名稱行SQL ServerManagement Studio可以）步驟2：點確定后，選擇“處理”，就可以成功部署了。

問題七：無法登陸界面如圖：

解決方法：嘗試了其他用戶登陸，就好了

二、心得體會

（1）在幾周的學習中，通過老師課堂上耐心細致的講解，耐心的指導我們?nèi)绾我徊揭徊降陌惭b軟件，以及老師那些簡單清晰明了的課件，是我了解了SQL的基礎知識，學會了如何創(chuàng)建數(shù)據(jù)庫，以及一些基本的數(shù)據(jù)應用。陌生到熟悉的過程，從中經(jīng)歷了也體會到了很多感受，面臨不同的知識組織，我們也遇到不同困難。

數(shù)據(jù)隱藏著有價值的模式和信息，在以往的時間才能提取這些信息。如今的各種資源，如硬件、云結構和開源軟件使得大數(shù)據(jù)的處理方法更為方便和廉價。大數(shù)據(jù)的規(guī)模是傳統(tǒng)IT架構所面臨的直接挑戰(zhàn)。要求可擴展的儲存和分布方式來完成查詢。傳統(tǒng)的關系數(shù)據(jù)庫無法處

理大數(shù)據(jù)的規(guī)模。大數(shù)據(jù)進修學習內(nèi)容模板：

LINUX安裝，文件系統(tǒng)，系統(tǒng)性能分析 HAdoop學習原理

大數(shù)據(jù)飛速發(fā)展時代，做一個合格的大數(shù)據(jù)開發(fā)工程師，只有不斷完善自己，不斷提高自己技術水平，這是一門神奇的課程。

2、在學習SQL的過程中，讓我們明白了原來自己的電腦可以成為一個數(shù)據(jù)庫，也可以做很多意想不到的事。以及在學習的過程中讓我的動手能力增強了，也讓我更加懂得了原來電腦的世界是如此的博大精深，如此的神秘。通過這次的學習鍛煉了我們的動手能力，上網(wǎng)查閱的能力。改善了我只會用電腦上網(wǎng)的尷尬處境，是電腦的用處更大。讓我們的小組更加的團結，每個人對自己的分工更加的明確，也鍛煉了我們的團結協(xié)作，互幫互助的能力。

3、如果再有機會進行平臺搭建，會比這一次的安裝更加順手。而在導入數(shù)據(jù)庫和報表等方面也可以避免再犯相同的錯誤，在安裝lls時可以做的更好。相信報表分析也會做的更加簡單明了有條理。

總結，大數(shù)據(jù)時代是信息化社會發(fā)展必然趨勢，在大學的最后一學期里學習了這門課程是我們受益匪淺。讓我們知道了大數(shù)據(jù)大量的存在于現(xiàn)代社會生活中，隨著新興技術的發(fā)展與互聯(lián)網(wǎng)底層技術的革新，數(shù)據(jù)正在呈指數(shù)級增長，所有數(shù)據(jù)的產(chǎn)生形式，都是數(shù)字化。如何收集、管理和分析海量數(shù)據(jù)對于企業(yè)從事的一切商業(yè)活動都顯得尤為重要。

大數(shù)據(jù)時代是信息化社會發(fā)展必然趨勢，我們只有緊緊跟隨時代的發(fā)展才能在以后的工作生活中中獲得更多的知識和經(jīng)驗。

三、結語

敘述小組內(nèi)每個組員在這次的項目里各自分工和完成情況，組長需給組員打分，10分為滿分

第五篇：大數(shù)據(jù)心得體會

大數(shù)據(jù)心得體會

早在2007年，人類制造的信息量有史以來第一次在理論上超過可用存儲空間總量，近幾年兩者的剪刀差越來越大。2010年，全球數(shù)字規(guī)模首次達到了“ZB”（1ZB＝1024TB）級別。2012年，淘寶網(wǎng)每天在線商品數(shù)超過8億件。2013年底，中國手機網(wǎng)民超過6億戶。隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、傳感器、物聯(lián)網(wǎng)、社交網(wǎng)站、云計算等的興起，我們這個社會的幾乎所有方面都已數(shù)字化，產(chǎn)生了大量新型、實時的數(shù)據(jù)。無疑，我們已身處在大數(shù)據(jù)的海洋。

有兩個重要的趨勢使得目前的這個時代（大數(shù)據(jù)時代）與之前有顯著的差別：其一，社會生活的廣泛數(shù)字化，其產(chǎn)生數(shù)據(jù)的規(guī)模、復雜性及速度都已遠遠超過此前的任何時代；其二，人類的數(shù)據(jù)分析技術和工藝使得各機構、組織和企業(yè)能夠以從前無法達到的復雜度、速度和精準度從龐雜的數(shù)據(jù)中獲得史無前例的洞察力和預見性。

大數(shù)據(jù)是技術進步的產(chǎn)物，而其中的關鍵是云技術的進步。在云技術中，虛擬化技術乃最基本、最核心的組成部份。計算虛擬化、存儲虛擬化和網(wǎng)絡虛擬化技術，使得大數(shù)據(jù)在數(shù)據(jù)存儲、挖掘、分析和應用分享等方面不僅在技術上可行，在經(jīng)濟上也可接受。

在人類文明史上，人類一直執(zhí)著探索我們處的世界以及人類自身，一直試圖測量、計量這個世界以及人類自身，試圖找到隱藏其中的深刻關聯(lián)、運行規(guī)律及終極答案。大數(shù)據(jù)以其人類史上從未有過的龐大容量、極大的復雜性、快速的生產(chǎn)及經(jīng)濟可得性，使人類第一次試圖從總體而非樣本，從混雜性而非精確性，從相關關系而非因果關系來測量、計量我們這個世界。人類的思維方式、行為方式及社會生活的諸多形態(tài)（當然包括商業(yè)活動）正在開始發(fā)生新的變化。或許是一場革命性、顛覆性的變化。從這個意義上講，大數(shù)據(jù)不僅是一場技術運動，更是一次哲學創(chuàng)新。1 大數(shù)據(jù)的概述

1.1 大數(shù)據(jù)的概念

大數(shù)據(jù)（Big Data）是指那些超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉(zhuǎn)輸速度要求很高，或者其結構不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取大數(shù)據(jù)中的價值，我們必須選擇另一種方式來處理它。

數(shù)據(jù)中隱藏著有價值的模式和信息，在以往需要相當?shù)臅r間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業(yè)都要付高昂的代價才能從大數(shù)據(jù)中挖掘信息。而當今的各種資源，如硬件、云架構和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價格租用云服務時間了。

對于企業(yè)組織來講，大數(shù)據(jù)的價值體現(xiàn)在兩個方面：分析使用和二次開發(fā)。對大數(shù)據(jù)進行分析能揭示隱藏其中的信息，例如零售業(yè)中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數(shù)據(jù)的二次開發(fā)則是那些成功的網(wǎng)絡公司的長項。例如Facebook通過結合大量用戶信息，定制出高度個性化的用戶體驗，并創(chuàng)造出一種新的廣告模式。這種通過大數(shù)據(jù)創(chuàng)造出新產(chǎn)品和服務的商業(yè)行為并非巧合，谷歌、雅虎、亞馬遜和Facebook，它們都是大數(shù)據(jù)時代的創(chuàng)新者。

1.2 大數(shù)據(jù)的三層關系

第一層關系：數(shù)據(jù)與機器的關系。大數(shù)據(jù)紀元剛開始，產(chǎn)業(yè)界碰到的第一個核心問題就是“大”的問題。做了幾十年的數(shù)據(jù)倉庫甚至海量并行處理的數(shù)據(jù)庫都不能處理那么大的數(shù)據(jù)，怎么辦？需要范式切換。主要有三個方面，新型的數(shù)據(jù)與機器關系當中的第一條就是重新考慮架構與算法，重新考慮舍得，有舍才能得，天下沒有免費的午餐，所以必須要舍棄一些，得到一些新的。必須舍棄貴族化的高端小型機和UNIX服務器，得到平民化的更大量的X86服務器。通過這樣一種可橫向、可水平擴展服務器處理每兩年翻番的數(shù)據(jù)量的挑戰(zhàn)。第二個舍得是舍棄硬件的可靠性和可用性，得到軟件的可靠性和可用性。這也就是谷歌三大論文以及Hadoop的核心重點。第三個舍得是舍棄傳統(tǒng)數(shù)據(jù)庫的強一致性，獲得更放松一致性、可擴展架構，如NoSQL。第四個舍得是傳統(tǒng)算法強調(diào)非常嚴格的精確性，現(xiàn)在要放棄一些精確性，通過近似、采樣這種方式來獲得更好的擴展性。

最早大數(shù)據(jù)的處理范式是Mapreduce的批量處理，英特爾慢慢有其他的需求，實時的流處理、多迭代的處理、圖計算、即時查詢等等新的范式百花齊放，最后萬法歸宗。剛才王斌老師將講的SAP的HANA本身就是數(shù)據(jù)管理和分析的融合，現(xiàn)在非常流行的Hadoop之后的SPARK，就是把前面的各種范式進行了融合。存儲與內(nèi)存的消長，大數(shù)據(jù)第一個要解決把數(shù)據(jù)存儲下來，后來發(fā)現(xiàn)要把它放到大的內(nèi)存里進行處理，獲得實時性，接著在存儲和內(nèi)存之間現(xiàn)在又出現(xiàn)了閃存，有閃存化甚至全閃存的存儲，也有閃存化的內(nèi)存，把所有的計算在閃存里面處理，已經(jīng)被微軟、Facebook等等大量使用。大家可以預期，兩年以后出現(xiàn)新的非易失性的閃存，它的速度可能要比閃存快幾百倍，和內(nèi)存相似，這又會極大地顛覆數(shù)據(jù)與機器的關系。

第二層關系：數(shù)據(jù)與人的關系。主要是價值的覺醒，如果數(shù)據(jù)不能產(chǎn)生價值它可能是負面資產(chǎn)。數(shù)據(jù)怎么能夠給人帶來價值？我們介紹一下它的價值維度，把它映射到二維的時空象限里，用六個關鍵詞來描述它。第一是“Volume”，兩個關鍵詞，小數(shù)據(jù)見微對個人進行刻劃，大數(shù)據(jù)知著能夠了解宏觀規(guī)律，它是空間概念，同時也是時間概念，數(shù)據(jù)剛剛產(chǎn)生的時候，它的個性化價值、見微的價值最大，而隨著時間的推移，它漸漸退化到只有集合價值。第二是Velocity，時間軸的原點是當下實時價值，副軸是過往，正軸是預測未來，如果知道知前后就能夠做到萬物的皆明。第三是Variety，多源異質(zhì)的數(shù)據(jù)，能夠過濾噪聲、查漏補缺、去偽存真，就是辯訛。還有曉意，能夠從大量的非結構化數(shù)據(jù)中獲得語意，從而能夠使機器窺探人的思維境界，這六個價值維度怎么去實現(xiàn)？主要是兩部分人，一是數(shù)據(jù)科學家要洞察數(shù)據(jù)，另外一個是終端用戶和領域?qū)＜乙ソ庾x數(shù)據(jù)并利用數(shù)據(jù)。首先看洞察數(shù)據(jù)，數(shù)據(jù)科學，人和機器作用發(fā)生了消長，講個例子，機器學習大家覺得是機器的問題，其實人在里面起到很重要的作用，尤其是機器學習是模型加特征，而特征工程是一個人力工程，你要有經(jīng)驗非常豐富的特征團隊去死磕特征，找出更好、更多的特征，才能夠使機器學習的效果更好。但是現(xiàn)在深度學習這些新技術出來，能夠用機器學習特征，能夠在大量非結構化數(shù)據(jù)中找到豐富的信息維度用特征表達出來，這遠遠超出了人的能力。大家知道黑客帝國描述了一個場景，人腦袋后面插一個插頭，給機器提供營養(yǎng)，我可能不會那么悲觀，但是像這樣的互動關系以一種更良性的方式出現(xiàn)了，現(xiàn)在人的一言一行、社交行為、金融行為都已經(jīng)成為機器的養(yǎng)料、機器的數(shù)據(jù)，使得機器獲得更好的洞察。

終端用戶需要更好地、更傻瓜化的分析工具和可視化工具，兩年前我去參加大數(shù)據(jù)的會，基本上都是Hadoop和NoSQL現(xiàn)在大家參加大數(shù)據(jù)會可以看到清一色的分析工具和可視化工具。大數(shù)據(jù)跟各行各業(yè)的化學作用正在發(fā)生。如果馬化騰說“互聯(lián)網(wǎng)+”是互聯(lián)網(wǎng)與各行各業(yè)的加法效應，那么大數(shù)據(jù)將與各行各業(yè)產(chǎn)生乘法效應。

第三個關系，數(shù)據(jù)與數(shù)據(jù)的關系?，F(xiàn)在只有海面平的數(shù)據(jù)是搜索引擎可以檢索到，深海的數(shù)據(jù)可能是黑暗的數(shù)據(jù)，在政府、在企業(yè)里大家看不到。我們怎么辦呢？必須讓數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)。只有讓數(shù)據(jù)能夠發(fā)現(xiàn)數(shù)據(jù)、遇到數(shù)據(jù)，才能產(chǎn)生金風玉露一相逢、便勝卻人間無數(shù)的效果。這里有三個重要的觀念，需要法律、技術、經(jīng)濟理論和實踐上配合。法律上要明確數(shù)據(jù)的權利，數(shù)據(jù)所有權，數(shù)據(jù)的隱私權，什么數(shù)據(jù)不能給你看；數(shù)據(jù)的許可權，什么數(shù)據(jù)是可以給你看的；數(shù)據(jù)的審計權，我給你看了以后，你是不是按照許可的范圍去看；數(shù)據(jù)的分紅權。數(shù)據(jù)像原油又不同于原油，原油用完了就沒有了，數(shù)據(jù)可以反復地產(chǎn)生價值，因此數(shù)據(jù)的擁有者應該得到分紅。我們要保證數(shù)據(jù)的開放、共享、交易。公共數(shù)據(jù)和部分科研數(shù)據(jù)要開放，開放過程中注意保護隱私。企業(yè)之間可以進行數(shù)據(jù)的點對點共享，最高境界是不丟失數(shù)據(jù)的所有權和隱私權的前提下共享，這里有多方安全計算的概念。1982年姚期智老先生提出了百萬富翁的窘境的問題，兩個百萬富翁他們想要比誰更富，但是誰都不愿意說出來自己都多少錢，在我們的數(shù)據(jù)共享當中要通過各種各樣的技術達到這樣的效果。還有數(shù)據(jù)交易，建立多邊多邊平臺來支持數(shù)據(jù)交易。

互聯(lián)網(wǎng)能發(fā)展起來經(jīng)濟學理論和實踐是很重要的支撐，梅特卡夫定律決定了一個互聯(lián)網(wǎng)公司的價值，跟它用戶數(shù)的平方成正比，又比如說谷歌請最好的經(jīng)濟學家，它的一個廣告業(yè)務的核心就是建立在一個非常先進的拍賣經(jīng)濟學的模型基礎上。數(shù)據(jù)經(jīng)濟也需要這樣一些基礎的理論，比如數(shù)據(jù)定價和信息定價不一樣，信息做一個咨詢報告5000美金賣給你，可以賣給所有人。但數(shù)據(jù)對不同的單位價值不一樣，可能我之毒藥是彼之蜜糖。另外估值，一個企業(yè)擁有大量的數(shù)據(jù)，是無形資產(chǎn)的一部分，對于企業(yè)的市場價值帶來了多大的增長。

1.3 大數(shù)據(jù)的四個特性

大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。這也是一個描述性的定義，在對數(shù)據(jù)描述的基礎上加入了處理此類數(shù)據(jù)的一些特征，用這些特征來描述大數(shù)據(jù)。當前，較為統(tǒng)一的認識是大數(shù)據(jù)有四個基本特征: 數(shù)據(jù)規(guī)模大(Volume)，數(shù)據(jù)種類多(Variety)，數(shù)據(jù)要求處理速度快(Velocity)，數(shù)據(jù)價值密度低(Value)，即所謂的四V 特性。

數(shù)據(jù)規(guī)模大(Volume)：企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長。例如，IDC最近的報告預測稱，到2020年，全球數(shù)據(jù)量將擴大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個不斷變化的指標，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡而言之，存儲1PB數(shù)據(jù)將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。

數(shù)據(jù)種類多(Variety)：一個普遍觀點認為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因，這一看法部分正確。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結構數(shù)據(jù)，以及包括網(wǎng)絡日志、社交媒體、互聯(lián)網(wǎng)搜索、手機通話記錄及傳感器網(wǎng)絡等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數(shù)據(jù)的多樣性。

處理速度快(Velocity)：高速描述的是數(shù)據(jù)被創(chuàng)建和移動的速度。在高速網(wǎng)絡時代，通過基于實現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務器，創(chuàng)建實時數(shù)據(jù)流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據(jù)IMS Research關于數(shù)據(jù)創(chuàng)建速度的調(diào)查，據(jù)預測，到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設備。

數(shù)據(jù)價值密度低(Value)：大數(shù)據(jù)具有多層結構，這意味著大數(shù)據(jù)會呈現(xiàn)出多變的形式和類型。相較傳統(tǒng)的業(yè)務數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統(tǒng)的應用軟件進行分析。傳統(tǒng)業(yè)務數(shù)據(jù)隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復雜數(shù)據(jù)中挖掘價值。

1.4 大數(shù)據(jù)的三個特征

除了有四個特性之外，大數(shù)據(jù)時代的數(shù)據(jù)還呈現(xiàn)出其他三個特征。

第一個特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求.第二個特征是數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。

第三個特征是處理速度快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。大數(shù)據(jù)的技術與處理

2.1 大數(shù)據(jù)的技術

1.數(shù)據(jù)采集：ETL工具負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。

2.數(shù)據(jù)存?。宏P系數(shù)據(jù)庫、NOSQL、SQL等。

3.基礎架構：云存儲、分布式文件存儲等。

4.數(shù)據(jù)處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機“理解”自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也

稱

為

計

算

語

言

學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。

5.統(tǒng)計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優(yōu)尺度分析）、bootstrap技術等等。

6.數(shù)據(jù)挖掘：分類（Classification）、估計（Estimation）、預測（Prediction）、相

關

性

分

組

或

關

聯(lián)

規(guī)

則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)。

7.模型預測：預測模型、機器學習、建模仿真。

8.結果呈現(xiàn)：云計算、標簽云、關系圖等。

2.2 大數(shù)據(jù)的處理

1.采集 大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。

在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進行負載均衡和分片的確是需要深入的思考和設計。

2.導入/預處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應該將這些來自前端的數(shù)據(jù)導入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數(shù)據(jù)進行流式計算，來滿足部分業(yè)務的實時計算需求。導入與預處理過程的特點和挑戰(zhàn)主要是導入的數(shù)據(jù)量大，每秒鐘的導入量經(jīng)常會達到百兆，甚至千兆級別。

3.統(tǒng)計/分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結構化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

4.挖掘

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預先設定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計學習的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

整個大數(shù)據(jù)處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數(shù)據(jù)處理。大數(shù)據(jù)的應用

正如諸多文獻所談到的，大數(shù)據(jù)對許多行業(yè)的影響和沖擊已經(jīng)呈現(xiàn)。例如，商零售、物流、醫(yī)藥、文化產(chǎn)業(yè)等。金融，作為現(xiàn)代經(jīng)濟中樞，其實也已透出了大數(shù)據(jù)金融的曙光。

過去的2013年，中國金融界熱議最多的或許是互聯(lián)網(wǎng)金融，更有人指出2013年是中國互聯(lián)網(wǎng)金融元年。確實，第三方支付、P2P、網(wǎng)貸、眾籌融資、余額寶、微信支付等發(fā)展迅速。眾多傳統(tǒng)金融業(yè)者也或推出自己的電商平臺，或與互聯(lián)網(wǎng)企業(yè)聯(lián)手提供相應的金融產(chǎn)品和服務。

互聯(lián)網(wǎng)金融，無論是業(yè)界、監(jiān)管者或理論界，都在試圖給出自己的理解和定義。但到目前為止，尚未有一個統(tǒng)一的、規(guī)范的概念。在我看來，互聯(lián)網(wǎng)金融本來就是一個不確切的概念，也不可能有一個明確的定義。嚴格說來，所謂互聯(lián)網(wǎng)金融只是大數(shù)據(jù)金融的一種展現(xiàn)或形態(tài)。換言之，前者是表，后者是里。

這是因為，無論是互聯(lián)網(wǎng)還是金融業(yè)，其實質(zhì)都是大數(shù)據(jù)（信息）。首先，對互聯(lián)網(wǎng)企業(yè)而言，流量、客戶等數(shù)據(jù)（信息）是其涉足金融業(yè)的基石。對金融企業(yè)而言，提供中介服務，撮合金融交易也是以數(shù)據(jù)（信息）為基礎。其次，沒有大數(shù)據(jù)技術的支撐，所謂互聯(lián)網(wǎng)金融也難以快速、持續(xù)成長。20世紀90年代互聯(lián)網(wǎng)浪潮的蓬勃興起，至今已近二十年。但從世界范圍看，所謂互聯(lián)網(wǎng)金融卻發(fā)展緩慢。當然，其中原因很多，但其主要原因則是大數(shù)據(jù)技術是近幾年才快速發(fā)展起來的。最后，從金融企業(yè)來看，在數(shù)據(jù)中心建設，軟硬件系統(tǒng)建設，數(shù)據(jù)（信息）挖掘、分析等方面也是做得有聲有色，其龐大的客戶數(shù)據(jù)、海量交易記錄及眾多信息源，使其在大數(shù)據(jù)應用方面也做了許多積極探索。因此，要準確反映近年新金融趨勢，“大數(shù)據(jù)金融”比“互聯(lián)網(wǎng)金融”更為貼切。大數(shù)據(jù)應用中的三大難題 近年來，大數(shù)據(jù)這個詞成為互聯(lián)網(wǎng)領域關注度最高的詞匯，時至今日，大數(shù)據(jù)已經(jīng)不再是IT圈的“專利”了，從去年的春晚，到剛剛過去的兩會，都能見到它的身影，但實際上春晚與兩會的數(shù)據(jù)都只能叫做小數(shù)據(jù)，它與真正的大數(shù)據(jù)還相差甚遠。即便如此，數(shù)據(jù)所產(chǎn)生的價值已經(jīng)被人們所認知。

就大數(shù)據(jù)來說，它的發(fā)展可以分成三個階段，第一個階段是組織內(nèi)部的數(shù)據(jù)，這些數(shù)據(jù)通常都是結構化的數(shù)據(jù)，我們一般將這些數(shù)據(jù)進行分類、排序等操作，將相同類型的數(shù)據(jù)進行對比、分析、挖掘，總而言之基本上都是統(tǒng)計工作。到了第二階段，數(shù)據(jù)的范圍擴大到行業(yè)內(nèi)，各種各樣的應用數(shù)據(jù)出現(xiàn)，數(shù)據(jù)量大規(guī)模增長，尤其是非結構化數(shù)據(jù)的出現(xiàn)。典型的像視頻、圖片這一類的數(shù)據(jù)，在這一階段的特點就是非結構化和結構化數(shù)據(jù)并存，且數(shù)據(jù)量巨大，要對這些數(shù)據(jù)進行分析是我們目前現(xiàn)階段所處在的狀態(tài)。

第三階段則是未來大數(shù)據(jù)發(fā)展的理想化狀態(tài)，首先它一定是跨行業(yè)的，且數(shù)據(jù)的范圍是整個社會。通過對這些數(shù)據(jù)進行分析加以使用，將直接改變我們的生活方式，這也是現(xiàn)在很多企業(yè)所設想的未來交通、醫(yī)療、教育等領域的發(fā)展方向。

1.大數(shù)據(jù)太大不敢用

第三個階段是我們所憧憬的，但在我們所處的第二階段面對的更多是問題。其中的一個問題就是“大”。大數(shù)據(jù)給人最直觀的感受就是大，它所帶來的問題不僅僅是存儲，更多的是龐大的數(shù)據(jù)沒辦法使用，以交通為例，從2001年開始在北京的主干道上都增設了一些卡口設備，到了今天基本上大街小巷都能看到。這些設備每天所拍攝的視頻及照片產(chǎn)生的數(shù)據(jù)量是驚人的，僅照片每天就能產(chǎn)生2千萬張，而解決這些數(shù)據(jù)的存儲只是最基本的任務，我們更需要的是使用這些數(shù)據(jù)。例如對套牌車輛的檢查，對嫌疑車輛的監(jiān)控，當你想要使用這些數(shù)據(jù)的時候，傳統(tǒng)的數(shù)據(jù)庫以及系統(tǒng)架構，放進這么龐大的數(shù)據(jù)，是根本跑不動的。這一問題導致很多企業(yè)對大數(shù)據(jù)望而卻步。

2.大數(shù)據(jù)太難不會用

說到大數(shù)據(jù)的使用，自然離不開Hadoop，Hadoop本身提供了分布式系統(tǒng)中兩個最重要的東西：分布式存儲（HDFS）和分布式計算（Mapreduce）。這兩者解決了處理大數(shù)據(jù)面臨的計算和存儲問題，但更為重要的是，為開發(fā)大數(shù)據(jù)應用開辟了道路。Hadoop是目前解決大數(shù)據(jù)問題最流行的一種方式，但其仍然有不成熟的地方，曾作為雅虎云計算以及Facebook軟件工程師的Jonathan Gray就表示：“Hadoop實施難度大，且復雜，如果不解決技術復雜性問題，Hadoop將被自己終結?！闭怯捎谶@樣的原因，Gray創(chuàng)辦了自己的公司——Continuuity，這家公司的目標就是在Hadoop和Hbase基礎上創(chuàng)建一個抽象層，屏蔽掉Hadoop底層技術的復雜性。由此可見想要用好大數(shù)據(jù)又是一大考驗。

3.大數(shù)據(jù)太貴用不起

Hadoop的特點就是讓你可以使用廉價的x86設備來完成大數(shù)據(jù)的業(yè)務，但事實上如果你真想要用它來完成某些商業(yè)任務你還得是個“土豪”。在國外那些使用大數(shù)據(jù)的成功案例里，亞馬遜曾給出過這樣一組數(shù)字，NASA需要為45天的數(shù)據(jù)存儲服務支付超過100萬美元。像Quant___cast這樣的數(shù)字廣告公司，同樣也是花費了巨額的資金用在Hadoop技術上，來根據(jù)自己的需求定制系統(tǒng)。從上面兩個案例來看用于商業(yè)用途的大數(shù)據(jù)現(xiàn)階段還是很費錢的，隨著大數(shù)據(jù)軟件環(huán)境逐漸成熟，開發(fā)工具增多，價格在未來會逐漸降低。

從上面羅列的這三點困難，其實并不是要給大數(shù)據(jù)潑冷水，而是想說大數(shù)據(jù)想要淘金并不簡單，首先在做大數(shù)據(jù)之前，好好盤點一下自己擁有的資源，不僅僅是數(shù)據(jù)資源，還包括知識與技能。確定了自己的能力之后，選擇一個能夠發(fā)揮你現(xiàn)有資源最大價值的項目。如果你需要幫手，應先考慮商業(yè)顧問，再考慮技術人才。為了解答一個生意上的困惑花下的錢，叫作投資，而把錢投到一個擁有特殊技能的IT人才身上，那就叫沉沒成本。當你有了這些之后，選擇更靈活且可擴展的工具，為以后的擴充打好基礎。更重要的是——從小規(guī)模做起。大數(shù)據(jù)創(chuàng)新的驅(qū)動力

計算機科學與技術的發(fā)展使得大規(guī)模信息處理基礎設施產(chǎn)生重要改變。在過去的30年中，經(jīng)典的數(shù)據(jù)庫管理系統(tǒng)（DBMS）在處理大規(guī)模數(shù)據(jù)方面與時俱進，在企業(yè)數(shù)據(jù)處理等方面得到廣泛應用。數(shù)據(jù)庫研究和技術進展主要集中在數(shù)據(jù)建模、描述性查詢語言、事務處理和數(shù)據(jù)庫可靠性等。在這個過程中，相關的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘分析技術也成為一個熱點研究方向；人們認識到數(shù)據(jù)處理過程中的信息可以被有效整理和分析來支持以數(shù)據(jù)為中心的決策支持。數(shù)據(jù)庫管理系統(tǒng)在目前的互聯(lián)網(wǎng)時代繼續(xù)占據(jù)了重要地位。在一個典型的互聯(lián)網(wǎng)服務系統(tǒng)架構中，數(shù)據(jù)庫管理系統(tǒng)和Web服務器及應用服務共同作用，為互聯(lián)網(wǎng)用戶提供各類信息和服務。在這個系統(tǒng)架構中，人們期望系統(tǒng)能支持無限次和高速的互聯(lián)網(wǎng)用戶訪問，這個時候數(shù)據(jù)庫層由于在硬件可擴展性上面的不足可能成為系統(tǒng)性能瓶頸。這個挑戰(zhàn)我們稱為大數(shù)據(jù)問題（big data problem）。大數(shù)據(jù)系統(tǒng)期望能對大規(guī)模異構復雜數(shù)據(jù)建模，進行實時分析；傳統(tǒng)的商用數(shù)據(jù)庫系統(tǒng)很難提供良好的解決方案。另一個大數(shù)據(jù)相關的挑戰(zhàn)是服務器端數(shù)據(jù)中心的數(shù)據(jù)維護及安全隱私問題。近年來云計算技術已經(jīng)成為大數(shù)據(jù)中心的一種可靠解決方案，Google, Yahoo and Microsoft等公司也紛紛開發(fā)自己的云計算系統(tǒng)。盡管云計算在互聯(lián)網(wǎng)應用中已經(jīng)體現(xiàn)出很多優(yōu)越性，其在系統(tǒng)成熟性、可用性等方面還有很大提高空間。

顯而易見，大數(shù)據(jù)領域的大規(guī)模數(shù)據(jù)管理和復雜數(shù)據(jù)分析已經(jīng)成為新的研究前沿。目前的各類大數(shù)據(jù)應用正是大數(shù)據(jù)研究的驅(qū)動力，比如社會網(wǎng)絡、移動計算、科學應用等等。這些應用產(chǎn)生的大數(shù)據(jù)往往具有海量、時序動態(tài)性、多樣等特性，給數(shù)據(jù)庫領域的各項技術帶來巨大挑戰(zhàn)，涵蓋包括數(shù)據(jù)獲取、組織管理、分析處理和應用呈現(xiàn)等整個數(shù)據(jù)管理生命周期。針對數(shù)據(jù)管理和分析不同系統(tǒng)應用，各類大數(shù)據(jù)處理技術在也不斷發(fā)展。MapReduce作為一種分布式的數(shù)據(jù)處理框架由于其靈活性、可擴展性、高效和容錯等特性其近年來得到了廣泛應用。此外，也有多類其他分布式數(shù)據(jù)處理系統(tǒng)用來解決MapReduce不擅長的問題，比如交互式分析、圖計算和分析、實時和流處理、通用數(shù)據(jù)處理等等。大數(shù)據(jù)不但給數(shù)據(jù)庫研究領域，同時也給體系結構、存儲系統(tǒng)、系統(tǒng)軟件和軟件工程等計算機多個學科帶來了很多機會和挑戰(zhàn)。大數(shù)據(jù)正是目前很多計算機科學問題的根本，并驅(qū)動眾多新科技的發(fā)展。大數(shù)據(jù)的發(fā)展前景

大數(shù)據(jù)的概念來源于、發(fā)展于美國，并向全球擴展，必將給我國未來的科技與經(jīng)濟發(fā)展帶來深遠影響。根據(jù)IDC 統(tǒng)計，目前數(shù)據(jù)量在全球比例為: 美國32%、西歐19%、中國13%，預計到2020 年中國將產(chǎn)生全球21% 的數(shù)據(jù)，我國是僅次于美國的數(shù)據(jù)大國，而我國大數(shù)據(jù)方面的研究尚處在起步階段，如何開發(fā)、利用保護好大數(shù)據(jù)這一重要的戰(zhàn)略資源，是我國當前亟待解決的問題。

而大數(shù)據(jù)未來的發(fā)展趨勢則從以下幾個方面進行：

（1）開放源代碼

大數(shù)據(jù)獲得動力，關鍵在于開放源代碼，幫助分解和分析數(shù)據(jù)。Hadoop 和NoSQL 數(shù)據(jù)庫便是其中的贏家，他們讓其他技術商望而卻步、處境很被動。畢竟，我們需要清楚怎樣創(chuàng)建一個平臺，既能解開所有的數(shù)據(jù)，克服數(shù)據(jù)相互獨立的障礙，又能將數(shù)據(jù)重新上鎖。

（2）市場細分

當今，許多通用的大數(shù)據(jù)分析平臺已投入市場，人們同時期望更多平臺的出現(xiàn)，可以運用在特殊領域，如藥物創(chuàng)新、客戶關系管理、應用性能的監(jiān)控和使用。若市場逐步成熟，在通用分析平臺之上，開發(fā)特定的垂直應用將會實現(xiàn)。但現(xiàn)在的技術有限，除非考慮利用潛在的數(shù)據(jù)庫技術作為通用平臺(如Hadoop、NoSQL)。人們期望更多特定的垂直應用出現(xiàn)，把目標定為特定領域的數(shù)據(jù)分析，這些特定領域包括航運業(yè)、銷售業(yè)、網(wǎng)上購物、社交媒體用戶的情緒分析等。同時，其他公司正在研發(fā)小規(guī)模分析引擎的軟件套件。比如，社交媒體管理工具，這些工具以數(shù)據(jù)分析做為基礎。

（3）預測分析

建模、機器學習、統(tǒng)計分析和大數(shù)據(jù)經(jīng)常被聯(lián)系起來，用以預測即將發(fā)生的事情和行為。有些事情是很容易被預測的，比如壞天氣可以影響選民的投票率，但是有些卻很難被準確預測。例如，中間選民改變投票決定的決定性因素。但是，當數(shù)據(jù)累加時，我們基本上有能力可以大規(guī)模嘗試一個連續(xù)的基礎。網(wǎng)上零售商重新設計購物車，來探索何種設計方式能使銷售利潤最大化。根據(jù)病人的飲食、家族史和每天的運動量，醫(yī)生有能力預測未來疾病的風險。當然，在人類歷史的開端，我們就已經(jīng)有各種預測。但是，在過去，許多預測都是基于直覺，沒有依靠完整的數(shù)據(jù)集，或者單單靠的是常識。當然，即便有大量數(shù)據(jù)支撐你的預測，也不表明那些預測都是準確的。2007 年和2008 年，許多對沖基金經(jīng)理和華爾街買賣商分析市場數(shù)據(jù)，認為房地產(chǎn)泡沫將不會破滅。根據(jù)歷史的數(shù)據(jù)，可以預測出房地產(chǎn)泡沫即將破裂，但是許多分析家堅持原有的觀點。另一方面，預測分析在許多領域流行起來，例如欺詐發(fā)現(xiàn)(比如在外省使用信用卡時會接到的詐騙電話)，保險公司和顧客維系的風險管理。7 結語

大數(shù)據(jù)正在以不可阻攔的磅礴氣勢，與當代同樣具有革命意義的最新科技進步(如納米技術、生物工程、全球化等)一起，揭開人類新世紀的序幕?？梢院唵蔚卣f，以往人類社會基本處于蒙昧狀態(tài)中的不發(fā)展階段，即自然發(fā)展階段?，F(xiàn)在，這一不發(fā)展階段隨著2012年的所謂“世界末日”之說而永遠成為了過去。大數(shù)據(jù)宣告了21世紀是人類自主發(fā)展的時代，是不以所謂“上帝”的意志為轉(zhuǎn)移的時代，是“上帝”失業(yè)的時代。

對于地球上每一個普通居民而言，大數(shù)據(jù)有什么應用價值呢?只要看看周圍正在變化的一切，你就可以知道，大數(shù)據(jù)對每個人的重要性不亞于人類初期對火的使用。大數(shù)據(jù)讓人類對一切事物的認識回歸本源;大數(shù)據(jù)通過影響經(jīng)濟生活、政治博弈、社會管理、文化教育科研、醫(yī)療保健休閑等等行業(yè)，與每個人產(chǎn)生密切的聯(lián)系。

大數(shù)據(jù)技術離你我都并不遙遠，它已經(jīng)來到我們身邊，滲透進入我們每個人的日常生活消費之中，時時刻刻，事事處處，我們無法逃遁，因為它無微不至：它提供了光怪陸離的全媒體，難以琢磨的云計算，無法抵御的仿真環(huán)境。大數(shù)據(jù)依仗于無處不在的傳感器，比如手機、發(fā)帶，甚至是能夠收集司機身體數(shù)據(jù)的汽車，或是能夠監(jiān)控老人下床和行走速度與壓力的“魔毯”(由GE與Intel聯(lián)合開發(fā))，洞察了一切。通過大數(shù)據(jù)技術，人們能夠在醫(yī)院之外得悉自己的健康情況;而通過收集普通家庭的能耗數(shù)據(jù)，大數(shù)據(jù)技術給出人們切實可用的節(jié)能提醒;通過對城市交通的數(shù)據(jù)收集處理，大數(shù)據(jù)技術能夠?qū)崿F(xiàn)城市交通的優(yōu)化。隨著科學技術的發(fā)展，人類必將實現(xiàn)數(shù)千年的機器人夢想。早在古希臘、古羅馬的神話中就有冶煉之神用黃金制造機械仆人的故事?！墩摵狻分幸灿涊d有魯班曾為其母巧公制作一臺木馬車，“機關具備，一驅(qū)不還”。而到現(xiàn)代，人類對于機器人的向往，從機器人頻繁出現(xiàn)在科幻小說和電影中已不難看出。公元2035年，智能型機器人已被人類廣泛利用，送快遞、遛狗、打掃衛(wèi)生……這是電影《我，機器人》里描繪的場景。事實上，今天人們已經(jīng)享受到了部分家用智能機器人給生活帶來的便利。比如，智能吸塵器以及廣泛應用于汽車工業(yè)領域的機器手等等。有意思的是，2010年松下公司專門為老年人開發(fā)了“洗發(fā)機器人”，它可以自動完成從涂抹洗發(fā)水、按摩到用清水洗凈頭發(fā)的全過程。未來的智能機器人不會是電影《變形金剛》中的龐然大物，而會越來越小。目前，科學家研發(fā)出的智能微型計算機只和雪花一樣大，卻能夠執(zhí)行復雜的計算任務，將來可以把這些微型計算機安裝在任何物件上用以監(jiān)測環(huán)境和發(fā)號施令。隨著大數(shù)據(jù)時代的到來和技術的發(fā)展，科技最終會將我們帶進神奇的智能機器人時代。

在大數(shù)據(jù)時代，人腦信息轉(zhuǎn)換為電腦信息成為可能?？茖W家們通過各種途徑模擬人腦，試圖解密人腦活動，最終用電腦代替人腦發(fā)出指令。正如今天人們可以從電腦上下載所需的知識和技能一樣，將來也可以實現(xiàn)人腦中的信息直接轉(zhuǎn)換為電腦中的圖片和文字，用電腦施展讀心術。2011年，美國軍方啟動了“讀心頭盔”計劃，憑借讀心頭盔，士兵無需語言和手勢就可以互相“閱讀”彼此的腦部活動，在戰(zhàn)場上依靠“心靈感應”，用意念與戰(zhàn)友互通訊息。目前，“讀心頭盔”已經(jīng)能正確“解讀”45%的命令。隨著這項“讀心術”的發(fā)展，人們不僅可以用意念寫微博、打電話，甚至連夢中所見都可以轉(zhuǎn)化為電腦圖像。據(jù)美國《紐約時報》報道，奧巴馬政府將繪制完整的人腦活動地圖，全面解開人類大腦如何思考、如何儲存和檢索記憶等思維密碼作為美國科技發(fā)展的重點，美國科學家已經(jīng)成功繪出鼠腦的三維圖譜。2012年，美國IBM計算機專家用運算速度最快的96臺計算機，制造了世界上第一個“人造大腦”，電腦精確模擬大腦不再是癡人說夢。試想一下，如果人類大腦實現(xiàn)了數(shù)據(jù)模擬，或許你的下一個BOSS是機器人也不一定。

總而言之，大數(shù)據(jù)技術的發(fā)展有可能解開宇宙起源的奧秘。因為，計算機技術將一切信息無論是有與無、正與負，都歸結為0與1，原來一切存在都在于數(shù)的排列組合，在于大數(shù)據(jù)。