第一篇：新時代學習大講堂”時代前沿知識專題講座《大數(shù)據(jù)：技術與應用》學習體會

新時代學習大講堂”時代前沿知識專題講座 第二期《大數(shù)據(jù)：技術與應用》學習體會

4月1日,觀看了貴州省“新時代學習大講堂”時代前沿知識專題講座第二期《大數(shù)據(jù)：技術與應用》為題的知識講座，講座由省委常委、常務副省長、貴陽市委書記李再勇主持。中國科學院院士，北京理工大學黨委常委、副校長，貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應用研究院院長梅宏從認識大數(shù)據(jù)、應對大數(shù)據(jù)、應用大數(shù)據(jù)、現(xiàn)狀與思考四個方面作了講解。知識講座觀看完后淺談一下個人學習體會：

“信息時代的到來，我們感受到的是技術變化日新月異，隨之而來的是生活方式的轉變，我們這樣評論著的信息時代已經(jīng)變?yōu)樵?jīng)。如今，大數(shù)據(jù)時代成為炙手可熱的話題。

《大數(shù)據(jù)時代》第16頁“大數(shù)據(jù)的核心就是預測”。邏輯是——描述時空信息“類”與“類”之間長時間有效不變的先后變化關系規(guī)則。信息和數(shù)據(jù)的定義。維基百科解釋：信息，又稱資訊，是一個高度概括抽象概念，是一個發(fā)展中的動態(tài)范疇，是進行互相交換的內容和名稱，信息的界定沒有統(tǒng)一的定義，但是信息具備客觀、動態(tài)、傳遞、共享、經(jīng)濟等特性卻是大家的共識。數(shù)據(jù)：或稱資料，指描述事物的符號記錄，是可定義為意義的實體，它涉及到事物的存在形式。它是關于事件之一組離散且客觀的事實描述，是構成信息和知識的原始材料。數(shù)據(jù)可分為模擬數(shù)據(jù)和數(shù)字數(shù)據(jù)兩大類。數(shù)據(jù)指計算機加工的“原料”，如圖形、聲音、文字、數(shù)、字符和符號等。從定義看來，數(shù)據(jù)是原始的處女地，需要耕耘。信息則是已經(jīng)處理過的可以傳播的資訊。信息時代依賴于數(shù)據(jù)的爆發(fā)，只是當數(shù)據(jù)爆發(fā)到無法駕馭的狀態(tài)，大數(shù)據(jù)時代應運而生。

數(shù)據(jù)未來的故事。數(shù)據(jù)的發(fā)展，給我們帶來什么預期和啟示?銀行業(yè)天然有大數(shù)據(jù)的潛質?？蛻魯?shù)據(jù)、交易數(shù)據(jù)、管理數(shù)據(jù)等海量數(shù)據(jù)不斷增長，海量機遇和挑戰(zhàn)也隨之而來，適應變革，適者生存。我們可以有更廣闊的業(yè)務發(fā)展空間、可以有更精準的決策判斷能力、可以有更優(yōu)秀的經(jīng)營管理能力，可以這些都基于數(shù)據(jù)的收集、整理、駕馭、分析能力，基于脫穎而出的創(chuàng)新思維和執(zhí)行。因此，建設“數(shù)據(jù)倉庫”，培養(yǎng)“數(shù)據(jù)思維”，養(yǎng)成“數(shù)據(jù)治理”，創(chuàng)造“數(shù)據(jù)融合”，實現(xiàn)“數(shù)據(jù)應用”才能擁抱“大數(shù)據(jù)”時代，從數(shù)據(jù)中攫取價值，笑看風云變換，穩(wěn)健贏取未來。

第二篇：大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用

大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用

【摘要】人類進入信息化時代以后，短短的數(shù)年時間，積累了大量的數(shù)據(jù)，步入了大數(shù)據(jù)時代，數(shù)據(jù)技術也就應運而生，成為了一種新的主流技術。而研究數(shù)據(jù)挖掘技術的理念、方法以及應用領域，將對我國各個領域的未來帶來更多的機遇和挑戰(zhàn)。本文就大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用進行探究。

【關鍵詞】大數(shù)據(jù)，數(shù)據(jù)挖掘，互聯(lián)網(wǎng)

數(shù)據(jù)挖掘是一門新興的學科，它誕生于20世紀80年代，主要面向商業(yè)應用的人工只能研究領域。從技術角度來看，數(shù)據(jù)挖掘就是從大量的復雜的、不規(guī)則的、隨機的、模糊的數(shù)據(jù)中獲取隱含的、人們事先沒有發(fā)覺的、有潛在價值和知識的過程。從商業(yè)角度來說，數(shù)據(jù)挖掘就是從龐大的數(shù)據(jù)庫中抽取、轉換、分析一些潛在規(guī)律和價值，從中獲取輔助商業(yè)決策的關鍵信息和有用知識。

1.數(shù)據(jù)挖掘的基本分析方法

分析方法是數(shù)據(jù)挖掘的核心工作，通過科學可靠的算法才能實現(xiàn)數(shù)據(jù)的挖掘，找出數(shù)據(jù)中潛在的規(guī)律，通過不同的分析方法，將解決不同類型的問題。目前常用的方法有聚類分析、特征數(shù)據(jù)分析法、關聯(lián)性分析等。

1.1聚類分析法。簡單來說聚類分析就是通過將數(shù)據(jù)對象進行聚類分組，然后形成板塊，將毫無邏輯的數(shù)據(jù)變成了有聯(lián)系性的分組數(shù)據(jù)，然后從其中獲取具有一定價值的數(shù)據(jù)內容進行進一步的利用。由于這種分析方法不能夠較好的就數(shù)據(jù)類別、屬性進行分類，所以聚類分析法一般都運用心理學、統(tǒng)計學、數(shù)據(jù)識別等方面。

1.2特征性數(shù)據(jù)分析法。網(wǎng)絡數(shù)據(jù)隨著信息時代的到來變成了數(shù)據(jù)爆炸式，其數(shù)據(jù)資源十分廣泛并且得到了一定的普及，如何就網(wǎng)絡爆炸式數(shù)據(jù)進行關于特性的分類就成為了當下數(shù)據(jù)整理分類的主要內容。此外還有很多方法都是通過計算機來進行虛擬數(shù)據(jù)的分類，尋找數(shù)據(jù)之間存在的普遍規(guī)律性完成數(shù)據(jù)的特性分析從而進行進一步分類。

1.3關聯(lián)性分析法。有時數(shù)據(jù)本身存在一定的隱蔽性使得很難通過普通的數(shù)據(jù)分析法進行數(shù)據(jù)挖掘和利用，這就需要通過關聯(lián)性分析法完成對于數(shù)據(jù)信息的關聯(lián)性識別，來幫助人力完成對于數(shù)據(jù)分辨的任務，這種數(shù)據(jù)分析方法通常是帶著某種目的性進行的，因此比較適用于對數(shù)據(jù)精準度相對較高的信息管理工作。

2.數(shù)據(jù)挖掘技術的應用

數(shù)據(jù)挖掘技術的具體流程就是先通過對于海量數(shù)據(jù)的保存，然后就已有數(shù)據(jù)中進行分析、整理、選擇、轉換等，數(shù)據(jù)的準備工作是數(shù)據(jù)挖掘技術的前提，也是決定數(shù)據(jù)挖掘技術效率及質量的主要因素。在完成數(shù)據(jù)準備工作后進一步對數(shù)據(jù)進行挖掘，然后對數(shù)據(jù)進行評估，最后實現(xiàn)運用。因此，數(shù)據(jù)挖掘能夠運用到很多方面。如數(shù)據(jù)量巨大的互聯(lián)網(wǎng)行業(yè)、天文學、氣象學、生物技術，以及醫(yī)療保健、教育教學、銀行、金融、零售等行業(yè)。通過數(shù)據(jù)挖掘技術將大數(shù)據(jù)融合在各種社會應用中，數(shù)據(jù)挖掘的結果參與到政府、企業(yè)、個人的決策中，發(fā)揮數(shù)據(jù)挖掘的社會價值，改變人們的生活方式，最大化數(shù)據(jù)挖掘的積極作用。以教育行業(yè)為例，探究數(shù)據(jù)挖掘技術在高校教育教學活動中的應用。

2.1在高校管理中的應用。數(shù)據(jù)挖掘技術在高校管理的內容主要包括：高校招生錄取工作、貧困生選定以及優(yōu)秀生評定等。高校每年的招生工作是學?？沙掷m(xù)發(fā)展的重要環(huán)節(jié)，直接影響到高校教學質量以及發(fā)展情況。比如數(shù)據(jù)挖掘技術在高校管理中的應用主要是對學生高考成績、志愿填報、以及生源來源地等多方面信息進行整理分類匯總。具體步驟是通過進行數(shù)據(jù)的收集和預處理，建立相關數(shù)據(jù)模型，采用分類算法，提取和挖掘對用戶有用的信息，然后進行數(shù)據(jù)挖掘的數(shù)據(jù)存儲形式。目前高校數(shù)據(jù)挖掘技術應用的范圍比較廣泛，由于高校管理內容比較復雜，因此在其管理內容的每個小部分也開始利用數(shù)據(jù)挖掘技術進行管理，比如學生成績管理，課堂教學評價系統(tǒng)等。

2.2在高校課堂教學評價中的應用。數(shù)據(jù)挖掘技術在高校課堂教學評價系統(tǒng)中的應用主要也是利用關聯(lián)分析法。首先先對數(shù)據(jù)進行預處理工作，數(shù)據(jù)的預處理是數(shù)據(jù)挖掘技術的關鍵步驟，并且直接影響著數(shù)據(jù)挖掘技術的應用效率。數(shù)據(jù)預處中要將教師的基本信息、教師教授課程以及教師的職稱、學歷、學生信息以及學生課表相關信息進行數(shù)據(jù)初始記錄。對于教師的評價內容根據(jù)高校自身的條件和需求而定，學校教學評價管理部門登錄學校教務系統(tǒng)后，將學生所選擇的選項對應轉換為教師的分值，通過計算機計算總分后得出教師的學期得分。學生對于教師教學的評價在一定程度上也反映了自己的學習情況，如對教師的評價為零分，則說明學生也否定了自己的學習效果。2.3在高校學生信息管理系統(tǒng)中的應用。高校學生信息管理系統(tǒng)中管理要素主要是學校的領導、任課教師、學生以及家長。系統(tǒng)的功能要包括：對不同的用戶設置不同的使用權限；對學生的基本信息以及學生瀏覽管理網(wǎng)站的記錄要做到明確記錄；各個學院不同專業(yè)的學生課程要能準確公布并允許學生根據(jù)實際情況修改；成績管理要能實現(xiàn)大批量添加及修改；還有比如評優(yōu)活動、黨務管理等具體功能。數(shù)據(jù)挖掘技術在高校學生信息管理系統(tǒng)中的應用主要是利用決策樹的方法。學生信息管理的基本數(shù)據(jù)就是學生入學時填寫的基本信息表，內容包括學生的姓名、學號、考勤以及學習成績等，這些都是學生特有的屬性，學生信息管理利用決策樹方法就是將學生的這些屬性作為決策元素，監(jiān)理不同的決策節(jié)點，實現(xiàn)對學生全方位的考核和評價，完整的了解到每位學生的具體信息。

2.4高校圖書館信息系統(tǒng)中的應用。數(shù)據(jù)挖掘技術最基本的應用就是通過對現(xiàn)有的數(shù)據(jù)進行分析來了解學校圖書館現(xiàn)有資源利用情況，為圖書館的未來建設提供可靠數(shù)據(jù)。數(shù)據(jù)挖掘技術能夠使圖書館資源得到極大程度的優(yōu)化整合。比如數(shù)據(jù)挖掘技術可以對檢索記錄進行整理，將手工數(shù)據(jù)轉變?yōu)殡娮訑?shù)據(jù)記錄。其最大的優(yōu)勢就是利用數(shù)據(jù)挖掘技術更加全面的分析總結數(shù)據(jù)庫資源，幫助圖書館管理人員對于圖書館信息的補充和調整，還能夠為高校圖書館的館藏工作建設提供有效的引導。數(shù)據(jù)挖掘還能應用于圖書館的多媒體數(shù)字資源，多媒體數(shù)據(jù)挖掘技術能夠更為快捷和準確的為讀者提供相應的服務。

3.結語

數(shù)據(jù)挖掘技術是近幾年新產(chǎn)生的網(wǎng)絡技術，可是它的廣泛應用性受到了很多公司以及研究人員的喜愛。這些年來，伴隨著時間的推移以及網(wǎng)絡技術的不斷發(fā)展大數(shù)據(jù)挖掘技術不斷的被更新，開發(fā)，而且在金融、管理、教學等行業(yè)中都得到了廣泛的應用。我相信隨著網(wǎng)絡技術的不斷發(fā)展，大數(shù)據(jù)挖掘技術的應用面將會越來越廣。

【參考文獻】

[1] 董彩云，曲守寧.數(shù)據(jù)挖掘及其在高校教學系統(tǒng)中的應用 [J].濟南大學學報（自然科學版），2004（1）： 65-68.[2] 陸川，王靜靜.數(shù)據(jù)挖掘技術在高校教學管理中的應用研究[J].北京：電腦開發(fā)與應用，2009，3.[3]《中國電子科學研究院學報》編輯部.大數(shù)據(jù)時代[J].中國電子科技研究院學報，2013（01）：41-43.[4]魏娟，梁靜國.基于數(shù)據(jù)挖掘技術的企業(yè)客戶關系管理（CRM）[J].商業(yè)研究，2005（07）.

第三篇：大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術的應用

摘要：大數(shù)據(jù)時代是信息時代的一個重要特征，實際上，在大數(shù)據(jù)時代的背景下進行數(shù)據(jù)挖掘技術的探究與應用其實就是通過在巨大的信息群中不斷挖掘出具有一定價值意義的信息進行整合，在此基礎上對已整合的信息進行進一步的處理，以提高信息數(shù)據(jù)的價值。本文以此為出發(fā)點，就大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術的應用進行深入探究。

關鍵詞：大數(shù)據(jù) 數(shù)據(jù)挖掘 挖掘技術

中圖分類號：tp311 文獻標識碼：a 文章編號：1007-9416（2016）05-0000-00

1數(shù)據(jù)挖掘與數(shù)據(jù)挖掘技術的方法分析

“數(shù)據(jù)海量、信息缺乏”是相當多企業(yè)在數(shù)據(jù)大集中之后面臨的尷尬問題，由此而誕生的數(shù)據(jù)挖掘技術其實就是用以處理這一尷尬問題的技術。數(shù)據(jù)挖掘實際上是相對比較新型的一門學科，在幾十年的發(fā)展過程中，已經(jīng)不可同日而語。其實數(shù)據(jù)挖掘技術的本質就是人工智能技術，而數(shù)據(jù)挖掘技術的利用相對應的就是指人工智能技術的開發(fā)與應用，也就是說數(shù)據(jù)挖掘其實是依賴技術的提升來實現(xiàn)數(shù)據(jù)的整體創(chuàng)新的技術，所以，整個數(shù)據(jù)挖掘技術實際上是非常具有信息價值的，它能夠幫助決策者更快的得到重要信息并作出決策，提高效率和準確率，是非常重要的知識憑證，能夠在一定程度上提高當下企業(yè)的整體競爭力。

數(shù)據(jù)挖掘技術的核心就是分析，通過分析方法的不同來解決不同類別的問題，以實現(xiàn)數(shù)據(jù)挖掘的潛在內容。簡單來說就是對癥下藥以保證藥到病除。

1.1聚類分析法

簡單來說聚類分析就是通過將數(shù)據(jù)對象進行聚類分組，然后形成板塊，將毫無邏輯的數(shù)據(jù)變成了有聯(lián)系性的分組數(shù)據(jù)，然后從其中獲取具有一定價值的數(shù)據(jù)內容進行進一步的利用。由于這種分析方法不能夠較好的就數(shù)據(jù)類別、屬性進行分類，所以聚類分析法一般都運用在心理學、統(tǒng)計學、數(shù)據(jù)識別等方面。

1.2人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡是通過大批量的數(shù)據(jù)進行分析，而這種數(shù)據(jù)分析方式本身是建立在一定的數(shù)據(jù)模型基礎上的，因此通常都可以隨時根據(jù)數(shù)據(jù)需求進行分類，所以人工神經(jīng)網(wǎng)絡也是當下數(shù)據(jù)挖掘技術中最常用的一種數(shù)據(jù)分析方式之一。

1.3關聯(lián)性分析法

有時數(shù)據(jù)本身存在一定的隱蔽性使得很難通過普通的數(shù)據(jù)分析法進行數(shù)據(jù)挖掘和利用，這就需要通過關聯(lián)性分析法完成對于數(shù)據(jù)信息的關聯(lián)性識別，來幫助人力完成對于數(shù)據(jù)分辨的任務，這種數(shù)據(jù)分析方法通常是帶著某種目的性進行的，因此比較適用于對數(shù)據(jù)精準度相對較高的信息管理工作。

1.4特征性數(shù)據(jù)分析法

網(wǎng)絡數(shù)據(jù)隨著信息時代的到來變成了數(shù)據(jù)爆炸式，其數(shù)據(jù)資源十分廣泛并且得到了一定的普及，如何就網(wǎng)絡爆炸式數(shù)據(jù)進行關于特性的分類就成為了當下數(shù)據(jù)整理分類的主要內容。在上文中提到的人工神經(jīng)網(wǎng)絡數(shù)據(jù)分析也屬于這其中的一種，此外還有很多方法都是通過計算機來進行虛擬數(shù)據(jù)的分類，尋找數(shù)據(jù)之間存在的普遍規(guī)律性完成數(shù)據(jù)的特性分析從而進行進一步分類。

2大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術的具體應用

數(shù)據(jù)挖掘技術的具體流程就是先通過對于海量數(shù)據(jù)的保存，然后就已有數(shù)據(jù)中進行分析、整理、選擇、轉換等，數(shù)據(jù)的準備工作是數(shù)據(jù)挖掘技術的前提，也是決定數(shù)據(jù)挖掘技術效率及質量的主要因素。在完成數(shù)據(jù)準備工作后進一步對數(shù)據(jù)進行挖掘，然后對數(shù)據(jù)進行評估，最后實現(xiàn)運用。因此，數(shù)據(jù)挖掘能夠運用到很多方面。

2.1市場營銷領域

市場營銷其實就是數(shù)據(jù)挖掘技術最早運用的領域，通常根據(jù)客戶的具體需求，進行客戶分析，將不同的消費習慣和消費特點的客戶進行簡單的分類管理，以此來保證商品能夠順利銷售，并提高個人銷售的成功率和業(yè)績。而銷售的范圍也從最初的超市購物擴展到了包括保險、銀行、電信等各個方面。

2.2科學研究領域

科學研究與實驗測試等都需要對數(shù)據(jù)進行關系分析為進一步的實驗和總結失敗做準備，而實驗測試和科學研究產(chǎn)生的數(shù)據(jù)往往是巨大的，因此數(shù)據(jù)挖掘技術在科學研究領域也得以廣泛運用。通常都是通過科學研究內容選擇數(shù)據(jù)挖掘技術分析法進行計算來找到數(shù)據(jù)中存在的規(guī)律，實現(xiàn)數(shù)據(jù)挖掘的部分價值――科學知識的分析與運用。

2.3電信業(yè)領域

隨著信息化時代的到來，電信產(chǎn)業(yè)也飛速發(fā)展起來，到目前為止，電信產(chǎn)業(yè)已經(jīng)形成了一個巨大的網(wǎng)絡信息載體，如何將其中信息數(shù)據(jù)進行整合就成為電信產(chǎn)業(yè)發(fā)展過程中的重要問題。而數(shù)據(jù)挖掘技術的運用則在一定程度上解決了這一問題，大量的數(shù)據(jù)通過數(shù)據(jù)挖掘技術得到了有效分類，并在這個過程中通過運算得出數(shù)據(jù)之間的關聯(lián)性，運用規(guī)律進一步進行數(shù)據(jù)分類。

2.4教育教學領域

教學評價、教學資源、學生個人基本信息等組成了教育教學領域的數(shù)據(jù)庫，利用數(shù)據(jù)挖掘技術來實現(xiàn)教學資源的優(yōu)化配置，對學生的個人信息整理歸檔，從而保證教育教學領域中數(shù)據(jù)整理的良好運作。

3結語

綜上所述，數(shù)據(jù)挖掘技術對于當今社會的發(fā)展有著不可替代的作用，而如何改善當下數(shù)據(jù)挖掘技術中存在的問題，進一步提高數(shù)據(jù)挖掘技術的質量和效率就成為了數(shù)據(jù)挖掘技術進步的方向。本文通過對于數(shù)據(jù)挖掘與數(shù)據(jù)挖掘技術的方法分析和大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術的具體應用兩個方面對于數(shù)據(jù)挖掘技術進行了簡要的闡述和分析，相信在未來伴隨著科學技術的進一步發(fā)展，數(shù)據(jù)挖掘技術也將更加強大。

第四篇：《大數(shù)據(jù)：技術與應用》學習心得

4月1日上午，“新時代學習大講堂”第二期時代前沿知識專題講座貴陽舉行。中國科學院院士，北京理工大學黨委常委、副校長，貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展研究院院長梅宏圍繞大數(shù)據(jù)技術與應用作專題報告。

本次講座上，梅宏院長從“大數(shù)據(jù)是什么”、“如何應對大數(shù)據(jù)”、“如何應用大數(shù)據(jù)”、“大數(shù)據(jù)現(xiàn)狀和思考”等多個方面，全方位、多角度、立體式地解讀了大數(shù)據(jù)的技術與應用，語言生動、內容詳實，既傳達了黨中央的精神，又談了自身學習體會，既解讀了大數(shù)據(jù)發(fā)展的規(guī)律，又提出了學習領會的意見建議，為貴州省各級領導干部、國家機關、公職人員學習互聯(lián)網(wǎng)知識，熟練掌握大數(shù)據(jù)知識指出了路徑、傳授了方法。

通過學習，我們知道信息時代的到來，感受到的是技術變化日新月異，隨之而來的是生活方式的轉變，我們這樣評論著的信息時代已經(jīng)變?yōu)樵?jīng)。如今，大數(shù)據(jù)時代成為炙手可熱的話題。

今天，信息是一個高度概括抽象概念，是一個發(fā)展中的動態(tài)范疇，是進行互相交換的內容和名稱，信息的界定沒有統(tǒng)一的定義，但是信息具備客觀、動態(tài)、傳遞、共享、經(jīng)濟等特性卻是大家的共識。數(shù)據(jù)是描述事物的符號記錄，是可定義為意義的實體，它涉及到事物的存在形式。它是關于事件之一組離散且客觀的事實描述，是構成信息和知識的原始材料。數(shù)據(jù)可分為模擬數(shù)據(jù)和數(shù)字數(shù)據(jù)兩大類。數(shù)據(jù)指計算機加工的“原料”，如圖形、聲音、文字、數(shù)、字符和符號等。從定義看來，數(shù)據(jù)是原始的處女地，需要耕耘。信息則是已經(jīng)處理過的可以傳播的資訊。信息時代依賴于數(shù)據(jù)的爆發(fā)，只是當數(shù)據(jù)爆發(fā)到無法駕馭的狀態(tài)，大數(shù)據(jù)時代應運而生。

在大數(shù)據(jù)時代，大數(shù)據(jù)時代區(qū)別與轉變就是，放棄對因果關系的渴求，而取而代之關注相關關系。也就是說只要知道“是什么”，而不需要知道“為什么”。數(shù)據(jù)的更多、更雜，導致應用主意只能盡量觀察，而不是傾其所有進行推理。小數(shù)據(jù)停留在說明過去，大數(shù)據(jù)用驅動過去來預測未來。數(shù)據(jù)的用途意在何為，與數(shù)據(jù)本身無關，而與數(shù)據(jù)的解讀者有關，而相關關系更有利于預測未來。大數(shù)據(jù)更多的體現(xiàn)在海量非結構化數(shù)據(jù)本身與處理方法的整合。大數(shù)據(jù)更像是理論與現(xiàn)實齊頭并進，理論來創(chuàng)立處理非結構化數(shù)據(jù)的方法，處理結果與未來進行驗證。大數(shù)據(jù)是在互聯(lián)網(wǎng)背景下數(shù)據(jù)從量變到質變的過程。小數(shù)據(jù)時代也即是信息時代，是大數(shù)據(jù)時代的前提，大數(shù)據(jù)時代是升華和進化，本質是相輔相成，而并非相離互斥?？蛻魯?shù)據(jù)、交易數(shù)據(jù)、管理數(shù)據(jù)等海量數(shù)據(jù)不斷增長，海量機遇和挑戰(zhàn)也隨之而來，適應變革，適者生存。我們可以有更廣闊的學習空間、可以有更精準的決策判斷能力這些都基于數(shù)據(jù)的收集、整理、駕馭、分析能力，基于脫穎而出的創(chuàng)新思維和執(zhí)行。

李再勇副省長在主持講座時指出，此次專題講座既是一次培訓輔導，也是一次了解大數(shù)據(jù)、弄懂大數(shù)據(jù)、運用大數(shù)據(jù)的好機會，大家要認真學習、深刻領悟，將大數(shù)據(jù)知識運用到實際工作中。并要求，廣大黨員干部一是要精準把握總書記關于大數(shù)據(jù)發(fā)展系列重要講話精神的核心要義，要利用大數(shù)據(jù)在商用、政用、民用等多方面“聚通用”協(xié)同發(fā)展；二是要以大數(shù)據(jù)發(fā)展重構經(jīng)濟體系，努力實現(xiàn)貴州經(jīng)濟高質量發(fā)展，要以供給側改革為主線，以大數(shù)據(jù)發(fā)展加快對傳統(tǒng)產(chǎn)業(yè)結構和產(chǎn)業(yè)體系的重構、重組，實現(xiàn)質量、效率、動力三大變革；三是要以大數(shù)據(jù)發(fā)展提升治理體系、治理能力，不斷推進政府管理和社會治理模式的創(chuàng)新，要在數(shù)據(jù)重構中找到適合人類社會管理的規(guī)律。四要以大數(shù)據(jù)發(fā)展促進民生發(fā)展，不斷提升公共服務均等化、普惠化、便捷化，要通過大數(shù)據(jù)進一步推動共享發(fā)展，共享發(fā)展的平臺和路徑以及技術，加快共同富裕的步伐。

第五篇：文獻3-大數(shù)據(jù)技術與應用

大數(shù)據(jù)技術與應用*

【摘要】：隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，特別是近年來云計算、物聯(lián)網(wǎng)、社交網(wǎng)絡等新興服務促使人類社會的數(shù)據(jù)種類和規(guī)模正以前所未有的速度增長,大數(shù)據(jù)時代正式到來.數(shù)據(jù)從簡單的處理對象開始轉變?yōu)橐环N基礎性資源,如何更好地管理和利用大數(shù)據(jù)已經(jīng)成為普遍關注的話題.大數(shù)據(jù)的規(guī)模效應給數(shù)據(jù)存儲、管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn),數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生.對大數(shù)據(jù)的產(chǎn)生背景和基本概念進行剖析,并對大數(shù)據(jù)的主要應用作簡單對比.在此基礎上,闡述大數(shù)據(jù)處理的基本框架,并就云計算技術對于大數(shù)據(jù)時代數(shù)據(jù)管理所產(chǎn)生的作用進行分析.最后歸納總結大數(shù)據(jù)時代所面臨的新挑戰(zhàn)。【關鍵字】：大數(shù)據(jù)

發(fā)展趨勢 應用 機遇和挑戰(zhàn)

一、大數(shù)據(jù)時代的背景

半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡、電子商務等極大拓展了互聯(lián)網(wǎng)的邊界和應用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。2011年5 月，在“云計算相遇大數(shù)據(jù)” 為主題的EMC World 2011 會議中，EMC 拋出了Big Data概念。正如《紐約時報》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟及其他領域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。哈佛大學社會學教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程?！?/p>

二、什么是大數(shù)據(jù)

大數(shù)據(jù)（Big Data）是指那些超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉輸速度要求很高，或者其結構不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取大數(shù)據(jù)中的價值，我們必須選擇另一種方式來處理它。數(shù)據(jù)中隱藏著有價值的模式和信息，在以往需要相當?shù)臅r間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業(yè)都要付高昂的代價才能從大數(shù)據(jù)中挖掘信息。而當今的各種資源，如硬件、云架構和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價格租用云服務時間了。對于企業(yè)組織來講，大數(shù)據(jù)的價值體現(xiàn)在兩個方面：分析使用和二次開發(fā)。對大數(shù)據(jù)進行分析能揭示隱藏其中的信息。例如零售業(yè)中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數(shù)據(jù)的二次開發(fā)則是那些成功的網(wǎng)絡公司的長項。例如Facebook通過結合大量用戶信息，定制出高度個性化的用戶體驗，并創(chuàng)造出一種新的廣告模式。這種通過大數(shù)據(jù)創(chuàng)造出新產(chǎn)品和服務的商業(yè)行為并非巧合，谷歌、雅虎、亞馬遜和Facebook它們都是大數(shù)據(jù)時代的創(chuàng)新者。

（一）大數(shù)據(jù)的4V特征

大量化(Volume)：企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長。例如，IDC最近的報告預測稱，到2020年，全球數(shù)據(jù)量將擴大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個不斷變化的指標，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡而言之，存儲1PB數(shù)據(jù)將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。

多樣化(Variety)：一個普遍觀點認為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因，這一看法部分正確。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結構數(shù)據(jù)，以及包括網(wǎng)絡日志、社交媒體、互聯(lián)網(wǎng)搜索、手機通話記錄及傳感器網(wǎng)絡等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數(shù)據(jù)的多樣性。

快速化(Velocity)：高速描述的是數(shù)據(jù)被創(chuàng)建和移動的速度。在高速網(wǎng)絡時代，通過基于實現(xiàn)

軟件性能優(yōu)化的高速電腦處理器和服務器，創(chuàng)建實時數(shù)據(jù)流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據(jù)IMS Research關于數(shù)據(jù)創(chuàng)建速度的調查，據(jù)預測，到2020年全球將擁有220億部互聯(lián)網(wǎng)連接設備。價值（Value）：大量的不相關信息，浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預測分析，深度復雜分析（機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等）

三、大數(shù)據(jù)時代對生活、工作的影響

大數(shù)據(jù)，其影響除了經(jīng)濟方面的，它同時也能在政治、文化等方面產(chǎn)生深遠的影響，大數(shù)據(jù)可以幫助人們開啟循“數(shù)”管理的模式，也是我們當下“大社會”的集中體現(xiàn)，三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。

“大數(shù)據(jù)”的影響，增加了對信息管理專家的需求。事實上，大數(shù)據(jù)的影響并不僅僅限于信息通信產(chǎn)業(yè)，而是正在“吞噬”和重構很多傳統(tǒng)行業(yè)，廣泛運用數(shù)據(jù)分析手段管理和優(yōu)化運營的公司其實質都是一個數(shù)據(jù)公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據(jù)分析基礎之上的精準選址。而在零售業(yè)中，數(shù)據(jù)分析的技術與手段更是得到廣泛的應用，傳統(tǒng)企業(yè)如沃爾瑪通過數(shù)據(jù)挖掘重塑并優(yōu)化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數(shù)據(jù)的掌握和分析，為用戶提供更加專業(yè)化和個性化的服務。

大數(shù)據(jù)在個人隱私的方面，大量數(shù)據(jù)經(jīng)常含有一些詳細的潛在的能夠展示有關我們的信息，逐漸引起了我們對個人隱私的擔憂。一些處理大數(shù)據(jù)公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出，我們不應該簡單地服從法律方面的隱私保護問題，這些遠遠不夠的，公司都應該遵從谷歌不作惡的原則，甚至更應該做出更積極的努力。

四、大數(shù)據(jù)時代的發(fā)展方向、趨勢

根據(jù)ESM國際電子商情針對2013年大數(shù)據(jù)應用現(xiàn)狀和趨勢的調查顯示：被調查者最關注的大數(shù)據(jù)技術中，排在前五位的分別是大數(shù)據(jù)分析（12.91%）、云數(shù)據(jù)庫（11.82%）、Hadoop（11.73%）、內存數(shù)據(jù)庫（11.64%）以及數(shù)據(jù)安全（9.21%）。Hadoop已不再是人們心目中僅有的大數(shù)據(jù)技術，而大數(shù)據(jù)分析成為最被關注的技術。從中可以看出，人們對大數(shù)據(jù)的了解已經(jīng)逐漸深入，關注的技術點也越來越多。既然大數(shù)據(jù)分析是最被關注的技術趨勢，那么大數(shù)據(jù)分析中的哪項功能是最重要的呢?從下圖可以看出，排在前三位的功能分別是實時分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。2012年也曾做過類似的調查，當時選擇豐富的挖掘模型(27.22%)比實時分析(19.88%)多7.34%。短短一年時間內，企業(yè)對實時分析的需求激增，成就了很多以實時分析為創(chuàng)新技術的大數(shù)據(jù)廠商。從調查結果可以看出：企業(yè)在未來一兩年中有迫切部署大數(shù)據(jù)的需求，并且已經(jīng)從一開始的基礎設施建設，逐漸發(fā)展為對大數(shù)據(jù)分析和整體大數(shù)據(jù)解決方案的需求。與此同時，大數(shù)據(jù)還面臨人才的缺乏的挑戰(zhàn)，需要企業(yè)和高校聯(lián)合起來，培養(yǎng)數(shù)據(jù)領域的復合型人才，幫助企業(yè)打贏這場“數(shù)據(jù)戰(zhàn)”。

五、大數(shù)據(jù)的應用

（一）行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石

你IBM：IBM大數(shù)據(jù)提供的服務包括數(shù)據(jù)分析，文本分析，藍色云杉（混搭供電合作的網(wǎng)絡平臺）;業(yè)務事件處理；IBM Mashup Center的計量，監(jiān)測，和商業(yè)化服務（MMMS）。IBM的大數(shù)據(jù)產(chǎn)品組合中的最新系列產(chǎn)品的InfoSphere bigInsights，基于Apache Hadoop。該產(chǎn)品組合包括：打包的Apache Hadoop的軟件和服務，代號是bigInsights核心，用于開始大數(shù)據(jù)分析。軟件被稱為bigsheet，軟件目的是幫助從大量數(shù)據(jù)中輕松、簡單、直觀的提取、批注相關信息為金融，風險管理，媒體和娛樂等行業(yè)量身定做的行業(yè)解決方案 微軟：2011年1月與惠普（具體而言是HP數(shù)據(jù)庫綜合應用部門）合作目標是開發(fā)了一系列

能夠提升生產(chǎn)力和提高決策速度的設備。

EMC：EMC 斬獲了紐交所和Nasdaq；大數(shù)據(jù)解決方案已包括40多個產(chǎn)品。

Oracle：Oracle大數(shù)據(jù)機與Oracle Exalogic中間件云服務器、Oracle Exadata數(shù)據(jù)庫云服務器以及Oracle Exalytics商務智能云服務器一起組成了甲骨文最廣泛、高度集成化系統(tǒng)產(chǎn)品組合。

（二）大數(shù)據(jù)促進了政府職能變革

重視應用大數(shù)據(jù)技術，盤活各地云計算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程，改造成智慧工程；在安防領域，應用大數(shù)據(jù)技術，提高應急處置能力和安全防范能力；在民生領域，應用大數(shù)據(jù)技術，提升服務能力和運作效率，以及個性化的服務，比如醫(yī)療、衛(wèi)生、教育等部門；解決在金融，電信領域等中數(shù)據(jù)分析的問題：一直得到得極大的重視，但受困于存儲能力和計算能力的限制，只局限在交易數(shù)型數(shù)據(jù)的統(tǒng)計分析。一方面大數(shù)據(jù)的應用促進了政府職能變革，另一方面政府投入將形成示范效應，大大推動大數(shù)據(jù)的發(fā)展。

（三）打造“智慧城市”

美國奧巴馬政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，提出“通過收集、處理龐大而復雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創(chuàng)新步伐，強化美國國土安全，轉變教育和學習模式” ；中國工程院院士鄔賀銓說道，“智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯(lián)和有效，隨著智慧城市的建設，社會將步入“大數(shù)據(jù)”時代?！?/p>

（四）未來，改變一切

未來，企業(yè)會依靠洞悉數(shù)據(jù)中的信息更加了解自己，也更加了解客戶。

數(shù)據(jù)的再利用：由于在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數(shù)據(jù)，但他們并不急需使用也不擅長再次利用這些數(shù)據(jù)。例如，移動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數(shù)據(jù)只有狹窄的技術用途。但當它被一些發(fā)布個性化位置廣告服務和促銷活動的公司再次利用時，則變得更有價值。

六、機遇和挑戰(zhàn)

大數(shù)據(jù)賦予了我們洞察未來的能力，但同時諸多領域的問題亟待解決，最重要的是每個人的信息都被互聯(lián)網(wǎng)所記錄和保留了下來，并且進行加工和利用，為人所用，而這正是我們所擔憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了。多少密碼和賬號是因為“社交網(wǎng)絡”流出去的？

眼下中國互聯(lián)網(wǎng)熱門的話題之一就是互聯(lián)網(wǎng)實名制問題，我愿意相信這是個好事。畢竟我們如果明著亮出自己的身份，互聯(lián)網(wǎng)才能對我們的隱私給予更好保護。