第一篇：文獻(xiàn)3-大數(shù)據(jù)技術(shù)與應(yīng)用

大數(shù)據(jù)技術(shù)與應(yīng)用*

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，特別是近年來云計(jì)算、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新興服務(wù)促使人類社會(huì)的數(shù)據(jù)種類和規(guī)模正以前所未有的速度增長,大數(shù)據(jù)時(shí)代正式到來.數(shù)據(jù)從簡(jiǎn)單的處理對(duì)象開始轉(zhuǎn)變?yōu)橐环N基礎(chǔ)性資源,如何更好地管理和利用大數(shù)據(jù)已經(jīng)成為普遍關(guān)注的話題.大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)存儲(chǔ)、管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn),數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生.對(duì)大數(shù)據(jù)的產(chǎn)生背景和基本概念進(jìn)行剖析,并對(duì)大數(shù)據(jù)的主要應(yīng)用作簡(jiǎn)單對(duì)比.在此基礎(chǔ)上,闡述大數(shù)據(jù)處理的基本框架,并就云計(jì)算技術(shù)對(duì)于大數(shù)據(jù)時(shí)代數(shù)據(jù)管理所產(chǎn)生的作用進(jìn)行分析.最后歸納總結(jié)大數(shù)據(jù)時(shí)代所面臨的新挑戰(zhàn)?！娟P(guān)鍵字】：大數(shù)據(jù)

發(fā)展趨勢(shì) 應(yīng)用 機(jī)遇和挑戰(zhàn)

一、大數(shù)據(jù)時(shí)代的背景

半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。2011年5 月，在“云計(jì)算相遇大數(shù)據(jù)” 為主題的EMC World 2011 會(huì)議中，EMC 拋出了Big Data概念。正如《紐約時(shí)報(bào)》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。哈佛大學(xué)社會(huì)學(xué)教授加里·金說：“這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。”

二、什么是大數(shù)據(jù)

大數(shù)據(jù)（Big Data）是指那些超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉(zhuǎn)輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取大數(shù)據(jù)中的價(jià)值，我們必須選擇另一種方式來處理它。數(shù)據(jù)中隱藏著有價(jià)值的模式和信息，在以往需要相當(dāng)?shù)臅r(shí)間和成本才能提取這些信息。如沃爾瑪或谷歌這類領(lǐng)先企業(yè)都要付高昂的代價(jià)才能從大數(shù)據(jù)中挖掘信息。而當(dāng)今的各種資源，如硬件、云架構(gòu)和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價(jià)。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價(jià)格租用云服務(wù)時(shí)間了。對(duì)于企業(yè)組織來講，大數(shù)據(jù)的價(jià)值體現(xiàn)在兩個(gè)方面：分析使用和二次開發(fā)。對(duì)大數(shù)據(jù)進(jìn)行分析能揭示隱藏其中的信息。例如零售業(yè)中對(duì)門店銷售、地理和社會(huì)信息的分析能提升對(duì)客戶的理解。對(duì)大數(shù)據(jù)的二次開發(fā)則是那些成功的網(wǎng)絡(luò)公司的長項(xiàng)。例如Facebook通過結(jié)合大量用戶信息，定制出高度個(gè)性化的用戶體驗(yàn)，并創(chuàng)造出一種新的廣告模式。這種通過大數(shù)據(jù)創(chuàng)造出新產(chǎn)品和服務(wù)的商業(yè)行為并非巧合，谷歌、雅虎、亞馬遜和Facebook它們都是大數(shù)據(jù)時(shí)代的創(chuàng)新者。

（一）大數(shù)據(jù)的4V特征

大量化(Volume)：企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長。例如，IDC最近的報(bào)告預(yù)測(cè)稱，到2020年，全球數(shù)據(jù)量將擴(kuò)大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個(gè)不斷變化的指標(biāo)，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡(jiǎn)而言之，存儲(chǔ)1PB數(shù)據(jù)將需要兩萬臺(tái)配備50GB硬盤的個(gè)人電腦。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。

多樣化(Variety)：一個(gè)普遍觀點(diǎn)認(rèn)為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因，這一看法部分正確。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機(jī)上，每個(gè)傳感器都增加了數(shù)據(jù)的多樣性。

快速化(Velocity)：高速描述的是數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度。在高速網(wǎng)絡(luò)時(shí)代，通過基于實(shí)現(xiàn)

軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實(shí)時(shí)數(shù)據(jù)流已成為流行趨勢(shì)。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實(shí)時(shí)需求。根據(jù)IMS Research關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查，據(jù)預(yù)測(cè)，到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設(shè)備。價(jià)值（Value）：大量的不相關(guān)信息，浪里淘沙卻又彌足珍貴。對(duì)未來趨勢(shì)與模式的可預(yù)測(cè)分析，深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）

三、大數(shù)據(jù)時(shí)代對(duì)生活、工作的影響

大數(shù)據(jù)，其影響除了經(jīng)濟(jì)方面的，它同時(shí)也能在政治、文化等方面產(chǎn)生深遠(yuǎn)的影響，大數(shù)據(jù)可以幫助人們開啟循“數(shù)”管理的模式，也是我們當(dāng)下“大社會(huì)”的集中體現(xiàn)，三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。

“大數(shù)據(jù)”的影響，增加了對(duì)信息管理專家的需求。事實(shí)上，大數(shù)據(jù)的影響并不僅僅限于信息通信產(chǎn)業(yè)，而是正在“吞噬”和重構(gòu)很多傳統(tǒng)行業(yè)，廣泛運(yùn)用數(shù)據(jù)分析手段管理和優(yōu)化運(yùn)營的公司其實(shí)質(zhì)都是一個(gè)數(shù)據(jù)公司。麥當(dāng)勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據(jù)分析基礎(chǔ)之上的精準(zhǔn)選址。而在零售業(yè)中，數(shù)據(jù)分析的技術(shù)與手段更是得到廣泛的應(yīng)用，傳統(tǒng)企業(yè)如沃爾瑪通過數(shù)據(jù)挖掘重塑并優(yōu)化供應(yīng)鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對(duì)海量數(shù)據(jù)的掌握和分析，為用戶提供更加專業(yè)化和個(gè)性化的服務(wù)。

大數(shù)據(jù)在個(gè)人隱私的方面，大量數(shù)據(jù)經(jīng)常含有一些詳細(xì)的潛在的能夠展示有關(guān)我們的信息，逐漸引起了我們對(duì)個(gè)人隱私的擔(dān)憂。一些處理大數(shù)據(jù)公司需要認(rèn)真的對(duì)待這個(gè)問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個(gè)科學(xué)家提出，我們不應(yīng)該簡(jiǎn)單地服從法律方面的隱私保護(hù)問題，這些遠(yuǎn)遠(yuǎn)不夠的，公司都應(yīng)該遵從谷歌不作惡的原則，甚至更應(yīng)該做出更積極的努力。

四、大數(shù)據(jù)時(shí)代的發(fā)展方向、趨勢(shì)

根據(jù)ESM國際電子商情針對(duì)2013年大數(shù)據(jù)應(yīng)用現(xiàn)狀和趨勢(shì)的調(diào)查顯示：被調(diào)查者最關(guān)注的大數(shù)據(jù)技術(shù)中，排在前五位的分別是大數(shù)據(jù)分析（12.91%）、云數(shù)據(jù)庫（11.82%）、Hadoop（11.73%）、內(nèi)存數(shù)據(jù)庫（11.64%）以及數(shù)據(jù)安全（9.21%）。Hadoop已不再是人們心目中僅有的大數(shù)據(jù)技術(shù)，而大數(shù)據(jù)分析成為最被關(guān)注的技術(shù)。從中可以看出，人們對(duì)大數(shù)據(jù)的了解已經(jīng)逐漸深入，關(guān)注的技術(shù)點(diǎn)也越來越多。既然大數(shù)據(jù)分析是最被關(guān)注的技術(shù)趨勢(shì)，那么大數(shù)據(jù)分析中的哪項(xiàng)功能是最重要的呢?從下圖可以看出，排在前三位的功能分別是實(shí)時(shí)分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。2012年也曾做過類似的調(diào)查，當(dāng)時(shí)選擇豐富的挖掘模型(27.22%)比實(shí)時(shí)分析(19.88%)多7.34%。短短一年時(shí)間內(nèi)，企業(yè)對(duì)實(shí)時(shí)分析的需求激增，成就了很多以實(shí)時(shí)分析為創(chuàng)新技術(shù)的大數(shù)據(jù)廠商。從調(diào)查結(jié)果可以看出：企業(yè)在未來一兩年中有迫切部署大數(shù)據(jù)的需求，并且已經(jīng)從一開始的基礎(chǔ)設(shè)施建設(shè)，逐漸發(fā)展為對(duì)大數(shù)據(jù)分析和整體大數(shù)據(jù)解決方案的需求。與此同時(shí)，大數(shù)據(jù)還面臨人才的缺乏的挑戰(zhàn)，需要企業(yè)和高校聯(lián)合起來，培養(yǎng)數(shù)據(jù)領(lǐng)域的復(fù)合型人才，幫助企業(yè)打贏這場(chǎng)“數(shù)據(jù)戰(zhàn)”。

五、大數(shù)據(jù)的應(yīng)用

（一）行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石

你IBM：IBM大數(shù)據(jù)提供的服務(wù)包括數(shù)據(jù)分析，文本分析，藍(lán)色云杉（混搭供電合作的網(wǎng)絡(luò)平臺(tái)）;業(yè)務(wù)事件處理；IBM Mashup Center的計(jì)量，監(jiān)測(cè)，和商業(yè)化服務(wù)（MMMS）。IBM的大數(shù)據(jù)產(chǎn)品組合中的最新系列產(chǎn)品的InfoSphere bigInsights，基于Apache Hadoop。該產(chǎn)品組合包括：打包的Apache Hadoop的軟件和服務(wù)，代號(hào)是bigInsights核心，用于開始大數(shù)據(jù)分析。軟件被稱為bigsheet，軟件目的是幫助從大量數(shù)據(jù)中輕松、簡(jiǎn)單、直觀的提取、批注相關(guān)信息為金融，風(fēng)險(xiǎn)管理，媒體和娛樂等行業(yè)量身定做的行業(yè)解決方案 微軟：2011年1月與惠普（具體而言是HP數(shù)據(jù)庫綜合應(yīng)用部門）合作目標(biāo)是開發(fā)了一系列

能夠提升生產(chǎn)力和提高決策速度的設(shè)備。

EMC：EMC 斬獲了紐交所和Nasdaq；大數(shù)據(jù)解決方案已包括40多個(gè)產(chǎn)品。

Oracle：Oracle大數(shù)據(jù)機(jī)與Oracle Exalogic中間件云服務(wù)器、Oracle Exadata數(shù)據(jù)庫云服務(wù)器以及Oracle Exalytics商務(wù)智能云服務(wù)器一起組成了甲骨文最廣泛、高度集成化系統(tǒng)產(chǎn)品組合。

（二）大數(shù)據(jù)促進(jìn)了政府職能變革

重視應(yīng)用大數(shù)據(jù)技術(shù)，盤活各地云計(jì)算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績(jī)工程，改造成智慧工程；在安防領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提高應(yīng)急處置能力和安全防范能力；在民生領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提升服務(wù)能力和運(yùn)作效率，以及個(gè)性化的服務(wù)，比如醫(yī)療、衛(wèi)生、教育等部門；解決在金融，電信領(lǐng)域等中數(shù)據(jù)分析的問題：一直得到得極大的重視，但受困于存儲(chǔ)能力和計(jì)算能力的限制，只局限在交易數(shù)型數(shù)據(jù)的統(tǒng)計(jì)分析。一方面大數(shù)據(jù)的應(yīng)用促進(jìn)了政府職能變革，另一方面政府投入將形成示范效應(yīng)，大大推動(dòng)大數(shù)據(jù)的發(fā)展。

（三）打造“智慧城市”

美國奧巴馬政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識(shí)和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強(qiáng)化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式” ；中國工程院院士鄔賀銓說道，“智慧城市是使用智能計(jì)算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市的建設(shè)，社會(huì)將步入“大數(shù)據(jù)”時(shí)代?！?/p>

（四）未來，改變一切

未來，企業(yè)會(huì)依靠洞悉數(shù)據(jù)中的信息更加了解自己，也更加了解客戶。

數(shù)據(jù)的再利用：由于在信息價(jià)值鏈中的特殊位置，有些公司可能會(huì)收集到大量的數(shù)據(jù)，但他們并不急需使用也不擅長再次利用這些數(shù)據(jù)。例如，移動(dòng)電話運(yùn)營商手機(jī)用戶的位置信息來傳輸電話信號(hào)，這對(duì)以他們來說，數(shù)據(jù)只有狹窄的技術(shù)用途。但當(dāng)它被一些發(fā)布個(gè)性化位置廣告服務(wù)和促銷活動(dòng)的公司再次利用時(shí)，則變得更有價(jià)值。

六、機(jī)遇和挑戰(zhàn)

大數(shù)據(jù)賦予了我們洞察未來的能力，但同時(shí)諸多領(lǐng)域的問題亟待解決，最重要的是每個(gè)人的信息都被互聯(lián)網(wǎng)所記錄和保留了下來，并且進(jìn)行加工和利用，為人所用，而這正是我們所擔(dān)憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了。多少密碼和賬號(hào)是因?yàn)椤吧缃痪W(wǎng)絡(luò)”流出去的？

眼下中國互聯(lián)網(wǎng)熱門的話題之一就是互聯(lián)網(wǎng)實(shí)名制問題，我愿意相信這是個(gè)好事。畢竟我們?nèi)绻髦脸鲎约旱纳矸荩ヂ?lián)網(wǎng)才能對(duì)我們的隱私給予更好保護(hù)。

第二篇：《大數(shù)據(jù)：技術(shù)與應(yīng)用》學(xué)習(xí)心得

4月1日上午，“新時(shí)代學(xué)習(xí)大講堂”第二期時(shí)代前沿知識(shí)專題講座貴陽舉行。中國科學(xué)院院士，北京理工大學(xué)黨委常委、副校長，貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展研究院院長梅宏圍繞大數(shù)據(jù)技術(shù)與應(yīng)用作專題報(bào)告。

本次講座上，梅宏院長從“大數(shù)據(jù)是什么”、“如何應(yīng)對(duì)大數(shù)據(jù)”、“如何應(yīng)用大數(shù)據(jù)”、“大數(shù)據(jù)現(xiàn)狀和思考”等多個(gè)方面，全方位、多角度、立體式地解讀了大數(shù)據(jù)的技術(shù)與應(yīng)用，語言生動(dòng)、內(nèi)容詳實(shí)，既傳達(dá)了黨中央的精神，又談了自身學(xué)習(xí)體會(huì)，既解讀了大數(shù)據(jù)發(fā)展的規(guī)律，又提出了學(xué)習(xí)領(lǐng)會(huì)的意見建議，為貴州省各級(jí)領(lǐng)導(dǎo)干部、國家機(jī)關(guān)、公職人員學(xué)習(xí)互聯(lián)網(wǎng)知識(shí)，熟練掌握大數(shù)據(jù)知識(shí)指出了路徑、傳授了方法。

通過學(xué)習(xí)，我們知道信息時(shí)代的到來，感受到的是技術(shù)變化日新月異，隨之而來的是生活方式的轉(zhuǎn)變，我們這樣評(píng)論著的信息時(shí)代已經(jīng)變?yōu)樵?jīng)。如今，大數(shù)據(jù)時(shí)代成為炙手可熱的話題。

今天，信息是一個(gè)高度概括抽象概念，是一個(gè)發(fā)展中的動(dòng)態(tài)范疇，是進(jìn)行互相交換的內(nèi)容和名稱，信息的界定沒有統(tǒng)一的定義，但是信息具備客觀、動(dòng)態(tài)、傳遞、共享、經(jīng)濟(jì)等特性卻是大家的共識(shí)。數(shù)據(jù)是描述事物的符號(hào)記錄，是可定義為意義的實(shí)體，它涉及到事物的存在形式。它是關(guān)于事件之一組離散且客觀的事實(shí)描述，是構(gòu)成信息和知識(shí)的原始材料。數(shù)據(jù)可分為模擬數(shù)據(jù)和數(shù)字?jǐn)?shù)據(jù)兩大類。數(shù)據(jù)指計(jì)算機(jī)加工的“原料”，如圖形、聲音、文字、數(shù)、字符和符號(hào)等。從定義看來，數(shù)據(jù)是原始的處女地，需要耕耘。信息則是已經(jīng)處理過的可以傳播的資訊。信息時(shí)代依賴于數(shù)據(jù)的爆發(fā)，只是當(dāng)數(shù)據(jù)爆發(fā)到無法駕馭的狀態(tài)，大數(shù)據(jù)時(shí)代應(yīng)運(yùn)而生。

在大數(shù)據(jù)時(shí)代，大數(shù)據(jù)時(shí)代區(qū)別與轉(zhuǎn)變就是，放棄對(duì)因果關(guān)系的渴求，而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”，而不需要知道“為什么”。數(shù)據(jù)的更多、更雜，導(dǎo)致應(yīng)用主意只能盡量觀察，而不是傾其所有進(jìn)行推理。小數(shù)據(jù)停留在說明過去，大數(shù)據(jù)用驅(qū)動(dòng)過去來預(yù)測(cè)未來。數(shù)據(jù)的用途意在何為，與數(shù)據(jù)本身無關(guān)，而與數(shù)據(jù)的解讀者有關(guān)，而相關(guān)關(guān)系更有利于預(yù)測(cè)未來。大數(shù)據(jù)更多的體現(xiàn)在海量非結(jié)構(gòu)化數(shù)據(jù)本身與處理方法的整合。大數(shù)據(jù)更像是理論與現(xiàn)實(shí)齊頭并進(jìn)，理論來創(chuàng)立處理非結(jié)構(gòu)化數(shù)據(jù)的方法，處理結(jié)果與未來進(jìn)行驗(yàn)證。大數(shù)據(jù)是在互聯(lián)網(wǎng)背景下數(shù)據(jù)從量變到質(zhì)變的過程。小數(shù)據(jù)時(shí)代也即是信息時(shí)代，是大數(shù)據(jù)時(shí)代的前提，大數(shù)據(jù)時(shí)代是升華和進(jìn)化，本質(zhì)是相輔相成，而并非相離互斥?？蛻魯?shù)據(jù)、交易數(shù)據(jù)、管理數(shù)據(jù)等海量數(shù)據(jù)不斷增長，海量機(jī)遇和挑戰(zhàn)也隨之而來，適應(yīng)變革，適者生存。我們可以有更廣闊的學(xué)習(xí)空間、可以有更精準(zhǔn)的決策判斷能力這些都基于數(shù)據(jù)的收集、整理、駕馭、分析能力，基于脫穎而出的創(chuàng)新思維和執(zhí)行。

李再勇副省長在主持講座時(shí)指出，此次專題講座既是一次培訓(xùn)輔導(dǎo)，也是一次了解大數(shù)據(jù)、弄懂大數(shù)據(jù)、運(yùn)用大數(shù)據(jù)的好機(jī)會(huì)，大家要認(rèn)真學(xué)習(xí)、深刻領(lǐng)悟，將大數(shù)據(jù)知識(shí)運(yùn)用到實(shí)際工作中。并要求，廣大黨員干部一是要精準(zhǔn)把握總書記關(guān)于大數(shù)據(jù)發(fā)展系列重要講話精神的核心要義，要利用大數(shù)據(jù)在商用、政用、民用等多方面“聚通用”協(xié)同發(fā)展；二是要以大數(shù)據(jù)發(fā)展重構(gòu)經(jīng)濟(jì)體系，努力實(shí)現(xiàn)貴州經(jīng)濟(jì)高質(zhì)量發(fā)展，要以供給側(cè)改革為主線，以大數(shù)據(jù)發(fā)展加快對(duì)傳統(tǒng)產(chǎn)業(yè)結(jié)構(gòu)和產(chǎn)業(yè)體系的重構(gòu)、重組，實(shí)現(xiàn)質(zhì)量、效率、動(dòng)力三大變革；三是要以大數(shù)據(jù)發(fā)展提升治理體系、治理能力，不斷推進(jìn)政府管理和社會(huì)治理模式的創(chuàng)新，要在數(shù)據(jù)重構(gòu)中找到適合人類社會(huì)管理的規(guī)律。四要以大數(shù)據(jù)發(fā)展促進(jìn)民生發(fā)展，不斷提升公共服務(wù)均等化、普惠化、便捷化，要通過大數(shù)據(jù)進(jìn)一步推動(dòng)共享發(fā)展，共享發(fā)展的平臺(tái)和路徑以及技術(shù)，加快共同富裕的步伐。

第三篇：大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)與應(yīng)用

大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)與應(yīng)用

【摘要】人類進(jìn)入信息化時(shí)代以后，短短的數(shù)年時(shí)間，積累了大量的數(shù)據(jù)，步入了大數(shù)據(jù)時(shí)代，數(shù)據(jù)技術(shù)也就應(yīng)運(yùn)而生，成為了一種新的主流技術(shù)。而研究數(shù)據(jù)挖掘技術(shù)的理念、方法以及應(yīng)用領(lǐng)域，將對(duì)我國各個(gè)領(lǐng)域的未來帶來更多的機(jī)遇和挑戰(zhàn)。本文就大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)與應(yīng)用進(jìn)行探究。

【關(guān)鍵詞】大數(shù)據(jù)，數(shù)據(jù)挖掘，互聯(lián)網(wǎng)

數(shù)據(jù)挖掘是一門新興的學(xué)科，它誕生于20世紀(jì)80年代，主要面向商業(yè)應(yīng)用的人工只能研究領(lǐng)域。從技術(shù)角度來看，數(shù)據(jù)挖掘就是從大量的復(fù)雜的、不規(guī)則的、隨機(jī)的、模糊的數(shù)據(jù)中獲取隱含的、人們事先沒有發(fā)覺的、有潛在價(jià)值和知識(shí)的過程。從商業(yè)角度來說，數(shù)據(jù)挖掘就是從龐大的數(shù)據(jù)庫中抽取、轉(zhuǎn)換、分析一些潛在規(guī)律和價(jià)值，從中獲取輔助商業(yè)決策的關(guān)鍵信息和有用知識(shí)。

1.數(shù)據(jù)挖掘的基本分析方法

分析方法是數(shù)據(jù)挖掘的核心工作，通過科學(xué)可靠的算法才能實(shí)現(xiàn)數(shù)據(jù)的挖掘，找出數(shù)據(jù)中潛在的規(guī)律，通過不同的分析方法，將解決不同類型的問題。目前常用的方法有聚類分析、特征數(shù)據(jù)分析法、關(guān)聯(lián)性分析等。

1.1聚類分析法。簡(jiǎn)單來說聚類分析就是通過將數(shù)據(jù)對(duì)象進(jìn)行聚類分組，然后形成板塊，將毫無邏輯的數(shù)據(jù)變成了有聯(lián)系性的分組數(shù)據(jù)，然后從其中獲取具有一定價(jià)值的數(shù)據(jù)內(nèi)容進(jìn)行進(jìn)一步的利用。由于這種分析方法不能夠較好的就數(shù)據(jù)類別、屬性進(jìn)行分類，所以聚類分析法一般都運(yùn)用心理學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)識(shí)別等方面。

1.2特征性數(shù)據(jù)分析法。網(wǎng)絡(luò)數(shù)據(jù)隨著信息時(shí)代的到來變成了數(shù)據(jù)爆炸式，其數(shù)據(jù)資源十分廣泛并且得到了一定的普及，如何就網(wǎng)絡(luò)爆炸式數(shù)據(jù)進(jìn)行關(guān)于特性的分類就成為了當(dāng)下數(shù)據(jù)整理分類的主要內(nèi)容。此外還有很多方法都是通過計(jì)算機(jī)來進(jìn)行虛擬數(shù)據(jù)的分類，尋找數(shù)據(jù)之間存在的普遍規(guī)律性完成數(shù)據(jù)的特性分析從而進(jìn)行進(jìn)一步分類。

1.3關(guān)聯(lián)性分析法。有時(shí)數(shù)據(jù)本身存在一定的隱蔽性使得很難通過普通的數(shù)據(jù)分析法進(jìn)行數(shù)據(jù)挖掘和利用，這就需要通過關(guān)聯(lián)性分析法完成對(duì)于數(shù)據(jù)信息的關(guān)聯(lián)性識(shí)別，來幫助人力完成對(duì)于數(shù)據(jù)分辨的任務(wù)，這種數(shù)據(jù)分析方法通常是帶著某種目的性進(jìn)行的，因此比較適用于對(duì)數(shù)據(jù)精準(zhǔn)度相對(duì)較高的信息管理工作。

2.數(shù)據(jù)挖掘技術(shù)的應(yīng)用

數(shù)據(jù)挖掘技術(shù)的具體流程就是先通過對(duì)于海量數(shù)據(jù)的保存，然后就已有數(shù)據(jù)中進(jìn)行分析、整理、選擇、轉(zhuǎn)換等，數(shù)據(jù)的準(zhǔn)備工作是數(shù)據(jù)挖掘技術(shù)的前提，也是決定數(shù)據(jù)挖掘技術(shù)效率及質(zhì)量的主要因素。在完成數(shù)據(jù)準(zhǔn)備工作后進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行挖掘，然后對(duì)數(shù)據(jù)進(jìn)行評(píng)估，最后實(shí)現(xiàn)運(yùn)用。因此，數(shù)據(jù)挖掘能夠運(yùn)用到很多方面。如數(shù)據(jù)量巨大的互聯(lián)網(wǎng)行業(yè)、天文學(xué)、氣象學(xué)、生物技術(shù)，以及醫(yī)療保健、教育教學(xué)、銀行、金融、零售等行業(yè)。通過數(shù)據(jù)挖掘技術(shù)將大數(shù)據(jù)融合在各種社會(huì)應(yīng)用中，數(shù)據(jù)挖掘的結(jié)果參與到政府、企業(yè)、個(gè)人的決策中，發(fā)揮數(shù)據(jù)挖掘的社會(huì)價(jià)值，改變?nèi)藗兊纳罘绞?，最大化?shù)據(jù)挖掘的積極作用。以教育行業(yè)為例，探究數(shù)據(jù)挖掘技術(shù)在高校教育教學(xué)活動(dòng)中的應(yīng)用。

2.1在高校管理中的應(yīng)用。數(shù)據(jù)挖掘技術(shù)在高校管理的內(nèi)容主要包括：高校招生錄取工作、貧困生選定以及優(yōu)秀生評(píng)定等。高校每年的招生工作是學(xué)?？沙掷m(xù)發(fā)展的重要環(huán)節(jié)，直接影響到高校教學(xué)質(zhì)量以及發(fā)展情況。比如數(shù)據(jù)挖掘技術(shù)在高校管理中的應(yīng)用主要是對(duì)學(xué)生高考成績(jī)、志愿填報(bào)、以及生源來源地等多方面信息進(jìn)行整理分類匯總。具體步驟是通過進(jìn)行數(shù)據(jù)的收集和預(yù)處理，建立相關(guān)數(shù)據(jù)模型，采用分類算法，提取和挖掘?qū)τ脩粲杏玫男畔?，然后進(jìn)行數(shù)據(jù)挖掘的數(shù)據(jù)存儲(chǔ)形式。目前高校數(shù)據(jù)挖掘技術(shù)應(yīng)用的范圍比較廣泛，由于高校管理內(nèi)容比較復(fù)雜，因此在其管理內(nèi)容的每個(gè)小部分也開始利用數(shù)據(jù)挖掘技術(shù)進(jìn)行管理，比如學(xué)生成績(jī)管理，課堂教學(xué)評(píng)價(jià)系統(tǒng)等。

2.2在高校課堂教學(xué)評(píng)價(jià)中的應(yīng)用。數(shù)據(jù)挖掘技術(shù)在高校課堂教學(xué)評(píng)價(jià)系統(tǒng)中的應(yīng)用主要也是利用關(guān)聯(lián)分析法。首先先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理工作，數(shù)據(jù)的預(yù)處理是數(shù)據(jù)挖掘技術(shù)的關(guān)鍵步驟，并且直接影響著數(shù)據(jù)挖掘技術(shù)的應(yīng)用效率。數(shù)據(jù)預(yù)處中要將教師的基本信息、教師教授課程以及教師的職稱、學(xué)歷、學(xué)生信息以及學(xué)生課表相關(guān)信息進(jìn)行數(shù)據(jù)初始記錄。對(duì)于教師的評(píng)價(jià)內(nèi)容根據(jù)高校自身的條件和需求而定，學(xué)校教學(xué)評(píng)價(jià)管理部門登錄學(xué)校教務(wù)系統(tǒng)后，將學(xué)生所選擇的選項(xiàng)對(duì)應(yīng)轉(zhuǎn)換為教師的分值，通過計(jì)算機(jī)計(jì)算總分后得出教師的學(xué)期得分。學(xué)生對(duì)于教師教學(xué)的評(píng)價(jià)在一定程度上也反映了自己的學(xué)習(xí)情況，如對(duì)教師的評(píng)價(jià)為零分，則說明學(xué)生也否定了自己的學(xué)習(xí)效果。2.3在高校學(xué)生信息管理系統(tǒng)中的應(yīng)用。高校學(xué)生信息管理系統(tǒng)中管理要素主要是學(xué)校的領(lǐng)導(dǎo)、任課教師、學(xué)生以及家長。系統(tǒng)的功能要包括：對(duì)不同的用戶設(shè)置不同的使用權(quán)限；對(duì)學(xué)生的基本信息以及學(xué)生瀏覽管理網(wǎng)站的記錄要做到明確記錄；各個(gè)學(xué)院不同專業(yè)的學(xué)生課程要能準(zhǔn)確公布并允許學(xué)生根據(jù)實(shí)際情況修改；成績(jī)管理要能實(shí)現(xiàn)大批量添加及修改；還有比如評(píng)優(yōu)活動(dòng)、黨務(wù)管理等具體功能。數(shù)據(jù)挖掘技術(shù)在高校學(xué)生信息管理系統(tǒng)中的應(yīng)用主要是利用決策樹的方法。學(xué)生信息管理的基本數(shù)據(jù)就是學(xué)生入學(xué)時(shí)填寫的基本信息表，內(nèi)容包括學(xué)生的姓名、學(xué)號(hào)、考勤以及學(xué)習(xí)成績(jī)等，這些都是學(xué)生特有的屬性，學(xué)生信息管理利用決策樹方法就是將學(xué)生的這些屬性作為決策元素，監(jiān)理不同的決策節(jié)點(diǎn)，實(shí)現(xiàn)對(duì)學(xué)生全方位的考核和評(píng)價(jià)，完整的了解到每位學(xué)生的具體信息。

2.4高校圖書館信息系統(tǒng)中的應(yīng)用。數(shù)據(jù)挖掘技術(shù)最基本的應(yīng)用就是通過對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行分析來了解學(xué)校圖書館現(xiàn)有資源利用情況，為圖書館的未來建設(shè)提供可靠數(shù)據(jù)。數(shù)據(jù)挖掘技術(shù)能夠使圖書館資源得到極大程度的優(yōu)化整合。比如數(shù)據(jù)挖掘技術(shù)可以對(duì)檢索記錄進(jìn)行整理，將手工數(shù)據(jù)轉(zhuǎn)變?yōu)殡娮訑?shù)據(jù)記錄。其最大的優(yōu)勢(shì)就是利用數(shù)據(jù)挖掘技術(shù)更加全面的分析總結(jié)數(shù)據(jù)庫資源，幫助圖書館管理人員對(duì)于圖書館信息的補(bǔ)充和調(diào)整，還能夠?yàn)楦咝D書館的館藏工作建設(shè)提供有效的引導(dǎo)。數(shù)據(jù)挖掘還能應(yīng)用于圖書館的多媒體數(shù)字資源，多媒體數(shù)據(jù)挖掘技術(shù)能夠更為快捷和準(zhǔn)確的為讀者提供相應(yīng)的服務(wù)。

3.結(jié)語

數(shù)據(jù)挖掘技術(shù)是近幾年新產(chǎn)生的網(wǎng)絡(luò)技術(shù)，可是它的廣泛應(yīng)用性受到了很多公司以及研究人員的喜愛。這些年來，伴隨著時(shí)間的推移以及網(wǎng)絡(luò)技術(shù)的不斷發(fā)展大數(shù)據(jù)挖掘技術(shù)不斷的被更新，開發(fā)，而且在金融、管理、教學(xué)等行業(yè)中都得到了廣泛的應(yīng)用。我相信隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，大數(shù)據(jù)挖掘技術(shù)的應(yīng)用面將會(huì)越來越廣。

【參考文獻(xiàn)】

[1] 董彩云，曲守寧.數(shù)據(jù)挖掘及其在高校教學(xué)系統(tǒng)中的應(yīng)用 [J].濟(jì)南大學(xué)學(xué)報(bào)（自然科學(xué)版），2004（1）： 65-68.[2] 陸川，王靜靜.數(shù)據(jù)挖掘技術(shù)在高校教學(xué)管理中的應(yīng)用研究[J].北京：電腦開發(fā)與應(yīng)用，2009，3.[3]《中國電子科學(xué)研究院學(xué)報(bào)》編輯部.大數(shù)據(jù)時(shí)代[J].中國電子科技研究院學(xué)報(bào)，2013（01）：41-43.[4]魏娟，梁靜國.基于數(shù)據(jù)挖掘技術(shù)的企業(yè)客戶關(guān)系管理（CRM）[J].商業(yè)研究，2005（07）.

第四篇：《防火墻技術(shù)與應(yīng)用》文獻(xiàn)綜述格式（共）

《防火墻技術(shù)與應(yīng)用》文獻(xiàn)綜述

班級(jí)：四號(hào)宋體加粗 學(xué)號(hào)：四號(hào)宋體加粗 姓名：四號(hào)宋體加粗

目錄 內(nèi)容要求...........................................................................................................1 2 每部分標(biāo)號(hào)及標(biāo)題要求...................................................................................1

2.1 關(guān)于標(biāo)號(hào)................................................................................................1 2.2 關(guān)于樣式................................................................................................1

2.2.1 標(biāo)題1..........................................................................................1 2.2.2 標(biāo)題2..........................................................................................1 2.2.3 標(biāo)題3..........................................................................................1 2.2.4 正文.............................................................................................1 2.2.5 其他樣式.....................................................................................1

3頁眉頁腳設(shè)置....................................................................................................2

3.1 頁眉........................................................................................................2 3.2 頁腳........................................................................................................2 4 封面設(shè)置...........................................................................................................2

信息安全概論綜合作業(yè) 《防火墻技術(shù)與應(yīng)用》文獻(xiàn)綜述

《防火墻技術(shù)與應(yīng)用》文獻(xiàn)綜述 內(nèi)容要求

按以下結(jié)構(gòu)撰寫：（可以根據(jù)自己查找的資料添加內(nèi)容）（1）防火墻概述；

（2）防火墻工作原理和結(jié)構(gòu)；（3）防火墻技術(shù)發(fā)展現(xiàn)狀；（4）防火墻的應(yīng)用。每部分標(biāo)號(hào)及標(biāo)題要求

2.1 關(guān)于標(biāo)號(hào)

按以下方式編號(hào)，并套用樣式：防火墻概述

--標(biāo)題1

1.1 概念

--標(biāo)題2

1.1.1 定義

--標(biāo)題3

防火墻是一種網(wǎng)絡(luò)訪問控制設(shè)備。。

--正文

2.2 關(guān)于樣式

2.2.1 標(biāo)題1 左齊，宋體，小3加粗。段前段后空12磅，行距1.25倍。2.2.2 標(biāo)題2 左齊，首空2字符，宋體，4號(hào)加粗。段前段后空6磅，行距1.25倍。2.2.3 標(biāo)題3 左齊，首空2字符，宋體，小4號(hào)加粗。段前段后空0磅，行距1.25倍。2.2.4 正文

小4號(hào)宋體，首行空2字，行距1.25倍。2.2.5 其他樣式 根據(jù)需要添加。

若有插圖，則應(yīng)在圖下方加編號(hào)及說明，同時(shí)必須在正文相應(yīng)位置加上引用該圖的內(nèi)容。編號(hào)及說明采用5號(hào)宋體加粗，居中排版。

若有表格，則應(yīng)在表格上方加編號(hào)及說明，同時(shí)必須在正文相應(yīng)位置加上引用該表格的內(nèi)容。編號(hào)及說明采用5號(hào)宋體加粗，居中排版。

作者：XXX

第 1 頁

共 XX 頁 信息安全概論綜合作業(yè) 《防火墻技術(shù)與應(yīng)用》文獻(xiàn)綜述

3頁眉頁腳設(shè)置

3.1 頁眉

頁眉如圖3-1所示。

圖3-1 頁眉設(shè)置

3.2 頁腳

頁腳如圖3-2所示。

圖3-2 頁腳設(shè)置 封面設(shè)置

作業(yè)需要加封面，內(nèi)容包含名稱、個(gè)人信息、目錄等內(nèi)容，如圖4-1所示。其中目錄要求自動(dòng)生成，包含三級(jí)目錄，宋體小4號(hào)，1.5倍行距。

封面不需要頁眉頁腳。

圖4-1 封面樣例

作者：XXX

第 2 頁

共 XX 頁

第五篇：應(yīng)用文獻(xiàn)

一、應(yīng)用文書的含義與分類

（一）含義

應(yīng)用文書——各級(jí)機(jī)關(guān)、企事業(yè)單位、社會(huì)團(tuán)體以及個(gè)人處理事務(wù)中經(jīng)常應(yīng)用的具有一定格式的文

體總稱。

（二）分類 主要分為三類：

行政公文——在行政管理過程中形成的具有法定效力和規(guī)范體式的文書，是依法行政和進(jìn)行公務(wù)活

動(dòng)的重要工具。又稱“通用公文”。

主要有13種公文：命令（令）、決定、公告、通告、通知、通報(bào)、議案、報(bào)告、請(qǐng)示、批復(fù)、意見、函、會(huì)議紀(jì)要、事務(wù)文書——處理日常事務(wù)所使用的文書。主要包括：

傳真稿、備忘錄、請(qǐng)柬、邀請(qǐng)信、簡(jiǎn)報(bào)、會(huì)議紀(jì)要、計(jì)劃、總結(jié)、述職報(bào)告、講話稿等。

商務(wù)文書——處理商務(wù)業(yè)務(wù)所使用的文書。主要包括：

意想書、定貨單、商品說明書、市場(chǎng)調(diào)查報(bào)告、招標(biāo)書、投標(biāo)書、合同、可行性研究報(bào)告。

二、文書的制發(fā)過程

（一）通用公文的制發(fā)程序

草擬——審核——簽發(fā)——復(fù)核——繕印——用印——發(fā)文登記——分發(fā)

（二）事務(wù)文書、商務(wù)文書的制度發(fā)程序

事務(wù)文書、商務(wù)文書各有多種下屬文書，其內(nèi)容、體式、功能各不相同，因此，沒有行政文書那么嚴(yán)格的、縝密的制發(fā)程序。但都具有草擬、審核、定稿、公布及操作的制發(fā)程序。

秘書文書基礎(chǔ)知識(shí)：第二節(jié)應(yīng)用文書的格式

一、通用公文的格式

指公文的外觀樣式，即通用公文用紙、印裝的規(guī)格和其需要標(biāo)識(shí)的各要素所構(gòu)成的外部形態(tài)。

（一）通用公文用紙和印裝規(guī)格

（要求字目閃動(dòng)）

1、采用國際標(biāo)準(zhǔn)A4型紙

2、公文頁面與版心尺寸

3、文字符號(hào)從左至右橫寫、橫排。一般每面排22行，每行排28個(gè)字。

4、公文左側(cè)騎馬訂或平訂，不掉頁；后背平整、不空。

（二）通用公文中各要素標(biāo)識(shí)規(guī)則

1、眉首 1)公文份數(shù)序號(hào) 2)秘密等級(jí)和保密期限

3)緊急程度 4)發(fā)文機(jī)關(guān)標(biāo)識(shí) 5)發(fā)文字號(hào) 6)簽發(fā)人（會(huì)簽人）

7)紅色反線

①0000

1②機(jī)密★一年

③ 特 急

④××××××××文件

⑤×××〔2006〕號(hào)

分析：“①”表示 公文份數(shù)序號(hào)

1、行政公文要求“絕密”“機(jī)密”公文應(yīng)當(dāng)標(biāo)明份號(hào)，黨的機(jī)關(guān)公文要求凡秘密公文都要標(biāo)明份號(hào)。每一份公文的份號(hào)都不一樣，這在秘密公文的管理過程中有重要意義。

2、份號(hào)的位置在公文首頁版心的左上角第1行。用阿拉伯?dāng)?shù)字標(biāo)注。如001至999

“②”表示 秘密等級(jí)和保密期限

1、秘密公文的秘密等級(jí)共有三級(jí)：“絕密”、“機(jī)密”、“秘密”。如無保密內(nèi)容，不得標(biāo)注此項(xiàng)，以免

給工作增添麻煩。

2、密級(jí)標(biāo)注在公文首頁版心右上角第一行。兩字間空一格。如“機(jī) 密” “③”表示 不是事關(guān)重大、需要緊急辦理的公文，不得標(biāo)注此項(xiàng)。

緊急程度的標(biāo)注一般也在首頁右上角第2行，跟秘密等級(jí)上下排列，居秘密等級(jí)下方。

“④”表示 發(fā)文機(jī)關(guān)標(biāo)識(shí)

一般由發(fā)文機(jī)關(guān)名稱加“文件”兩字組成，也可以只有機(jī)關(guān)名稱不加“文件”二字。

版頭用套紅大字居中印在公文首頁上部。

版頭這一格式項(xiàng)目需要特別注意的問題還有：

**發(fā)文機(jī)關(guān)名稱必須使用全稱或規(guī)范化簡(jiǎn)稱，不得出現(xiàn)所指不明或容易誤解的情況。

眉首