第一篇：大數(shù)據(jù)認(rèn)識

大數(shù)據(jù)認(rèn)識

班級：B200216電商本科2 姓名：陳家瑋 學(xué)號：20021624

一

大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)的5V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實(shí)性）。

層面

第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。在這里從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。

第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進(jìn)的基石。在這里分別從云計(jì)算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。

第三層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的最終價值體現(xiàn)。在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。

價值

1)對大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷 2)做小而美模式的中小微企業(yè)可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型

3)面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時俱進(jìn)充分利用大數(shù)據(jù)的價值 趨勢

趨勢一：數(shù)據(jù)的資源化

何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計(jì)劃，搶占市場先機(jī)。

趨勢二：與云計(jì)算的深度結(jié)合

大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計(jì)算技術(shù)緊密結(jié)合，預(yù)計(jì)未來兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計(jì)算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。趨勢三：科學(xué)理論的突破

隨著大數(shù)據(jù)的快速發(fā)展，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實(shí)現(xiàn)科學(xué)技術(shù)上的突破。

趨勢四：數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立

未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會催生一批與之相關(guān)的新的就業(yè)崗位。與此同時，基于數(shù)據(jù)這個基礎(chǔ)平臺，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。

趨勢五：數(shù)據(jù)泄露泛濫

未來幾年數(shù)據(jù)泄露事件的增長率也許會達(dá)到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障。可以說，在未來，每個財(cái)富500強(qiáng)企業(yè)都會面臨數(shù)據(jù)攻擊，無論他們是否已經(jīng)做好安全防范。而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。在財(cái)富500強(qiáng)企業(yè)中，超過50%將會設(shè)置首席信息安全官這一職位。企業(yè)需要從新的角度來確保自身以及客戶數(shù)據(jù)，所有數(shù)據(jù)在創(chuàng)建之初便需要獲得安全保障，而并非在數(shù)據(jù)保存的最后一個環(huán)節(jié)，僅僅加強(qiáng)后者的安全措施已被證明于事無補(bǔ)。

趨勢六：數(shù)據(jù)管理成為核心競爭力

數(shù)據(jù)管理成為核心競爭力，直接影響財(cái)務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運(yùn)用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。數(shù)據(jù)資產(chǎn)管理效率與主營業(yè)務(wù)收入增長率、銷售收入增長率顯著正相關(guān);此外，對于具有互聯(lián)網(wǎng)思維的企業(yè)而言，數(shù)據(jù)資產(chǎn)競爭力所占比重為36.8%，數(shù)據(jù)資產(chǎn)的管理效果將直接影響企業(yè)的財(cái)務(wù)表現(xiàn)。

趨勢七：數(shù)據(jù)質(zhì)量是BI(商業(yè)智能)成功的關(guān)鍵

采用自助式商業(yè)智能工具進(jìn)行大數(shù)據(jù)處理的企業(yè)將會脫穎而出。其中要面臨的一個挑戰(zhàn)是，很多數(shù)據(jù)源會帶來大量低質(zhì)量數(shù)據(jù)。想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過BI獲得更佳決策。

趨勢八：數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng)

大數(shù)據(jù)的世界不只是一個單一的、巨大的計(jì)算機(jī)網(wǎng)絡(luò)，而是一個由大量活動構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接入服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點(diǎn)服務(wù)、數(shù)據(jù)服務(wù)零售商等等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。而今，這樣一套數(shù)據(jù)生態(tài)系統(tǒng)的基本雛形已然形成，接下來的發(fā)展將趨向于系統(tǒng)內(nèi)部角色的細(xì)分，也就是市場的細(xì)分;系統(tǒng)機(jī)制的調(diào)整，也就是商業(yè)模式的創(chuàng)新;系統(tǒng)結(jié)構(gòu)的調(diào)整，也就是競爭環(huán)境的調(diào)整等等，從而使得數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度逐漸增強(qiáng)。

二

Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。

優(yōu)點(diǎn)

高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。

高效性。Hadoop能夠在節(jié)點(diǎn)之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點(diǎn)的動態(tài)平衡，因此處理速度非常快。

高容錯性。Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配。

低成本。與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項(xiàng)目的軟件成本因此會大大降低。

hadoop大數(shù)據(jù)處理的意義

Hadoop得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加載(ETL)方面上的天然優(yōu)勢。Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲，對例如像ETL這樣的批處理操作相對合適，因?yàn)轭愃七@樣操作的批處理結(jié)果可以直接走向存儲。Hadoop的MapReduce功能實(shí)現(xiàn)了將單個任務(wù)打碎，并將碎片任務(wù)(Map)發(fā)送到多個節(jié)點(diǎn)上，之后再以單個數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。

大數(shù)據(jù)精髓

A.不是隨機(jī)樣本，而是全體數(shù)據(jù)：在大數(shù)據(jù)時代，我們可以分析更多的數(shù)據(jù)，有時候甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，而不再依賴于隨機(jī)采樣(隨機(jī)采樣，以前我們通常把這看成是理所應(yīng)當(dāng)?shù)南拗?，但高性能的?shù)字技術(shù)讓我們意識到，這其實(shí)是一種人為限制)B.不是精確性，而是混雜性：研究數(shù)據(jù)如此之多，以至于我們不再熱衷于追求精確度;之前需要分析的數(shù)據(jù)很少，所以我們必須盡可能精確地量化我們的記錄，隨著規(guī)模的擴(kuò)大，對精確度的癡迷將減弱;擁有了大數(shù)據(jù)，我們不再需要對一個現(xiàn)象刨根問底，只要掌握了大體的發(fā)展方向即可，適當(dāng)忽略微觀層面上的精確度，會讓我們在宏觀層面擁有更好的洞察力

C.不是因果關(guān)系，而是相關(guān)關(guān)系：我們不再熱衷于找因果關(guān)系，尋找因果關(guān)系是人類長久以來的習(xí)慣，在大數(shù)據(jù)時代，我們無須再緊盯事物之間的因果關(guān)系，而應(yīng)該尋找事物之間的相關(guān)關(guān)系;相關(guān)關(guān)系也許不能準(zhǔn)確地告訴我們某件事情為何會發(fā)生，但是它會提醒我們這件事情正在發(fā)生。

開源大數(shù)據(jù)生態(tài)圈：

1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生，早期Hadoop生態(tài)圈逐步形成。

2、.Hypertable是另類。它存在于Hadoop生態(tài)圈之外，但也曾經(jīng)有一些用戶。

3、NoSQL，membase、MongoDb 商用大數(shù)據(jù)生態(tài)圈：

1、一體機(jī)數(shù)據(jù)庫/數(shù)據(jù)倉庫：IBM PureData(Netezza), OracleExadata, SAP Hana等等。

2、數(shù)據(jù)倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。

3、數(shù)據(jù)集市：QlikView、Tableau、以及國內(nèi)的Yonghong Data Mart。大數(shù)據(jù)分析

Analytic Visualizations（可視化分析）

不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結(jié)果。

Data Mining Algorithms（數(shù)據(jù)挖掘算法）

可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。

Predictive Analytic Capabilities（預(yù)測性分析能力）

數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷。

Semantic Engines（語義引擎）

我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。

Data Quality and Master Data Management（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理）

數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過標(biāo)準(zhǔn)化的流程和工具對數(shù)據(jù)進(jìn)行處理可以保證一個預(yù)先定義好的高質(zhì)量的分析結(jié)果。

假如大數(shù)據(jù)真的是下一個重要的技術(shù)革新的話，我們最好把精力關(guān)注在大數(shù)據(jù)能給我們帶來的好處，而不僅僅是挑戰(zhàn)。

數(shù)據(jù)存儲，數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是為了便于多維分析和多角度展示數(shù)據(jù)按特定模式進(jìn)行存儲所建立起來的關(guān)系型數(shù)據(jù)庫。在商業(yè)智能系統(tǒng)的設(shè)計(jì)中，數(shù)據(jù)倉庫的構(gòu)建是關(guān)鍵，是商業(yè)智能系統(tǒng)的基礎(chǔ)，承擔(dān)對業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合的任務(wù)，為商業(yè)智能系統(tǒng)提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)，并按主題對數(shù)據(jù)進(jìn)行查詢和訪問，為聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)平臺。

第二篇：大數(shù)據(jù)本科專業(yè)申報及認(rèn)識

大數(shù)據(jù)本科專業(yè)申報及認(rèn)識

摘要：從產(chǎn)業(yè)發(fā)展、數(shù)據(jù)科學(xué)的學(xué)科特征、大數(shù)據(jù)專業(yè)與其他相關(guān)專業(yè)的不同等3個方面，闡述增設(shè)大數(shù)據(jù)本科專業(yè)的合理性和必要性；以對外經(jīng)濟(jì)貿(mào)易大學(xué)專業(yè)建設(shè)為例，指出大數(shù)據(jù)專業(yè)人才應(yīng)該能夠圍繞互聯(lián)網(wǎng)平臺上經(jīng)濟(jì)金融數(shù)據(jù)的商業(yè)價值進(jìn)行挖掘并揭示數(shù)據(jù)間關(guān)系。

關(guān)鍵詞：數(shù)據(jù)科學(xué)；大數(shù)據(jù)技術(shù)；大數(shù)據(jù)科學(xué)與應(yīng)用

引言

互聯(lián)網(wǎng)、云計(jì)算、移動計(jì)算等新興技術(shù)拓展了人類創(chuàng)造和利用信息的范圍和模式。聯(lián)合國在2012年發(fā)布的大數(shù)據(jù)白皮書《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機(jī)遇》中指出，大數(shù)據(jù)時代已經(jīng)到來，大數(shù)據(jù)的出現(xiàn)將會對社會各個領(lǐng)域產(chǎn)生深刻影響。2013年被稱為中國大數(shù)據(jù)元年，各行各業(yè)開始高度關(guān)注大數(shù)據(jù)的研究和應(yīng)用。在云計(jì)算技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)的助力下，大數(shù)據(jù)已經(jīng)成為當(dāng)前學(xué)術(shù)界、工業(yè)界的熱點(diǎn)和焦點(diǎn)。從公司戰(zhàn)略到產(chǎn)業(yè)生態(tài)，從學(xué)術(shù)研究到生產(chǎn)實(shí)踐，從城鎮(zhèn)管理乃至國家治理，都將發(fā)生本質(zhì)的變換，大數(shù)據(jù)將成為時代變革的力量。“用數(shù)據(jù)來說話、用數(shù)據(jù)來管理、用數(shù)據(jù)來決策、用數(shù)據(jù)來創(chuàng)新”的文化氛圍與時代特征愈發(fā)鮮明。大數(shù)據(jù)時代新特征要求設(shè)計(jì)和構(gòu)建相應(yīng)的管理決策分析模型與方法，有效地將信息科學(xué)和商業(yè)應(yīng)用相結(jié)合。因此，掌握大數(shù)據(jù)核心技術(shù)且同時擁有“經(jīng)管”專業(yè)知識的人才儲備將成為國家大數(shù)據(jù)戰(zhàn)略布局的重中之重。

1產(chǎn)業(yè)發(fā)展需要大數(shù)據(jù)人才

與大數(shù)據(jù)概念知名度和企業(yè)熱情形成對比的是，大數(shù)據(jù)正面臨全球性的人才荒。企業(yè)對新型大數(shù)據(jù)分析和預(yù)測技術(shù)人才的熱情和需求正在超過傳統(tǒng)的商業(yè)智能和信息管理人才。

根據(jù)麥肯錫報告，僅僅在美國市場，2018年大數(shù)據(jù)人才（包括高級數(shù)據(jù)分析專家）缺口將高達(dá)19萬。此外美國企業(yè)還需要150萬能夠提出正確問題并運(yùn)用大數(shù)據(jù)分析結(jié)果的大數(shù)據(jù)相關(guān)管理人才。商業(yè)數(shù)據(jù)分析是現(xiàn)在全美增長最迅速的領(lǐng)域，據(jù)New Vantage Partners公司對美國《財(cái)富》500強(qiáng)公司調(diào)查顯示：85%的500強(qiáng)企業(yè)已經(jīng)或正在籌劃推出大數(shù)據(jù)項(xiàng)目，未來幾年這些企業(yè)在數(shù)據(jù)分析上的投資將平均上漲36%?！豆鹕虡I(yè)評論》的一篇文章將數(shù)據(jù)分析稱作“21世紀(jì)最熱門的職業(yè)”。人力資源公司Kforce的調(diào)研報告預(yù)測2014年全球大數(shù)據(jù)相關(guān)的八大職業(yè)平均年薪將達(dá)到11.75萬～14.06萬美元。中國是人才大國，但掌握和應(yīng)用大數(shù)據(jù)技術(shù)的創(chuàng)新人才仍是稀缺資源，培養(yǎng)大數(shù)據(jù)相關(guān)人才成為最為緊迫的問題。在這樣的形勢下，對外經(jīng)濟(jì)貿(mào)易大學(xué)于2015年7月向教育部申報開設(shè)“大數(shù)據(jù)科學(xué)與應(yīng)用（目錄外）”本科專業(yè)。

2.“數(shù)據(jù)科學(xué)”的時代性、科學(xué)性與合理性分析

“大數(shù)據(jù)”已經(jīng)成為全球科技界和企業(yè)界關(guān)注的熱點(diǎn)。數(shù)據(jù)為王的時代已經(jīng)到來，企業(yè)關(guān)注的重點(diǎn)從追求計(jì)算機(jī)的計(jì)算速度轉(zhuǎn)變?yōu)榇髷?shù)據(jù)處理能力，從以軟件編程為主轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心。2012年3月，美國奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，這是繼1993年美國宣布“信息高速公路”計(jì)劃后的又一次重大科技發(fā)展部署。美國政府認(rèn)為大數(shù)據(jù)是“未來的新石油”，將“大數(shù)據(jù)研究”上升為國家意志，這對未來的科技與經(jīng)濟(jì)發(fā)展必將帶來深遠(yuǎn)影響。

大數(shù)據(jù)研究的熱潮激勵基礎(chǔ)研究的科研人員開始考慮“數(shù)據(jù)科學(xué)”問題。目前大數(shù)據(jù)的工程技術(shù)研究已走在科學(xué)研究的前面。美國政府6個部門啟動的大數(shù)據(jù)研究計(jì)劃中，國家科學(xué)基金會的研究內(nèi)容提到要“形成一個包括數(shù)學(xué)、統(tǒng)計(jì)基礎(chǔ)和計(jì)算機(jī)算法的獨(dú)特學(xué)科”。圖靈獎得主吉姆?格雷描繪了數(shù)據(jù)密集型科研第四范式的愿景，將大數(shù)據(jù)科研從第三范式（計(jì)算機(jī)模擬）中分離出來單獨(dú)作為一種科研范式，是因?yàn)槠溲芯糠绞讲煌诨跀?shù)學(xué)模型的傳統(tǒng)研究方式。

大數(shù)據(jù)研究能成為一門科學(xué)的前提是，在一個領(lǐng)域發(fā)現(xiàn)的數(shù)據(jù)相互關(guān)系和規(guī)律具有可推廣到其他領(lǐng)域的普適性。提煉“大數(shù)據(jù)”的共性還需要一段時間的實(shí)踐積累才會逐步清晰明朗。將大量多元異構(gòu)、交互性和時效性強(qiáng)并包含大量噪聲的數(shù)據(jù)作為研究對象的專門學(xué)科，依然具備了鮮明的學(xué)科特征。

3大數(shù)據(jù)專業(yè)與其他相關(guān)專業(yè)的異質(zhì)性分析

由于大數(shù)據(jù)專業(yè)主要支撐技術(shù)來源于信息技術(shù)，所以在專業(yè)申報中應(yīng)將該專業(yè)所屬學(xué)科門類及專業(yè)類推薦設(shè)在計(jì)算機(jī)科學(xué)與技術(shù)學(xué)科下，大數(shù)據(jù)專業(yè)與計(jì)算機(jī)學(xué)科下所屬專業(yè)的關(guān)系及區(qū)分度可以概括如下幾點(diǎn)。

（1）研究對象的側(cè)重點(diǎn)不同。“大數(shù)據(jù)科學(xué)與應(yīng)用”專業(yè)研究的核心對象是“大數(shù)據(jù)”，既不是硬件、軟件理論研究，也不是計(jì)算機(jī)技術(shù)在某個領(lǐng)域的應(yīng)用研究或者某一特定計(jì)算機(jī)技術(shù)的理論和應(yīng)用研究，并且“大數(shù)據(jù)”引發(fā)的研究不可能在短時間完成，“大數(shù)據(jù)”問題研究具備了跨行業(yè)、跨領(lǐng)域的普適性。除去該專業(yè)所需的計(jì)算機(jī)學(xué)科之外的專業(yè)知識，就計(jì)算機(jī)學(xué)科內(nèi)部而言，該專業(yè)所需知識在計(jì)算機(jī)學(xué)科的其他專業(yè)都有涉及，但又不被完全包含，所以不便將其歸人現(xiàn)有專業(yè)之中。

（2）大數(shù)據(jù)科學(xué)素養(yǎng)要求高。該專業(yè)對學(xué)生在“大數(shù)據(jù)科學(xué)素養(yǎng)”方面有更高的要求，在理論上，強(qiáng)調(diào)學(xué)生有很好的數(shù)理統(tǒng)計(jì)基礎(chǔ)、扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法的基本功，能夠很好地理解和掌握各種機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法；在實(shí)踐上，強(qiáng)調(diào)學(xué)生具備海量數(shù)據(jù)獲取、數(shù)據(jù)組織與存儲、數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析以及數(shù)據(jù)可視化的工程實(shí)踐能力，掌握數(shù)據(jù)處理各個環(huán)節(jié)的基本技能；在理論與實(shí)踐結(jié)合方面，強(qiáng)調(diào)學(xué)生掌握處理“大數(shù)據(jù)”的先進(jìn)技術(shù)和理論，即掌握與云計(jì)算相關(guān)的大數(shù)據(jù)處理平臺及其生態(tài)系統(tǒng)，強(qiáng)調(diào)與數(shù)據(jù)來源緊密相關(guān)的新技術(shù)的融合與互動，即理解和掌握物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)相關(guān)理論和技術(shù)。

（3）專業(yè)具備前所未有的復(fù)合性特征。對大數(shù)據(jù)而言，技術(shù)走在科學(xué)前面。目前的局面是各個學(xué)科（如生物、醫(yī)療、金融等）的科學(xué)家都以自己為主處理本領(lǐng)域的海量數(shù)據(jù)，各領(lǐng)域的科學(xué)問題還掌握在各學(xué)科的科學(xué)家手里。本專業(yè)的設(shè)置希望從一開始就以培養(yǎng)復(fù)合型人才為目標(biāo)，以大數(shù)據(jù)為核心研究對象，強(qiáng)調(diào)學(xué)生對專業(yè)領(lǐng)域（經(jīng)濟(jì)、金融、電子商務(wù)）數(shù)據(jù)的理解能力，深刻體現(xiàn)技術(shù)為數(shù)據(jù)服務(wù)的思想。

（4）與統(tǒng)計(jì)學(xué)專業(yè)的區(qū)別。本專業(yè)與統(tǒng)計(jì)學(xué)專業(yè)的最大區(qū)別來自于對IT技術(shù)的理解和掌握，強(qiáng)調(diào)數(shù)據(jù)在獲取、清洗、存儲、處理和展示等各個環(huán)節(jié)與IT技術(shù)的深度融合，而不僅僅是將IT技術(shù)作為輔助手段；就數(shù)據(jù)處理的種類而言，更重視對非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)（統(tǒng)計(jì)學(xué)專業(yè)處理的數(shù)據(jù)一般為結(jié)構(gòu)化數(shù)據(jù)）的處理。

（5）與信息管理專業(yè)的區(qū)別。本專業(yè)與信息管理專業(yè)的區(qū)別主要體現(xiàn)在看待數(shù)據(jù)和信息的角度。信息管理主要強(qiáng)調(diào)在理解數(shù)據(jù)和業(yè)務(wù)流程的基礎(chǔ)上，通過科學(xué)的分析和設(shè)計(jì)方法，實(shí)現(xiàn)管理信息系統(tǒng)，強(qiáng)調(diào)利用計(jì)算機(jī)技術(shù)介入、改造和升級原有的業(yè)務(wù)系統(tǒng)?！按髷?shù)據(jù)”相關(guān)理論和技術(shù)更側(cè)重對數(shù)據(jù)本身的洞察與理解，相對而言更加獨(dú)立于原有的業(yè)務(wù)系統(tǒng)，更專注對海量、復(fù)雜、多元數(shù)據(jù)的深度分析和處理能力，更依賴于大數(shù)據(jù)處理平臺和技術(shù)，也更好地支撐了物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的應(yīng)用和發(fā)展。

4國內(nèi)外大數(shù)據(jù)相關(guān)專業(yè)發(fā)展情況及就業(yè)前景分析

4.1大數(shù)據(jù)相關(guān)專業(yè)發(fā)展情況

由于市場對大數(shù)據(jù)人才的需求日益激烈，國外很多大學(xué)開始專門開設(shè)數(shù)據(jù)分析類專業(yè)。美國US News排名Top50院校中的哈佛大學(xué)、哥倫比亞大學(xué)、斯坦福大學(xué)、芝加哥大學(xué)、麻省理工學(xué)院、卡內(nèi)基梅隆大學(xué)等15所高校均開設(shè)了大數(shù)據(jù)相關(guān)專業(yè)。另外，由于大數(shù)據(jù)在2012-2013年開始興起，人才市場無法迅速培養(yǎng)出大量符合企業(yè)期望的人才，美國一些公司采取了更現(xiàn)實(shí)的做法：和大學(xué)合作，長期培養(yǎng)大數(shù)據(jù)專業(yè)人才以及開展相關(guān)研究，比如英特爾就和數(shù)據(jù)學(xué)專業(yè)排名靠前的麻省理工學(xué)院合作，建立了大數(shù)據(jù)科學(xué)技術(shù)中心。

目前，國內(nèi)大數(shù)據(jù)相關(guān)專業(yè)主要開設(shè)在研究生層次。2014年中國科學(xué)院大學(xué)開設(shè)首個“大數(shù)據(jù)技術(shù)與應(yīng)用”專業(yè)方向，該專業(yè)面向科研發(fā)展及產(chǎn)業(yè)實(shí)踐，培養(yǎng)信息技術(shù)與行業(yè)需求結(jié)合的復(fù)合型的大數(shù)據(jù)人才；2014年清華大學(xué)成立數(shù)據(jù)科學(xué)研究院，推出多學(xué)科交叉培養(yǎng)的大數(shù)據(jù)碩士項(xiàng)目；中國人民大學(xué)也設(shè)立了大數(shù)據(jù)應(yīng)用與云管理、大數(shù)據(jù)與應(yīng)用統(tǒng)計(jì)、大數(shù)據(jù)應(yīng)用方向以及大數(shù)據(jù)與云計(jì)算研究方向；北京航空航天學(xué)院軟件學(xué)院開設(shè)了大數(shù)據(jù)和云計(jì)算研究方向，并已經(jīng)有畢業(yè)生；另外，上海交通大學(xué)、浙江大學(xué)、天津大學(xué)、廈門大學(xué)等也在研究生層次建立大數(shù)據(jù)專業(yè)。

許多高校同時也在籌建本科的大數(shù)據(jù)相關(guān)專業(yè)，西安交通大學(xué)、北京交通大學(xué)等與IBM公司合作啟動了大數(shù)據(jù)本科專業(yè)的建設(shè)或者改造現(xiàn)有相關(guān)專業(yè)。針對當(dāng)前中國市場急劇擴(kuò)大的大數(shù)據(jù)與分析技能需求和人才缺口，IBM投入1億美元在中國大學(xué)推行大數(shù)據(jù)教育，并推出“IBMU-100”合作計(jì)劃，在100所高校設(shè)立大數(shù)據(jù)與分析技術(shù)中心，在其中30所高校開設(shè)本科和碩士課程，在5所大學(xué)設(shè)立“卓越中心”。

4.2復(fù)合型人才就業(yè)前景

Glassdoor公司2016年1月發(fā)布的“美國最好的工作”排名中，數(shù)據(jù)科學(xué)家位居第一，底薪為11.6萬美元。通過分析大數(shù)據(jù)人才市場需求、與大數(shù)據(jù)公司研討以及對業(yè)界的調(diào)研，我們認(rèn)為對外經(jīng)濟(jì)貿(mào)易大學(xué)開設(shè)大數(shù)據(jù)專業(yè)及就業(yè)方向主要有如下三個方面：

（1）貿(mào)易金融方向大數(shù)據(jù)分析師：主要就業(yè)崗位在供應(yīng)鏈融資公司、P2P信貸征信平臺、商業(yè)銀行等。

（2）網(wǎng)絡(luò)營銷方向大數(shù)據(jù)分析師：主要就業(yè)崗位在互聯(lián)網(wǎng)廣告、020營銷公司、大型網(wǎng)絡(luò)媒體等。

（3）物流與電子商務(wù)方向大數(shù)據(jù)分析師。主要就業(yè)崗位在電子商務(wù)公司、現(xiàn)代物流公司、第三方支付公司等。

學(xué)生職業(yè)生涯成長目標(biāo)為首席數(shù)據(jù)官（CDO），如圖1所示。

5對外經(jīng)濟(jì)貿(mào)易大學(xué)開設(shè)大數(shù)據(jù)分析專業(yè)的基礎(chǔ)及對大數(shù)據(jù)專業(yè)的認(rèn)識

5.1財(cái)經(jīng)學(xué)校背景優(yōu)勢支撐大數(shù)據(jù)專業(yè)申報

對外經(jīng)濟(jì)貿(mào)易大學(xué)在經(jīng)貿(mào)、金融、管理、法律等專業(yè)擁有得天獨(dú)厚的條件。秉承創(chuàng)新“商業(yè)大數(shù)據(jù)人才”的培養(yǎng)方略，建立適合財(cái)經(jīng)類院校的商務(wù)大數(shù)據(jù)專業(yè)，為國家產(chǎn)業(yè)轉(zhuǎn)型與行業(yè)發(fā)展需求貢獻(xiàn)合格的人才，支撐國家大數(shù)據(jù)戰(zhàn)略的實(shí)現(xiàn)，是我們申報開設(shè)大數(shù)據(jù)專業(yè)的出發(fā)點(diǎn)。從社會發(fā)展需求出發(fā)，建設(shè)以國際化、精品化、金融與商務(wù)相結(jié)合為特色的大數(shù)據(jù)專業(yè)是我們進(jìn)行專業(yè)建設(shè)的指導(dǎo)思想。

5.2師資隊(duì)伍建設(shè)與儲備

大數(shù)據(jù)專業(yè)申報所依托的信息學(xué)院近年來引進(jìn)了多名優(yōu)秀的具有海內(nèi)外大數(shù)據(jù)分析背景的人才充實(shí)到教學(xué)科研隊(duì)伍中。師資隊(duì)伍多元化教育背景和工作經(jīng)歷是學(xué)院的巨大財(cái)富，也為該專業(yè)的創(chuàng)建提供了先決條件。同時2014年信息學(xué)院先后兩次派教師參加大數(shù)據(jù)核心課程培訓(xùn)，為新專業(yè)申報進(jìn)行了專業(yè)師資的儲備。

5.3成立產(chǎn)學(xué)結(jié)合的大數(shù)據(jù)專業(yè)建設(shè)小組并開展專業(yè)研討

信息學(xué)院為建設(shè)大數(shù)據(jù)專業(yè)，多次召開專業(yè)建設(shè)研討會，特別邀請承擔(dān)2015CCTV兩會大數(shù)據(jù)制作的專業(yè)大數(shù)據(jù)公司技術(shù)總監(jiān)來學(xué)院介紹大數(shù)據(jù)的采集、處理、展示等全過程；邀請新浪微博大數(shù)據(jù)中心建設(shè)人員就大數(shù)據(jù)專業(yè)人才需求、專業(yè)定位進(jìn)行研討。組建了有大數(shù)據(jù)企業(yè)參加的專業(yè)申報籌備小組，億贊普大數(shù)據(jù)公司技術(shù)總監(jiān)作為專業(yè)建設(shè)成員參與專業(yè)建設(shè)和課程體系設(shè)計(jì)與實(shí)施。

5.4與大數(shù)據(jù)企業(yè)和大數(shù)據(jù)產(chǎn)業(yè)協(xié)會聯(lián)系緊密

信息學(xué)院大數(shù)據(jù)專業(yè)籌備組成員與中國信息化協(xié)會大數(shù)據(jù)分會、一線大數(shù)據(jù)聯(lián)盟、中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)劃聯(lián)盟、中國物流大數(shù)據(jù)產(chǎn)業(yè)合作聯(lián)盟等產(chǎn)業(yè)協(xié)會建立了緊密的合作關(guān)系；與91金融超市建立了科學(xué)研究和實(shí)習(xí)基地；與京翰數(shù)據(jù)技術(shù)公司就物流大數(shù)據(jù)研發(fā)建立并簽署了科研合作協(xié)議；2015年與京東物流大數(shù)據(jù)創(chuàng)新部進(jìn)行合作接洽。

5.5人才培養(yǎng)方案及實(shí)踐教學(xué)環(huán)境建設(shè)

目前大數(shù)據(jù)人才培養(yǎng)方案還處于探索階段，鑒于大數(shù)據(jù)是一個交叉專業(yè)，業(yè)界的共識是在計(jì)算機(jī)科學(xué)技術(shù)相關(guān)專業(yè)基礎(chǔ)上融合機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘的數(shù)據(jù)分析技術(shù)。針對業(yè)界共識與對外經(jīng)濟(jì)貿(mào)易大學(xué)學(xué)科背景實(shí)際，我們設(shè)計(jì)了具有對外經(jīng)濟(jì)貿(mào)易大學(xué)特色的人才培養(yǎng)方案，其主線是“大數(shù)據(jù)分析+信息技術(shù)+經(jīng)濟(jì)貿(mào)易應(yīng)用”。

大數(shù)據(jù)是應(yīng)用性、實(shí)踐性很強(qiáng)的專業(yè)，信息學(xué)院擁有國家級實(shí)驗(yàn)教學(xué)示范中心，為大數(shù)據(jù)人才培養(yǎng)提供了可行的實(shí)踐教學(xué)環(huán)境。

5.6對大數(shù)據(jù)專業(yè)的認(rèn)識

IBM公司賦予大數(shù)據(jù)“領(lǐng)悟數(shù)據(jù)，提升見識，洞察秋毫，驅(qū)動優(yōu)化”四個內(nèi)涵，這也構(gòu)成了本專業(yè)的基本特點(diǎn)：側(cè)重于大數(shù)據(jù)技術(shù)的應(yīng)用，強(qiáng)調(diào)大數(shù)據(jù)間相關(guān)性的發(fā)現(xiàn)，其核心能力是“大數(shù)據(jù)中的價值發(fā)現(xiàn)和應(yīng)用”?！按髷?shù)據(jù)科學(xué)與應(yīng)用”專業(yè)設(shè)置具有顯著的跨學(xué)科特點(diǎn)，學(xué)生不僅要掌握統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)、信息管理等專業(yè)的基礎(chǔ)知識，還要具備其他專業(yè)領(lǐng)域較深的知識背景（如經(jīng)濟(jì)貿(mào)易或金融專業(yè)領(lǐng)域知識），最重要的是要有依托數(shù)據(jù)創(chuàng)造價值的能力。

在專業(yè)籌備和申報過程中，我們認(rèn)為大數(shù)據(jù)專業(yè)的技術(shù)核心應(yīng)圍繞大數(shù)據(jù)采集、組織與存儲、分析與處理、結(jié)果呈現(xiàn)而進(jìn)行，而大數(shù)據(jù)的數(shù)據(jù)源及內(nèi)容應(yīng)該來源于經(jīng)濟(jì)貿(mào)易、金融交易、物流與電子商務(wù)等商務(wù)與管理應(yīng)用領(lǐng)域。所以我們將該專業(yè)的培養(yǎng)目標(biāo)界定為：旨在培養(yǎng)具備大數(shù)據(jù)科學(xué)素養(yǎng)，掌握經(jīng)濟(jì)管理、網(wǎng)絡(luò)金融、電子商務(wù)等領(lǐng)域知識的專業(yè)人才，為以大數(shù)據(jù)技術(shù)為支撐的相關(guān)行業(yè)培養(yǎng)國際化、復(fù)合型的高素質(zhì)人才；人才要具備將領(lǐng)域知識與計(jì)算機(jī)技術(shù)和大數(shù)據(jù)技術(shù)融合、創(chuàng)新的能力，能夠從數(shù)據(jù)工程的視角從事經(jīng)濟(jì)、金融、電子商務(wù)等領(lǐng)域的大數(shù)據(jù)采集、組織、管理、分析以及應(yīng)用的工作。

6結(jié)語

時代發(fā)展呼吁建立大數(shù)據(jù)專業(yè)人才培養(yǎng)體系，對外經(jīng)濟(jì)貿(mào)易大學(xué)“大數(shù)據(jù)科學(xué)與技術(shù)”專業(yè)申報經(jīng)歷了通訊評審、網(wǎng)上公示、專家委員會會審等系列程序。教育部學(xué)科發(fā)展與專業(yè)設(shè)置專家委員會評議后建議將專業(yè)名稱統(tǒng)一規(guī)范為“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”。我們認(rèn)為這樣更能體現(xiàn)工學(xué)學(xué)士學(xué)位特征。專業(yè)申報只是我們邁出的第一步，建設(shè)有對外經(jīng)濟(jì)貿(mào)易大學(xué)特色的大數(shù)據(jù)專業(yè)，培養(yǎng)受社會歡迎的、高質(zhì)量的大數(shù)據(jù)人才，我們深感任重而道遠(yuǎn)。

第三篇：對醫(yī)療大數(shù)據(jù)的認(rèn)識

重慶大學(xué)研究生文獻(xiàn)綜述

對醫(yī)療大數(shù)據(jù)的認(rèn)識

姓

名： 學(xué)

號： 指導(dǎo)教師： 專

業(yè)：

重慶大學(xué)光電工程學(xué)院

二O一六年十一月 醫(yī)療大數(shù)據(jù)產(chǎn)生的背景

在任何一個初具規(guī)模的醫(yī)院，每天接待上萬的患者前來就診，患者的基本信息、影像信息與其他特殊診療信息匯集在一起是一個龐大的數(shù)據(jù)。據(jù)統(tǒng)計(jì)，上海市區(qū)域醫(yī)療信息平臺（上海市“醫(yī)聯(lián)工程”及縣區(qū)衛(wèi)生數(shù)據(jù)中心）已經(jīng)積累了覆蓋3900萬人群、1400TB數(shù)據(jù)量的電子診療與健康檔案等醫(yī)療衛(wèi)生數(shù)據(jù)（涵蓋了全市38家三級醫(yī)院3900萬就診人群的醫(yī)療信息，包括患者基本信息、就診信息、健康檔案、檢驗(yàn)及影像檢查報告、醫(yī)學(xué)影像圖像文件、住院相關(guān)病歷、醫(yī)保結(jié)算等醫(yī)療衛(wèi)生數(shù)據(jù)，涉及就診記錄2.1億條，處方記錄9.1億條）。

日積月累，這個數(shù)據(jù)量將會持續(xù)快速增長，為醫(yī)院的數(shù)據(jù)存儲、集成、調(diào)用等應(yīng)用帶來巨大壓力。除了數(shù)據(jù)規(guī)模巨大之外，醫(yī)療行業(yè)的數(shù)據(jù)類型和結(jié)構(gòu)極其復(fù)雜，如PACS影像、B超、病例分析等業(yè)務(wù)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)存儲復(fù)雜，并且對傳統(tǒng)的處理方法和技術(shù)帶來巨大挑戰(zhàn)【1】。醫(yī)療大數(shù)據(jù)得到人們的關(guān)注，并渴望有一種新的技術(shù)可以從這些看似雜亂無章的數(shù)據(jù)中得到價值。目前，為了提高人們的健康水平以及醫(yī)療水平，醫(yī)療行業(yè)在大數(shù)據(jù)環(huán)境下的各個領(lǐng)域異?；钴S[2]。醫(yī)療大數(shù)據(jù)的相關(guān)概念

2.1 醫(yī)療大數(shù)據(jù)的定義

醫(yī)療數(shù)據(jù)是醫(yī)生對患者診療和治療過程中產(chǎn)生的數(shù)據(jù)，包括患者基本數(shù)據(jù)、入出轉(zhuǎn)數(shù)據(jù)、電子病歷、診療數(shù)據(jù)、醫(yī)學(xué)影像數(shù)據(jù)、醫(yī)學(xué)管理、經(jīng)濟(jì)數(shù)據(jù)等，以患者為中心，成為醫(yī)療信息的主要來源。

隨著醫(yī)療衛(wèi)生信息化建設(shè)進(jìn)程的不斷加快，醫(yī)療數(shù)據(jù)的類型和規(guī)模正以前所未有的速度快速的增長，以至于無法利用目前主流軟件工具，在合理的時間內(nèi)達(dá)到擷取、管理并整合成為能夠幫助醫(yī)院進(jìn)行更積極目的經(jīng)營決策的有用信息。規(guī)模巨大的臨床實(shí)驗(yàn)數(shù)據(jù)、疾病診斷數(shù)據(jù)以及居民行為健康數(shù)據(jù)等匯聚在一起形成了醫(yī)療大數(shù)據(jù)。

2.2 醫(yī)療大數(shù)據(jù)的主要來源

2.2.1 制藥企業(yè)、生命科學(xué)

藥物研發(fā)所產(chǎn)生的數(shù)據(jù)是相當(dāng)密集的，對于中小型的企業(yè)也在百億字節(jié)（TB）以上的。在生命科學(xué)領(lǐng)域，隨著計(jì)算能力和基因測序能力逐步增加，美國哈弗醫(yī)學(xué)院個人基因組項(xiàng)目負(fù)責(zé)人詹姆·鮑比就認(rèn)為，到2015年，將會有5000萬人擁有個人基因圖譜，而一個基因組序列文件大小約為750MB[3]。

2.2.2 臨床醫(yī)療、實(shí)驗(yàn)室數(shù)據(jù)

臨床和實(shí)驗(yàn)室數(shù)據(jù)整合在一起，使得醫(yī)療機(jī)構(gòu)面臨的數(shù)據(jù)增長非常快，一張普通CT圖像含有大約150MB的數(shù)據(jù)，一個標(biāo)準(zhǔn)的病理圖則接近5GB。如果將這些數(shù)據(jù)量乘

以人口數(shù)量和平均壽命，僅一個社區(qū)醫(yī)院積累的數(shù)據(jù)量就可達(dá)數(shù)萬億字節(jié)甚至數(shù)千萬億字節(jié)（PB）之多。

2.2.3 費(fèi)用、醫(yī)療保險、利用率

患者在就醫(yī)過程中產(chǎn)生的費(fèi)用信息、報銷信息、新農(nóng)合基金使用情況等。

2.2.4 健康管理、社交網(wǎng)絡(luò)

隨著移動設(shè)備和移動互聯(lián)網(wǎng)的飛速發(fā)展，便攜化的生理設(shè)備正在普及，如果個人健康信息都能連入互聯(lián)網(wǎng)，那么由此產(chǎn)生的數(shù)據(jù)量將不可估量。

2.3 醫(yī)療數(shù)據(jù)的基本類型

2.3.1 醫(yī)院信息系統(tǒng)（HIS）數(shù)據(jù)

HIS是醫(yī)院的核心系統(tǒng)，是對醫(yī)院及其所屬各部門的人流、物流、財(cái)流進(jìn)行綜合管理的系統(tǒng)，圍繞著醫(yī)療活動的各個階段產(chǎn)生相關(guān)數(shù)據(jù)，包括各門診數(shù)據(jù)及病房數(shù)據(jù)兩大主流數(shù)據(jù)流。

2.3.2 檢驗(yàn)信息系統(tǒng)（LIS）數(shù)據(jù)

LIS是HIS的一個重要組成部分，其主要功能是將實(shí)驗(yàn)儀器傳出的檢驗(yàn)數(shù)據(jù)經(jīng)分析后，生成檢驗(yàn)報告，通過網(wǎng)絡(luò)存儲在數(shù)據(jù)庫中，使醫(yī)生能夠方便、及時的看到患者的檢驗(yàn)結(jié)果。

2.3.3 醫(yī)學(xué)影像存檔和傳輸系統(tǒng)（PACS）數(shù)據(jù)

PACS數(shù)據(jù)主要是將數(shù)字化醫(yī)院影像科室日常核磁、CT、超聲、各種X線機(jī)、各種紅外儀等設(shè)備產(chǎn)生的圖像存儲起來。

2.3.4 電子病歷（EMR）數(shù)據(jù)

EMR不同于以醫(yī)療機(jī)構(gòu)為中心的門診或者住院病歷，是真正以患者為中心的診斷和其他檢驗(yàn)數(shù)據(jù)的“數(shù)據(jù)池”，它將患者診斷過程中生成的影像和信號，如X線檢查、CT掃描等納入電子病歷中，并以統(tǒng)一的形式組織起來。

2.4 醫(yī)療大數(shù)據(jù)的特性

2.4.1 數(shù)據(jù)規(guī)模大（volume）

例如一個CT圖像含有大約150MB的數(shù)據(jù)，而一個基因組序列文件大小約為750MB，一個標(biāo)準(zhǔn)的病理圖則大得多，接近5GB。

2.4.2 數(shù)據(jù)結(jié)構(gòu)多樣（variety）

相對于其他行業(yè)，醫(yī)學(xué)中的數(shù)據(jù)類型更加多種多樣，如電子病案中關(guān)于人口學(xué)特征的數(shù)據(jù)為純文本型；檢驗(yàn)科中有關(guān)患者生理、生化指標(biāo)為數(shù)字型；影像科中如B超、CT、MR、X線片等為圖像資料。

醫(yī)療數(shù)據(jù)通常會包含各種結(jié)構(gòu)化表、非（半）結(jié)構(gòu)化文本文檔（XML和敘述文本）、醫(yī)療影像等多種多樣的數(shù)據(jù)存儲形式。

2.4.3 數(shù)據(jù)增長快速（velocity）

一方面，醫(yī)療信息服務(wù)中包含大量在線或?qū)崟r數(shù)據(jù)分析處理，例如，臨床決策支持中的診斷和用藥建議、流行病分析報表生成、健康指標(biāo)預(yù)警等；另一方面，得益于信息技術(shù)的發(fā)展，越來越多的醫(yī)療信息被數(shù)字化，因此在很長一段時間里，醫(yī)療衛(wèi)生領(lǐng)域數(shù)據(jù)的增長速度將依然會很快。

2.4.4 數(shù)據(jù)價值巨大（value）

毋庸置疑，數(shù)據(jù)是石油，是資產(chǎn)，是資源，醫(yī)療大數(shù)據(jù)不僅與每個人的個人生活息息相關(guān)，對這些數(shù)據(jù)的有效利用更關(guān)系到國家乃至全球的疾病防控、新藥品研發(fā)和頑疾攻克的能力。

2.4.5 多態(tài)性

醫(yī)療大數(shù)據(jù)包括純數(shù)據(jù)（如體檢、化驗(yàn)結(jié)果）、信號（如腦電信號、心電信號等）、圖像（如B超、X線等）、文字（如主訴、現(xiàn)/往病史、過敏史、檢測報告等），以及用以科普、咨詢的動畫、語音盒視頻信息等多種形態(tài)的數(shù)據(jù)，是區(qū)別于其他領(lǐng)域數(shù)據(jù)的最顯著特征。

2.4.6 不完整性

醫(yī)療數(shù)據(jù)的搜集和處理過程經(jīng)常相互脫節(jié)，這使得醫(yī)療數(shù)據(jù)庫不可能對任何疾病信息都能全面反映。大量數(shù)據(jù)來源于人工記錄，導(dǎo)致數(shù)據(jù)記錄的偏差和殘缺，許多數(shù)據(jù)的表達(dá)、記錄本身也具有不確定性，病例和病案尤為突出，這些都造成了醫(yī)療大數(shù)據(jù)的不完整性

2.4.7 時間性

患者的就診、疾病的發(fā)生過程在時間上有一個進(jìn)度，醫(yī)學(xué)檢測的波形、圖像都是時間函數(shù)，這些都具有一定的時序性。

2.4.8 冗余性

醫(yī)學(xué)數(shù)據(jù)量大，每天都會產(chǎn)生大量信息，其中可能會包含重復(fù)、無關(guān)緊要甚至是互相矛盾的記錄。醫(yī)療大數(shù)據(jù)的主要應(yīng)用

根據(jù)全球管理咨詢公司麥肯錫的一份最新報告顯示，醫(yī)療保健領(lǐng)域如果能夠充分有效地利用大數(shù)據(jù)資源，醫(yī)療機(jī)構(gòu)和消費(fèi)者便可節(jié)省高達(dá)4500億美元的費(fèi)用[4]。

3.1 服務(wù)居民

居民健康指導(dǎo)服務(wù)系統(tǒng)，提供精準(zhǔn)醫(yī)療、個性化健康保健指導(dǎo)，使居民能在醫(yī)院、社區(qū)及線上的服務(wù)保持持續(xù)性。例如，提供心血管、癌癥、高血壓、糖尿病等慢病干

預(yù)、管理、健康預(yù)警及健康宣教（保健方案訂閱、推送）。

醫(yī)療機(jī)構(gòu)物聯(lián)網(wǎng)的建設(shè)，包括移動醫(yī)療、臨床監(jiān)控、遠(yuǎn)程患者監(jiān)控等（例如，充血性心臟的標(biāo)志之一是由于保水而增加體重，通過遠(yuǎn)程監(jiān)控體重發(fā)現(xiàn)相關(guān)疾病，提醒醫(yī)生及時采取治療措施，防止急性狀況發(fā)生），減少患者住院時間，減少急診量，提高家庭護(hù)理比例和門診醫(yī)生預(yù)約量。

3.2 服務(wù)醫(yī)生

臨床決策支持，如用藥分析、藥品不良反應(yīng)、疾病并發(fā)癥、治療療效相關(guān)性分析、抗生素應(yīng)用分析；或是制定個性化治療方案。

3.3 服務(wù)科研

包括疾病診斷與預(yù)測、提高臨床試驗(yàn)設(shè)計(jì)的統(tǒng)計(jì)工具和算法、臨床實(shí)驗(yàn)數(shù)據(jù)的分析與處理等方面，如針對重大疾病識別疾病易感染基因、極端表型人群；提供最佳治療路徑。

3.4 服務(wù)管理機(jī)構(gòu)

規(guī)范性用藥評價、管理績效分析；流行病、急病等預(yù)防干預(yù)及措施評價；公眾健康監(jiān)測，付款（或定價）、臨床路徑的優(yōu)化等。

3.5 公眾健康服務(wù)

包括危及健康因素的監(jiān)控與預(yù)警、網(wǎng)絡(luò)平臺、社區(qū)服務(wù)等方面。國內(nèi)外醫(yī)療大數(shù)據(jù)技術(shù)應(yīng)用現(xiàn)狀

4.1 國外醫(yī)療大數(shù)據(jù)技術(shù)應(yīng)用現(xiàn)狀

美國遠(yuǎn)程醫(yī)療（telemedicine)公司研制成功了一款功能強(qiáng)大的醫(yī)療設(shè)備“智能心臟”（smartheart），把手機(jī)變成了一款功能齊全的醫(yī)療工具，用來監(jiān)測用戶可能存在的心臟病問題。智能心臟與智能手機(jī)相連，在安裝運(yùn)行了相應(yīng)的程序后，手機(jī)擁有“醫(yī)療級”的心臟監(jiān)測功能，并能夠在30s內(nèi)在手機(jī)屏幕上顯示用戶的心電圖。醫(yī)生可隨時對患者的心臟進(jìn)行監(jiān)測和分析，提前做好預(yù)防措施。智能心臟解決了心臟病預(yù)防方面最關(guān)鍵的問題—時間。這在心臟病預(yù)防領(lǐng)域是一項(xiàng)重大的突破性技術(shù)。目前，“智能心臟”設(shè)備已經(jīng)開始在網(wǎng)上銷售。

意大利電信近期推出了Nuvola It Home Docto 系統(tǒng)，可讓在都靈Molinette 醫(yī)院的慢性病患者通過手機(jī)在家中監(jiān)測自己的生理參數(shù)，相關(guān)數(shù)據(jù)將自動的通過手機(jī)發(fā)送到醫(yī)療平臺，也可以通過ADSL、WiFi 和衛(wèi)星網(wǎng)絡(luò)得到應(yīng)用。醫(yī)生通過網(wǎng)頁接入這

個平臺，及時獲取數(shù)據(jù)并調(diào)整治療方案。

4.2 國內(nèi)醫(yī)療大數(shù)據(jù)技術(shù)應(yīng)用現(xiàn)狀

ＩＢＭ在上海的部分醫(yī)院推出了ＢＹＯＤ系統(tǒng)，即員工自費(fèi)終端，用來提高醫(yī)生和護(hù)士在醫(yī)院的移動性。通過和開發(fā)商合作，推出移動護(hù)理應(yīng)用，將醫(yī)生和護(hù)士的各種移動終端連在同一網(wǎng)絡(luò)下，便于醫(yī)生和護(hù)士了解患者在醫(yī)院的位置和健康狀況，也提高了醫(yī)生和護(hù)士的移動性。

在上海，醫(yī)聯(lián)工程橫向覆蓋全市三級醫(yī)院，縱向連通各區(qū)屬醫(yī)療機(jī)構(gòu)，已覆蓋3900萬患者，建成國內(nèi)最大的患者診療檔案庫，擁有8.2億條醫(yī)囑、1.8億個病案、8100萬份檢驗(yàn)檢查報告和107太字節(jié)醫(yī)學(xué)影像數(shù)據(jù)；醫(yī)聯(lián)工程在服務(wù)醫(yī)改、支撐資源整合、分布式影像網(wǎng)絡(luò)會診、三級醫(yī)院診療信息社區(qū)調(diào)閱等方面，大幅度提升了區(qū)域衛(wèi)生服務(wù)水平。

醫(yī)聯(lián)工程建成以來，對于患者，就醫(yī)更方便，“一院辦卡，跨院就醫(yī)”“就醫(yī)一站式付費(fèi)”，共發(fā)放1300余萬張醫(yī)聯(lián)卡，每月提供70萬專家預(yù)約號源，人均節(jié)約就診時間60min、排隊(duì)時間45min；對于醫(yī)生，服務(wù)看診、提高醫(yī)療質(zhì)量，支持每日5000人次實(shí)時診療檔案調(diào)閱、1.25萬人次重復(fù)醫(yī)療智能提醒，節(jié)約大量醫(yī)療費(fèi)用；對于管理者，實(shí)現(xiàn)精細(xì)化管理，建成集醫(yī)療管理、績效考核和統(tǒng)計(jì)分析為一體的整合平臺，為醫(yī)院管理提供決策支持。醫(yī)療大數(shù)據(jù)安全

5.1 人的安全

醫(yī)療大數(shù)據(jù)安全中“人”的安全，涉及的是數(shù)據(jù)隱私保護(hù)問題。在醫(yī)療過程中，患者的個人隱私主要有：在體檢、診斷、治療、疾病控制、醫(yī)學(xué)研究過程中涉及的個人肌體特征、健康狀況、人際接觸、遺傳基因、病史病歷等[5]。這些內(nèi)容還能被分為顯性與隱性，顯性一般是醫(yī)囑、診斷書、X線片、檢查結(jié)果、報告單、病歷、病案、住院患者床頭卡等數(shù)據(jù)；隱性則是指蘊(yùn)藏在這些數(shù)據(jù)歷的信息，如患者血液組織所蘊(yùn)含著的基因信息，患者罹患疾病所反應(yīng)出的生活方式或者折射出的家族遺傳歷史等。

5.2 數(shù)據(jù)安全

一是易成為網(wǎng)絡(luò)攻擊的顯著目標(biāo)，在網(wǎng)絡(luò)空間中，醫(yī)療大數(shù)據(jù)的關(guān)注高，其中含有的敏感數(shù)據(jù)會吸引潛在的攻擊者；二是對現(xiàn)有存儲或者安全防范措施提出挑戰(zhàn)，特別是數(shù)據(jù)大集中后復(fù)雜多樣的數(shù)據(jù)存放在一起，常規(guī)的安全掃描手段無法滿足安全要求。這些問題將表現(xiàn)在數(shù)據(jù)資源共享、數(shù)據(jù)資產(chǎn)界定和盤活，以及數(shù)據(jù)真實(shí)性判斷等各個方面。醫(yī)療大數(shù)據(jù)的未來展望

6.1 社會化醫(yī)學(xué)

曾任美國克利夫蘭醫(yī)學(xué)中心（Cleveland Clinic）心血管科主任的美國心臟病學(xué)家埃里克·托普（Eric Topol），新近出版了一本名為《顛覆醫(yī)療》[6]的書，在此書中他認(rèn)為：互聯(lián)網(wǎng)的沉浸式和參與式文化培育了消費(fèi)者，“每10個美國人中就有超過8位在網(wǎng)絡(luò)上查詢與健康相關(guān)的問題”，甚至有的“患者會自帶著一系列摘自網(wǎng)絡(luò)的醫(yī)學(xué)問題”去訪問醫(yī)生，對自身病情、疾病和藥物的知悉程度較過去高出很多，與此同時，醫(yī)生的權(quán)威性大幅度降低。由此可見，這就是未來的趨勢—社會化醫(yī)學(xué)。

6.2 個性化醫(yī)學(xué)

個性化醫(yī)療，是指以個人基因組數(shù)據(jù)位基礎(chǔ)，結(jié)合蛋白質(zhì)組和代謝組等相關(guān)內(nèi)環(huán)境數(shù)據(jù)，考察遺傳變異、對特定疾病的易感性和對特殊藥物的反應(yīng)的關(guān)系，為患者量身設(shè)計(jì)出最佳治療方案，以期達(dá)到治療效果最大化和副作用最小化的定制醫(yī)療模式。實(shí)施個性化醫(yī)療，首先針對特定疾病亞群進(jìn)行分類，然后根據(jù)這些亞群的特異性發(fā)病機(jī)制進(jìn)行藥物開發(fā)，最終對這些亞群患者進(jìn)行針對性治療。這些涉及醫(yī)學(xué)、生物、環(huán)境、社會和心理等諸多因素，傳統(tǒng)的數(shù)據(jù)分析技術(shù)會遭遇瓶頸，很難以開展針對性研究，故而引發(fā)了大數(shù)據(jù)技術(shù)的介入。在現(xiàn)有研究中，通過對醫(yī)療大數(shù)據(jù)的分析和利用，可以完善個性化醫(yī)療。較著名的是德國默克公司正與Regenstrief研究院一起實(shí)施的個性化醫(yī)療項(xiàng)目?？疾爝z傳變異、對特定疾病的易感染性和對特殊藥物的反應(yīng)三者之間的關(guān)系，然后在藥物研發(fā)和用藥過程中考慮個人的遺傳變異因素。針對不同的患者采取不同的治療方案，或者根據(jù)患者的實(shí)際情況調(diào)整藥物劑量，可以減少副作用?？偨Y(jié)

根據(jù)國際數(shù)據(jù)公司（International Data Corporation，IDC）的預(yù)測，中國的大數(shù)據(jù)市場在2012~2016年將增長5倍，其中最多份額將集中在政府、銀行、醫(yī)療衛(wèi)生、電信等四大行業(yè)【7】。醫(yī)療行業(yè)的數(shù)據(jù)已進(jìn)入大數(shù)據(jù)時代，使用大數(shù)據(jù)庫作為工具，將會輔助產(chǎn)生更有效、更加經(jīng)濟(jì)的醫(yī)療政策，更好的產(chǎn)品和服務(wù)[8]醫(yī)療大數(shù)據(jù)為我國帶來了機(jī)遇的同時也帶來了挑戰(zhàn)，雖然只是剛剛起步，但是前景還是值得期待的。

參考文獻(xiàn)

[1]（于廣軍 楊佳泓主編 醫(yī)療大數(shù)據(jù) 上?？茖W(xué)技術(shù)出版社P14）

[2]（Kayyali B，Knott D，Van Kuilen S.The big-data revolution in US health care: Accelerating value and innovation[J].Mc Kinsey & Company，2013)[3]（David Marco，John Wiley.Building and managing the meta data repository: a full lifecycle guide[M].New York: John Wiley & Sons Inc,2000）

[4]（Kayyali B，Knott D，Van Kuilen S.The big-data revolution in US health care: Accelerating value and innovation[J].Mc Kinsey & Company，2013）[5]（湯嘯天.個人健康醫(yī)療信息和隱私權(quán)保護(hù)[J].同濟(jì)大學(xué)學(xué)報：社會科學(xué)版，2006,17（3）：117-123）

[6]（http://）

[7]（Inmon W.Building the data warehouse[M].3rd ed.New York: John Wiley & Sons Inc，2002）

[8]（郭曉科主編 《大數(shù)據(jù)》 清華大學(xué)出版社 p22）

第四篇：對大數(shù)據(jù)的認(rèn)識

對于大數(shù)據(jù)的認(rèn)識和理解

這學(xué)期選修了網(wǎng)絡(luò)工程這門課程，當(dāng)時是抱著掃盲的態(tài)度選的這門課程，給自己定的目標(biāo)不高，只需要對一些基礎(chǔ)的概念和網(wǎng)絡(luò)結(jié)構(gòu)有些認(rèn)識就可以，以免以后在人前談?wù)摰臅r候不至于成為IT文盲，被一些專業(yè)性的技術(shù)人員所嚇倒。事實(shí)證明，態(tài)度決定一切，由于自己剛開始設(shè)定的目標(biāo)就比較低，所以注定能夠上升到的水平也就不高。

經(jīng)過這幾周的學(xué)習(xí)，對計(jì)算機(jī)網(wǎng)絡(luò)的基礎(chǔ)知識和大致結(jié)構(gòu)有了一個粗淺的認(rèn)識。由于學(xué)生本身這方面的基礎(chǔ)不扎實(shí)，知識結(jié)構(gòu)在這方面比較薄弱，所以不能在技術(shù)方面進(jìn)行深入的研究，只能對一些理論性的知識做一些了解和認(rèn)識，建立起大概的知識框架。在學(xué)習(xí)過程中，魏忠老師所提及的知識中有一點(diǎn)印象最為深刻，關(guān)于大數(shù)據(jù)Big Data方面的提及引起了我很大的興趣，越是自己私下里做了一些閱讀和查詢（主要是維克托·邁爾-舍恩伯格的《大數(shù)據(jù)時代》和網(wǎng)絡(luò)上查看的一些資料）。最后提交的這篇課程總結(jié)就著重報告一下自己在閱讀了他人關(guān)于大數(shù)據(jù)的一些理論后自身的認(rèn)識。

在這之前，我發(fā)現(xiàn)身邊很多人都提起過大數(shù)據(jù)，其中包括老師和同學(xué)?？墒菍τ谶@些熱門的新技術(shù)、新趨勢人們往往趨之若鶩卻又很難說的透徹，如果你問他大數(shù)據(jù)和你有什么關(guān)系？估計(jì)很少同學(xué)能說出一二三來。究其原因，一是因?yàn)榇蠹覍π录夹g(shù)有著相同的原始渴求，至少知其然在聊天時不會顯得很“無知”，因?yàn)楝F(xiàn)在人們普遍都有以一種信息焦慮感，別人知道的東西我不知道，就會感到焦慮，無論這些信息對你有沒有用；二是在工作和生活環(huán)境中真正能參與實(shí)踐大數(shù)據(jù)的案例實(shí)在太少了，所以大家沒有必要花時間去知其所以然。當(dāng)然我也一樣，雖然我希望能有些不一樣，但是自己實(shí)在欠缺IT這方面的知識，所以也只能查閱一些資料，翻閱了最新的專業(yè)書籍，在自己局限的認(rèn)識下把這些些零散的資料碎片或不同理解論述綜合起來做一個類似于文獻(xiàn)綜述的報告，其實(shí)我很真誠的希望進(jìn)入事物探尋本質(zhì)。下面就從理論、技術(shù)、實(shí)踐這三個層面寫一下大數(shù)據(jù)的認(rèn)識

大數(shù)據(jù)的一些相關(guān)理論：

最早提出大數(shù)據(jù)時代到來的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！?/p>

業(yè)界（IBM 最早定義）將大數(shù)據(jù)的特征歸納為4個“V”（量Volume，多樣Variety，價值Value，速Velocity），或者說特點(diǎn)有四個層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業(yè)價值高。第四，處理速度快。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

很早就流傳著一句話：三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。先不論這句話是誰說得，但是這句話的正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時代》一書中舉了很多例證，都是為了說明一個道理：在大數(shù)據(jù)時代已經(jīng)到來的時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價值。書中，作者提及最多的

是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價值，比如預(yù)測某地流感爆發(fā)的趨勢；Amazon如何利用用戶的購買和瀏覽歷史數(shù)據(jù)進(jìn)行有針對性的書籍購買推薦，以此有效提升銷售量；Fare cast如何利用過去十年所有的航線機(jī)票價格打折數(shù)據(jù)，來預(yù)測用戶購買機(jī)票的時機(jī)是否合適。這里維克托·邁爾-舍恩伯格所認(rèn)為的大數(shù)據(jù)思維是：1需要全部數(shù)據(jù)樣本而不是抽樣；2關(guān)注效率而不是精確度；3關(guān)注相關(guān)性而不是因果關(guān)系。

大數(shù)據(jù)是什么？投資者眼里是金光閃閃的兩個字：資產(chǎn)。比如，F(xiàn)acebook上市時，評估機(jī)構(gòu)評定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

大數(shù)據(jù)的一些相關(guān)技術(shù)： 1）云技術(shù)：

大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時的大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)

十、數(shù)百或甚至數(shù)萬的電腦分配工作?？梢哉f，云計(jì)算充當(dāng)了工業(yè)革命時期的發(fā)動機(jī)的角色，而大數(shù)據(jù)則是電。

云計(jì)算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計(jì)算提供基礎(chǔ)架構(gòu)平臺，大數(shù)據(jù)應(yīng)用運(yùn)行在這個平臺上。

業(yè)內(nèi)是這么形容兩者的關(guān)系：沒有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再強(qiáng)大，也難以找到用武之地；沒有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。

那么大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢？

這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲和管理技術(shù)，NOSQL、實(shí)時流數(shù)據(jù)處理、智能分析技術(shù)（類似模式識別以及自然語言理解）等。

2）分布式技術(shù)：

分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。

3）感知技術(shù)：

大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。以傳感器技術(shù)，指紋識別技術(shù)，RFID技術(shù)，坐標(biāo)定位技術(shù)等為基礎(chǔ)的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。全世界的工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關(guān)位置、運(yùn)動、震動、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，都會產(chǎn)生海量的數(shù)據(jù)信息。

其實(shí)，這些感知被逐漸捕獲的過程就是就世界被數(shù)據(jù)化的過程，一旦世界被完全數(shù)據(jù)化了，那么世界的本質(zhì)也就是信息了

大數(shù)據(jù)的實(shí)踐：

政府各個部門都握有構(gòu)成社會基礎(chǔ)的原始數(shù)據(jù)，比如，氣象數(shù)據(jù)，金融數(shù)據(jù)，信用數(shù)據(jù)，電力數(shù)據(jù)，煤氣數(shù)據(jù)，自來水?dāng)?shù)據(jù)，道路交通數(shù)據(jù)，客運(yùn)數(shù)據(jù)，安全刑事案件數(shù)據(jù)，住房數(shù)據(jù)，海關(guān)數(shù)據(jù)，出入境數(shù)據(jù)，旅游數(shù)據(jù)，醫(yī)療數(shù)據(jù)，教育數(shù)據(jù)，環(huán)保數(shù)據(jù)等等。這些數(shù)據(jù)在每個政府部門里面看起來是單一的，靜態(tài)的。

但是，如果政府可以將這些數(shù)據(jù)關(guān)聯(lián)起來，并對這些數(shù)據(jù)進(jìn)行有效的關(guān)聯(lián)分析和統(tǒng)一管理，這些數(shù)據(jù)必定將獲得新生，其價值是無法估量的。

具體來說，現(xiàn)在城市都在走向智能和智慧，比如，智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧環(huán)保、智慧城市，這些都依托于大數(shù)據(jù)，可以說大數(shù)據(jù)是智慧的核心能源。從國內(nèi)整體投資規(guī)模來看，到2012年底全國開建智慧城市的城市數(shù)超過180個，通信網(wǎng)絡(luò)和數(shù)據(jù)平臺等基礎(chǔ)設(shè)施建設(shè)投資規(guī)模接近5000億元?！笆濉逼陂g智慧城市建設(shè)拉動的設(shè)備投資規(guī)模將達(dá)1萬億元人民幣。大數(shù)據(jù)為智慧城市的各個領(lǐng)域提供決策支持。在城市規(guī)劃方面，通過對城市地理、氣象等自然信息和經(jīng)濟(jì)、社會、文化、人口等人文社會信息的挖掘，可以為城市規(guī)劃提供決策，強(qiáng)化城市管理服務(wù)的科學(xué)性和前瞻性。在交通管理方面，通過對道路交通信息的實(shí)時挖掘，能有效緩解交通擁堵，并快速響應(yīng)突發(fā)狀況，為城市交通的良性運(yùn)轉(zhuǎn)提供科學(xué)的決策依據(jù)。在輿情監(jiān)控方面，通過網(wǎng)絡(luò)關(guān)鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務(wù)能力，應(yīng)對網(wǎng)絡(luò)突發(fā)的公共事件，打擊違法犯罪。在安防與防災(zāi)領(lǐng)域，通過大數(shù)據(jù)的挖掘，可以及時發(fā)現(xiàn)人為或自然災(zāi)害、恐怖事件，提高應(yīng)急處理能力和安全防范能力。

學(xué)生在閱讀了大數(shù)據(jù)相關(guān)的一些書籍和文章之后，提取出的一些觀點(diǎn)和理論，并稍加了自己對大數(shù)據(jù)的一些認(rèn)識，寫成了這篇課程總結(jié)，因?yàn)樽陨淼膶I(yè)性不強(qiáng)，欠缺這方面的知識和技術(shù)，所以有些說法可能存在漏洞或者錯誤，希望老師不要見笑并加以指正。最后感謝老師這兩個月來的教導(dǎo)。老師幽默的語言，靈活的教學(xué)方式營造了活躍的課堂環(huán)境，這些都得到了同學(xué)們的廣泛好評。最后再次感謝教授!

第五篇：中小學(xué)教育中的大數(shù)據(jù)應(yīng)用認(rèn)識 - 副本

中小學(xué)教育中的大數(shù)據(jù)應(yīng)用認(rèn)識

摘要：大數(shù)據(jù)意義之“大”，更深層次的在于對海量數(shù)據(jù)的采集處理、統(tǒng)計(jì)分析、挖掘應(yīng)用。教育大數(shù)據(jù)的分析應(yīng)用，是教育信息化發(fā)展背景下的教育教學(xué)管理方式的創(chuàng)新摸索，是未來教育教學(xué)改革、教育質(zhì)量監(jiān)控的數(shù)據(jù)依據(jù)。

大數(shù)據(jù)就是巨量的數(shù)據(jù)，典型為PB或者EB存儲數(shù)量級的數(shù)據(jù)。Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，按照進(jìn)率1024（2的十次方）遞增，按照目前主流硬盤TB單位計(jì)算，一個PB概念的存儲就不是一個普通機(jī)房所能容納，而EB存儲或許只有搜索引擎公司才具備。

大數(shù)據(jù)意義之“大”，更深層次的在于對海量數(shù)據(jù)的采集處理、統(tǒng)計(jì)分析、挖掘應(yīng)用，而且這些分析處理并不是一般數(shù)據(jù)庫和軟件技術(shù)所能承受，而必然采用分布式架構(gòu)，依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。

所以，不能簡單地以數(shù)據(jù)的規(guī)模大小來界定大數(shù)據(jù)，而是要注重是否滿足用戶需求的數(shù)據(jù)處理與分析的復(fù)雜程度。再者，大數(shù)據(jù)在教育中的應(yīng)用，從發(fā)展階段或者從應(yīng)用上來看，我覺得也可以分為兩個層次。

一、教育大數(shù)據(jù)的資源共享功能 2012 年9 月29 日，國務(wù)委員劉延?xùn)|在全國教育信息化工作電視電話會議上提出：“十二五”期間，要以建設(shè)好“三通兩平臺”為抓手，也就是“寬帶網(wǎng)絡(luò)校校通、優(yōu)質(zhì)資源班班通、網(wǎng)絡(luò)學(xué)習(xí)空間人人通”，建設(shè)教育資源公共服務(wù)平臺和教育管理公共服務(wù)平臺。抓住機(jī)遇，乘勢而上，開拓進(jìn)取，以信息化帶動教育現(xiàn)代化，促進(jìn)我國教育事業(yè)科學(xué)發(fā)展的重大戰(zhàn)略任務(wù)。

教育信息化建設(shè)目前大力發(fā)展，“三通兩平臺”建設(shè)為教育的大數(shù)據(jù)應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。教育教學(xué)管理涉及的大數(shù)據(jù)非常廣泛。在教育管理平臺、資源管理平臺、在線學(xué)習(xí)的平臺和課程管理平臺、視頻直錄播平臺、校園一卡通等等這些系統(tǒng)中，日常教育教學(xué)活動中所產(chǎn)生的管理人員、教師、學(xué)生以及家長等各類行為數(shù)據(jù)，如師生基本信息、教育管理及考勤、學(xué)籍學(xué)分處理、教學(xué)活動信息、教育教學(xué)研究、設(shè)備儀器管理、各類通訊信息，都可以成為教育大數(shù)據(jù)。

在這個信息時代，大數(shù)據(jù)的資源共享應(yīng)用在教育信息化中起到越來越重要的作用，在教育教學(xué)中從很大程度上幫助了教師創(chuàng)新教學(xué)模式和教學(xué)方法。而如何用好大數(shù)據(jù)深層次的功能，是我們面臨的更加重要的課題。

二、教育大數(shù)據(jù)的分析應(yīng)用功能

有人說：我們正在使用大數(shù)據(jù)，正在下載文字、圖片、視頻、課件，正在利用平臺及平臺資源開展一系列教育教學(xué)活動。的確，這是應(yīng)用，但不是分析應(yīng)用，不是大數(shù)據(jù)層次的應(yīng)用。

2012年，浙江諸暨、東陽相繼出現(xiàn)教育云概念。諸暨區(qū)域教育云以軟硬件系統(tǒng)需求角度出發(fā)，東陽教育云全國規(guī)?；瘧?yīng)用試點(diǎn)以資源建設(shè)角度出發(fā)，相繼獲得了省級、國家級認(rèn)可，其目的都是為了配合教育教學(xué)應(yīng)用推進(jìn)而展開。這是教育相對發(fā)達(dá)省份浙江的兩個縣級市，在教育信息化發(fā)展的今天，為適應(yīng)日益增長的教育教學(xué)應(yīng)用實(shí)際需求而進(jìn)行的新模式的探索。

大數(shù)據(jù)用最原始的方式入“云”，簡單點(diǎn)說，是每一個人、每一個部門、每一個家庭、每一個行業(yè)，不同個體、單位進(jìn)行各類行為操作的匯總。記錄的不單單的輸入的數(shù)據(jù)本身，而延伸植入了輸入者本身的一切相關(guān)聯(lián)信息。當(dāng)你在論壇發(fā)表一條消息，你的資料同時就被關(guān)聯(lián)，一起被關(guān)聯(lián)的還有你曾經(jīng)在網(wǎng)絡(luò)上發(fā)布其他信息，以及與你相關(guān)的聯(lián)系人。這不是簡單的數(shù)據(jù)拷貝，也不是數(shù)據(jù)錄入員的簡單錄入，這樣的情況下，教育資源云技術(shù)化，首先就擺在了我們面前。

（一）云計(jì)算與大數(shù)據(jù)的關(guān)系

2006年8月9日，Google首席執(zhí)行官埃里克·施密特（Eric Schmidt）在搜索引擎大會（SES San Jose 2006）首次提出“云計(jì)算”（Cloud Computing）的概念。云計(jì)算是為適應(yīng)越來越大的計(jì)算、越來越多的數(shù)據(jù)、越來越快的速度要求而產(chǎn)生的主流IT技術(shù)。當(dāng)云計(jì)算出現(xiàn)了之后，大數(shù)據(jù)概念自然而然的進(jìn)入IT視野，并迅速引發(fā)全球范圍內(nèi)深刻的技術(shù)變革，乃至應(yīng)用到各個領(lǐng)域。

如果說大數(shù)據(jù)是戰(zhàn)略資源，云計(jì)算則是調(diào)配資源的指揮系統(tǒng)。云計(jì)算和大數(shù)據(jù)關(guān)系密切，兩者相輔相成，不可分割。大數(shù)據(jù)是云計(jì)算的對象，脫離了大數(shù)據(jù)的應(yīng)用實(shí)際，云計(jì)算就沒有生命力。云計(jì)算是大數(shù)據(jù)的基礎(chǔ)，為大數(shù)據(jù)提供了可以自由擴(kuò)展、相對適宜的存儲空間資源，還使得對大數(shù)據(jù)的分析處理能夠及時有效的進(jìn)行。所以，云計(jì)算技術(shù)的逐步完善，為教育大數(shù)據(jù)深層次應(yīng)用提供了可能。

（二）教育大數(shù)據(jù)應(yīng)用功能剖析

1、大數(shù)據(jù)能有效監(jiān)控教育教學(xué)質(zhì)量

中小學(xué)教育教學(xué)質(zhì)量監(jiān)控具有“全要素”、“全過程”、“全員性”、“全方位” 等四大特點(diǎn)?！叭亍笔侵附處熃虒W(xué)過程，學(xué)生的學(xué)習(xí)掌握，管理人員工作質(zhì)量等等所有因素；“全過程”是指教育教學(xué)的全程，包括教學(xué)過程的教學(xué)計(jì)劃、教學(xué)實(shí)施、教學(xué)反思階段，學(xué)生的入學(xué)、學(xué)習(xí)、考核、畢業(yè)等等；“全員性”是指有關(guān)中小學(xué)的教師、學(xué)生、管理工勤人員的一切相關(guān)內(nèi)容；“全方位”是指不僅包括教學(xué)過程、教學(xué)效果，也包括在科學(xué)的基礎(chǔ)上，對教學(xué)過程實(shí)施有效控制。有了現(xiàn)代化的教育教學(xué)環(huán)境下大數(shù)據(jù)平臺的支撐，四“全”問題引刃而解。

（1）及時準(zhǔn)確反饋學(xué)生信息

一般各類課程中心網(wǎng)站提供了學(xué)習(xí)各學(xué)科課程知識的功能，而目前流行的慕課（MOOC）平臺，參與者可以在線提問，其他人可以進(jìn)行交流解答，也有可能穿插一些小測試，能夠反饋學(xué)習(xí)情況。在這樣的教學(xué)過程中，產(chǎn)生了大量的實(shí)時數(shù)據(jù)，被慕課平臺記錄，并經(jīng)過相應(yīng)分析處理，原來雜亂的單個數(shù)據(jù)累積起來之后，學(xué)生的行為就能呈現(xiàn)出規(guī)律性，科學(xué)的反映出學(xué)生在整個教學(xué)過程中所處的狀態(tài)及存在的問題。這樣就可以有根據(jù)地調(diào)整學(xué)習(xí)內(nèi)容或有針對性地進(jìn)行學(xué)習(xí)，大幅提高教學(xué)質(zhì)量。根據(jù)大數(shù)據(jù)總體分析結(jié)果，管理部門也可發(fā)現(xiàn)傳統(tǒng)模式下無法發(fā)現(xiàn)的問題，并采取針對性解決方案，進(jìn)行更有利的課程設(shè)計(jì)，更好地促進(jìn)教育的發(fā)展。

在信息化的環(huán)境中，老師在設(shè)計(jì)某課的時候，可以逐步提出問題，并由學(xué)生反饋相應(yīng)的答案到移動終端。老師在教授過程中，時間節(jié)點(diǎn)由老師控制，而這個時候?qū)W生只需要在相應(yīng)的知識點(diǎn)這里點(diǎn)擊“A”或者“B”，“是”或者“否”，如同鼠標(biāo)左右鍵的點(diǎn)擊一般簡單，等到講解完畢之后，老師馬上就能知道，50%的學(xué)生在講到第3點(diǎn)的時候已經(jīng)出現(xiàn)錯誤，80%的學(xué)生在第5點(diǎn)的時候，就普遍沒能掌握。

（2）科學(xué)比對不同類型數(shù)據(jù) 擁有Nike+標(biāo)志的耐克鞋，表示內(nèi)含芯片和傳感器，可以記錄步伐、步速和跳躍的高度等數(shù)據(jù)。Nike同時也建立了一種新標(biāo)準(zhǔn)，并賦予一個標(biāo)準(zhǔn)化的數(shù)值Nikefuel，它能夠不受時間和項(xiàng)目限制，以特定的方式記錄個人運(yùn)動表現(xiàn)及方式，并能將不同個體的不同運(yùn)動進(jìn)行對比。此外，Nikefuel也能起到平臺的作用，串聯(lián)整個Nike+社區(qū)的人進(jìn)行合作溝通、比賽交流，再相互激勵，進(jìn)行更多的運(yùn)動。此種模式下，如果羅杰·費(fèi)德勒穿戴Nike+打網(wǎng)球，而科比·布萊恩特通過Nike+打籃球，但是他們?nèi)匀豢梢酝ㄟ^Nikefuel 值互相進(jìn)行比賽。

如此，我們便可設(shè)想，在教育部門組織開展教師或者學(xué)生的各項(xiàng)考評或者比賽時候，有困難的情況下就沒有必要一定要分組分學(xué)科進(jìn)行。調(diào)用中小學(xué)各學(xué)科以往的成績統(tǒng)計(jì)信息的大數(shù)據(jù)作為大樣本依據(jù)，小學(xué)組參賽選手成績與小學(xué)組大數(shù)據(jù)比較，中學(xué)組參賽選手成績與中學(xué)組大數(shù)據(jù)比較，得出各自的相對位次，即可確定勝負(fù)。

即使是嚴(yán)謹(jǐn)如高考，考生也完全可以自主選擇考試時間分批進(jìn)行。高考試卷由電腦隨機(jī)出卷、自動打印、考生答題、自動回收、智能閱卷，實(shí)現(xiàn)一系列全自動化模式，絕對保證公平公正。其中最重要的一點(diǎn)，是考生試題的不同與成績判定準(zhǔn)則。我們可以根據(jù)全市、全省、全國的大數(shù)據(jù)成績進(jìn)行比對，考生的試題無論難易程度如何，均可自動分析難度系數(shù)評定分?jǐn)?shù)；也可以根據(jù)答題時間、答題方式、答題要點(diǎn)掌握作為一些輔助評定指標(biāo)。如A、B兩考生，同樣的答對了X題，但是大數(shù)據(jù)記錄的時間顯示A比B快，則A成績比B高；如事先設(shè)定M答題策略優(yōu)于N答題策略，則得出兩個相同答案且時間相等的考生，答M的考生優(yōu)秀。

2、大數(shù)據(jù)能綜合優(yōu)化教育教學(xué)策略

在對教育教學(xué)質(zhì)量進(jìn)行有效監(jiān)控的前提下，大數(shù)據(jù)可以及時在調(diào)整教育教學(xué)策略中提供依據(jù)。通過對學(xué)習(xí)者的反饋信息進(jìn)行分析，可以適當(dāng)調(diào)整教育教學(xué)流程。

如：教學(xué)設(shè)計(jì)A知識點(diǎn)6分鐘，B知識點(diǎn)8分鐘，總計(jì)14分鐘。在進(jìn)行相應(yīng)課內(nèi)測試后，馬上就能得出A掌握度80%，B掌握度70%。這樣，立刻就能在下一堂課調(diào)整教學(xué)設(shè)計(jì)，A知識點(diǎn)5分鐘，B知識點(diǎn)9分鐘；或者根據(jù)不同情況的需求，A知識點(diǎn)7分鐘，B知識點(diǎn)7分鐘。

3、大數(shù)據(jù)能有效建立師生個體模型

該模型可以包括師生個體的教學(xué)狀態(tài)數(shù)據(jù)、思想行為數(shù)據(jù)、知識體系數(shù)據(jù)等檔案記錄。教學(xué)狀態(tài)數(shù)據(jù)，如學(xué)生在學(xué)校中各學(xué)科、各活動的參與度，教師可以是某一課程中的教學(xué)信息匯總，包括教學(xué)設(shè)計(jì)、課件制作、課程教授、教學(xué)反思等信息，還可以包括網(wǎng)絡(luò)即時課程評估、再設(shè)計(jì)，大幅度提升教學(xué)效率；思想行為數(shù)據(jù)來說，學(xué)生模型可包括學(xué)生在學(xué)校中進(jìn)校開始的一系列思想行為數(shù)據(jù)，包括按時上課下課、體育課運(yùn)動量、食堂就餐信息，甚至包括到過的學(xué)校每一個地方、交流過的每一個人員信息；知識體系數(shù)據(jù)可以是記錄學(xué)生一系列課程中的表現(xiàn)，如回答各類問題的數(shù)量、答案的正確率、花費(fèi)的時間等等。

在教育信息化大形勢下，教育軟件硬件持續(xù)投入、智慧校園建設(shè)不斷加強(qiáng)、教育技術(shù)研究深入開展，全國2億中小學(xué)生在學(xué)習(xí)、工作、生活中衍生的無可估計(jì)的大數(shù)據(jù)，為教育教學(xué)改革良性發(fā)展提供了充分依據(jù)與良好機(jī)遇，充分吸收、分析、挖掘和應(yīng)用這些數(shù)據(jù)，將是教育教學(xué)管理信息化發(fā)展的必然追求。

參考文獻(xiàn)：

[1] 劉延?xùn)|.把握機(jī)遇 加快推進(jìn) 開創(chuàng)教育信息化工作新局面[R].全國教育信息化工作電視電話會議,2012.[2] 周湘林.大數(shù)據(jù)時代的教育管理變革[J].中國教育學(xué)刊，2014（10）：25-30.[3] 何清.大數(shù)據(jù)與云計(jì)算[J].科技促進(jìn)發(fā)展，2014（01）：35-40.[4] 韓志君.簡析大數(shù)據(jù)在教育領(lǐng)域的運(yùn)用[J].科技視界，2014（06）：334 [5] 田芳.淺議中小學(xué)教學(xué)質(zhì)量監(jiān)控體系的建構(gòu)[J].當(dāng)代教育論壇，2010（5）：58-60.