第一篇:大數(shù)據(jù)時代 文獻綜述
姓名:李歡歡 學號:***4
一、前言
大數(shù)據(jù)是近年來出現(xiàn)在通信和計算機領域中的一個熱門關鍵詞。關于大數(shù)據(jù),尚未有一個統(tǒng)一的定義,但卻有兩個觀點能夠詮釋大數(shù)據(jù)的本質(zhì)。第一個觀點來自于Gartner公司的Merv Adrian在2011年第一季度刊登在Teradata Magazine上的一篇文章,文中指出“數(shù)據(jù)超出了常用硬件環(huán)境和軟件工具在可接受的時間內(nèi)為其用戶收集、管理和處理數(shù)據(jù)的能力”[1]。另一個觀點來自于麥肯錫全球數(shù)據(jù)分析研究所(Mckinsey Global Institute)在2011年6月發(fā)布的《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》報告,報告中提出“大數(shù)據(jù)是指大小超出了典型數(shù)據(jù)庫軟件工具收集、存儲、管理和分析能力的數(shù)據(jù)集”[2]。麥肯錫稱:“數(shù)據(jù),已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域,成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和應用,預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?!?/p>
大數(shù)據(jù)已經(jīng)深刻地影響到人們的生活、工作和學習。大數(shù)據(jù)的意義在于對由多種類型數(shù)據(jù)構(gòu)成的數(shù)據(jù)集體進行分析和研究,提取有利用價值的信息,從而幫助人們在解決問題時可以作出科學的決策。同樣大數(shù)據(jù)的威力強烈地沖擊著教育系統(tǒng),正在成為推動教育系統(tǒng)創(chuàng)新與變革的顛覆性力量。
智慧時代下大數(shù)據(jù)技術在教育
領域的應用研究綜述
二、大數(shù)據(jù)技術在教育領域的應用現(xiàn)狀分析 大數(shù)據(jù)定義與特征
大數(shù)據(jù)(bigdata),又稱巨量資料,海量資料,指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具,在合理時間內(nèi)達到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。研究機構(gòu) Gartner[3]認為“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。麥肯錫的定義: 大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行采集、存儲、管理和分析的數(shù)據(jù)集合。無論哪種定義,我們可以看出,大數(shù)據(jù)并不是一種新的產(chǎn)品也不是一種新的技術,大數(shù)據(jù)只是數(shù)字化時代出現(xiàn)的一種現(xiàn)象。
大數(shù)據(jù)的主要特點可以概括為4V+1C。4V包含了四個層面:第一,即 Volume(大容量),海量數(shù)據(jù),規(guī)模龐大,已躍升到 PB 級別;第二,Velocity(高速度),實時處理,處理速度快,涉及感知、傳輸、決策、控制開放式循環(huán)的大數(shù)據(jù),數(shù)據(jù)實時處理有著極高要求,通過傳統(tǒng)數(shù)據(jù)庫查詢方式得到的“當前結(jié)果”可能已沒有價值,這也是大數(shù)據(jù)和傳統(tǒng)的數(shù)據(jù)挖掘技術本質(zhì)上的不同;第三,Variety(多樣性),數(shù)據(jù)類型繁多:網(wǎng)絡日志、視頻、地理位置信息、圖片等都是大數(shù)據(jù);第四,Veracity(低密度),數(shù)據(jù)價值大,但價值密度低。對海量數(shù)據(jù)挖掘分析,對未來趨勢與模式的可預測分析,深度復雜分析;“1C”即 Complexity,是通過數(shù)據(jù)庫處理持久存儲的數(shù)據(jù)不再適用于大數(shù)據(jù)處理,需要有新的方法來滿足異構(gòu)數(shù)據(jù)統(tǒng)一接入和實時數(shù)據(jù)處理的需求[4]。2 國內(nèi)研究現(xiàn)狀
對于“智慧時代下大數(shù)據(jù)技術在教育領域的應用”國內(nèi)研究的現(xiàn)狀,我主要通過借助中國知網(wǎng)提供的論文發(fā)表數(shù)據(jù)進行分析。在中國知網(wǎng)中選擇“高級檢索”類型,并在檢索條件中選擇“主題”檢索,輸入“大數(shù)據(jù)”并含“教育”,截止到 2014年4月17日共檢索出303 條結(jié)果與之相關,通過手工篩選,把會議報道等無關信息剔除掉,剩余160篇文章。
大數(shù)據(jù)在教育領域的應用,與國外相比,國內(nèi)起步稍晚,還未形成整體力量。雖然2009年開始,大數(shù)據(jù)就成為了流行詞匯,但是它在教育領域的應用是近3年才出現(xiàn)的。國內(nèi)最早的研究是從2012年開始的,相關論文只有5篇。但是2012年大數(shù)據(jù)成為時代發(fā)展的一個重要趨勢,這也直接影響到教育領域的專家學者開始關注。王震一[5]提出:今天的大數(shù)據(jù)就像當年發(fā)明顯微鏡一樣,人們從龐雜的海量數(shù)據(jù)中找到了前所未知的事物。正確面對這些關系復雜、形式多樣的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的教育數(shù)據(jù),形成一套涵蓋業(yè)務、技術和 IT 基礎架構(gòu)的全面解決方案來處理存儲、管理和分析教育大數(shù)據(jù),這就是信息化教育。
楊滿福和焦建利[6]提出“大數(shù)據(jù)加速教學研究成果向教學生產(chǎn)力轉(zhuǎn)化”,從產(chǎn)學研結(jié)合的意義上說,借助大數(shù)據(jù),教學研究與教學產(chǎn)品的改善與創(chuàng)新更緊密地聯(lián)結(jié)起來,理想的狀態(tài)是教學研究的價值在教學產(chǎn)品的優(yōu)化上快速得到體現(xiàn),最終教學研究成果束之高閣的不利局面將能得到改變,教學研究的成果也就能在一個全球化境域下提高教學的生產(chǎn)力。
劉雍潛和楊現(xiàn)民[7]提出“大數(shù)據(jù)時代區(qū)域教育均衡發(fā)展新思路”,在大數(shù)據(jù)時代背景下,區(qū)域教育均衡發(fā)展應該以數(shù)據(jù)為基礎,準確把握區(qū)域教育發(fā)展動態(tài),利用大數(shù)據(jù)技術從教育環(huán)境均衡教育資源均衡、教育機會均等和教育質(zhì)量均衡等四個方面提供科學依據(jù),進而促進區(qū)域教育均衡發(fā)展。
2013年至今是大數(shù)據(jù)在教育領域應用研究的起步階段。隨著國家對教育信息化的快速推進和信息技術與教育教學的深度融合,我國教育事業(yè)的改革和創(chuàng)新發(fā)展離不開信息技術的支持和引領已經(jīng)越來越成為教育界的共識。2013年被媒體稱為中國的大數(shù)據(jù)元年。2014 年 3 月,教育部辦公廳印發(fā)的《2014 年教育信息化工作要點》中指出:加強對動態(tài)監(jiān)測、決策應用、教育預測等相關數(shù)據(jù)資源的整合與集成,為教育決策提供及時和準確的數(shù)據(jù)支持,推動教育基礎數(shù)據(jù)在全國的共享[8]。可見,教育大數(shù)據(jù)的應用已被列入我國教育信息化的工作程序中,相信大數(shù)據(jù)將很快被推廣并與教育領域的深度融合,這是當前時代教育事業(yè)發(fā)展的必然趨勢。3 國外研究現(xiàn)狀
2012年3月底,美國奧巴馬政府宣布,白宮將投入2億美金的研發(fā)費用來推動大數(shù)據(jù)技術的發(fā)展,其主要目標是為了讓大數(shù)據(jù)技術更好地服務于科研、環(huán)境、生物醫(yī)藥、教育和國家安全領域,同時,明確地表示將主要用來鼓勵在數(shù)據(jù)采集、存儲、管理、分析和共享等方面的技術研發(fā),這直接刺激了全世界對“大數(shù)據(jù)”的關注[9]。此外,大數(shù)據(jù)還上過《紐約時報》和《華爾街日報》的專欄封面。2012年,美國國家教育部發(fā)布了《通過教育數(shù)據(jù)挖掘和學習分析促進教與學》報告,對美國國內(nèi)大數(shù)據(jù)教育應用領域和案例,以及應用實施所面臨的挑戰(zhàn)進行了詳細的介紹。
國外關于大數(shù)據(jù)在教育領域的應用的論文發(fā)表時間也主要分布在近三年,研究內(nèi)容主要包括對教育數(shù)據(jù)挖掘、學習分析,個性化教育、教育方式的改善、學習策略探討、教育管理方式的改變、大數(shù)據(jù)對于教育的推動作用、數(shù)據(jù)驅(qū)動以及對圖書館建設、對教與學需求、評價方法的影響等方面??梢?,雖然大數(shù)據(jù)在國外出現(xiàn)較早也備受重視,但是在教育領域中的應用仍不夠深入,正如 Anthony G.Picciano[10]教授所說:教學應用大數(shù)據(jù)分析處于起步階段,還需要幾年才能成熟,雖然大數(shù)據(jù)的存在被證明是該被重視的,但大數(shù)據(jù)并不是解決所有教育問題的靈丹妙藥,它只是給人們提供了擬定教育問題解決方案時的一部分決策參考。
綜上所說,我們可以看出,國內(nèi)外大數(shù)據(jù)在教育中應用的研究還處于初級階段,研究的內(nèi)容不夠廣泛也不夠有深度,因此,還需要進一步加強大數(shù)據(jù)在教育中應用的研究力度,希望能夠推動大數(shù)據(jù)在教育中的應用與發(fā)展。
三、總結(jié)
通過以上的分析,我們可以發(fā)現(xiàn)大數(shù)據(jù)在教育領域有著很大的應用空間,也是未來教育發(fā)展的必然趨勢。但是國內(nèi)外專家學者開展的相關研究,大多數(shù)集中在理論階段,不能夠運用到實際中來。具體的應用理論還不夠成熟,實踐研究方面涉及的案例比較少。大數(shù)據(jù)時代,互聯(lián)網(wǎng)教育與學校教育將逐漸分離,正如電影院和電視機在初期競爭的時候水火不相容,而成熟后會各得其所。大數(shù)據(jù)提供了一種學校教育與互聯(lián)網(wǎng)教育共存的新模式。有人預言,大數(shù)據(jù)開創(chuàng)了一個教育的新時代,我們應該積極迎接這個新時代,通過大數(shù)據(jù)來促進教育,進一步改善教學的方式與方法,進一步促進學生學習成績的提高。
四、參考文獻
[1]Merv Adrian.Big Data:it’s going mainstream and it’s your next opportunity[J].Teradata Magazine, 2011,(1):3-5.
[2]Manyika J, Chui M, Brown B, et al.Big data: The next frontier for innovation, competition, and productivity[R].USA:Mckinsey Global Institute, 2011.
[3]大數(shù)據(jù)[OL].
[4]大數(shù)據(jù)時代的特點[OL].
[7]劉雍潛,楊現(xiàn)民.大數(shù)據(jù)時代區(qū)域教育均衡發(fā)展新思路,電化教育研究,2014(05);
[8]教育部辦公廳關于印發(fā)《2014年教育信息化工作要點》的通知[OL].
第二篇:大數(shù)據(jù)時代
大數(shù)據(jù)時代
近年來,隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、智能手機及傳感器等的普及,信息流量有了爆發(fā)性的增長,兩會以后,互聯(lián)網(wǎng)里最熱的詞匯,就是李克強總理在政府工作在報告里面提到的“互聯(lián)網(wǎng)+”,大數(shù)據(jù)將會更廣泛的被運用到各個領域,越來越多的業(yè)內(nèi)人士開始談論“大數(shù)據(jù)”,如何利用大數(shù)據(jù),成為政府和眾多企業(yè)關心的熱點?
互聯(lián)網(wǎng)+《大數(shù)據(jù)》緊緊圍繞這些問題展開,幫您如何利用大數(shù)據(jù)為企業(yè)從戰(zhàn)略上面進行指導挖掘和預測,從戰(zhàn)術上進行營銷服務和安全措施,精彩我們共同期待。
第一篇大數(shù)據(jù)很熱,大數(shù)據(jù)不神秘(趨勢)有人說,如果你不知道大數(shù)據(jù),你就OUT了 --大數(shù)據(jù)到底有多熱 什么樣的數(shù)據(jù)算是大數(shù)據(jù) --大數(shù)據(jù)的特點和概念辨析 亂我心者,大數(shù)據(jù)之事多煩憂 --大數(shù)據(jù)并不象你想象的那樣神秘 身邊的大數(shù)據(jù)
--大數(shù)據(jù)就在你我身邊
案例分析:淘寶是如何利用大數(shù)據(jù)淘寶的 小結(jié):不管你愿不愿意,大數(shù)據(jù)已經(jīng)在那里 電話:010---59002742 010--59004371 第二篇:認識大數(shù)據(jù) 1.什么是大數(shù)據(jù) 2.大數(shù)據(jù)應用的意義
3.大數(shù)據(jù)在企業(yè)經(jīng)營中應用的意義 4.對大數(shù)據(jù)的認識誤區(qū) 案例分析
第三篇:大數(shù)據(jù)時代變革 1:大數(shù)據(jù)時代的思維變革 2:大數(shù)據(jù)時代的商業(yè)變革 3:大數(shù)據(jù)時代的管理變革
第四篇:大數(shù)據(jù)在營銷中的運用 大數(shù)據(jù)精準營銷 1.什么是精確營銷 2.精確營銷的方法 實操教學+案例分析
第五篇:在技術中應用 數(shù)據(jù)挖掘
大數(shù)據(jù)的核心價值——挖掘 1.什么是數(shù)據(jù)挖掘? 2.數(shù)據(jù)挖掘的流程 3.數(shù)據(jù)挖掘解決的問題 結(jié)合現(xiàn)場實操教學+案例分析
第六篇:預測
大數(shù)據(jù)的核心價值——預測 1:如何預測? 案例分析
第七篇:大數(shù)據(jù)與云計算 1:什么是云計算
2:大數(shù)據(jù)與云計算的關系
第八篇:大數(shù)據(jù)的安全問題
大數(shù)據(jù)給信息安全帶來新的挑戰(zhàn)和機遇 大數(shù)據(jù)存儲安全策略 大數(shù)據(jù)應用安全策略 大數(shù)據(jù)管理安全策略
第三篇:大數(shù)據(jù)時代
“大”數(shù)據(jù)時代 眾所周知,數(shù)據(jù)本身就蘊藏著價值,但是將有用的數(shù)據(jù)與沒有價值的數(shù)據(jù)進行區(qū)分看起來可能是一個棘手的問題。
顯然,您所掌握的人員情況、工資表和客戶記錄對于企業(yè)的運轉(zhuǎn)至關重要,但是其他數(shù)據(jù)也擁有轉(zhuǎn)化為價值的力量。一段記錄人們?nèi)绾卧谀纳痰隇g覽購物的視頻、人們在購買您的服務前后的所作所為、如何通過社交網(wǎng)絡聯(lián)系您的客戶、是什么吸引合作伙伴加盟、客戶如何付款以及供應商喜歡的收款方式……所有這些場景都提供了很多指向,將它們抽絲剝繭,透過特殊的棱鏡觀察,將其與其他數(shù)據(jù)集對照,或者以與眾不同的方式分析解剖,就能讓您的行事方式發(fā)生天翻地覆的轉(zhuǎn)變。
大數(shù)據(jù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具,在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。
“大數(shù)據(jù)”這個術語最早期的引用可追溯到apache org的開源項目Nutch。當時,大數(shù)據(jù)用來描述為更新網(wǎng)絡搜索索引需要同時進行批量處理或分析的大量數(shù)據(jù)集。隨著谷歌MapReduce和Google File System(GFS)的發(fā)布,大數(shù)據(jù)不再僅用來描述大量的數(shù)據(jù),還涵蓋了處理數(shù)據(jù)的速度。
早在1980年,著名未來學家阿爾文·托夫勒便在《第三次浪潮》一書中,將大數(shù)據(jù)熱情地贊頌為“第三次浪 潮的華彩樂章”。不過,大約從2009年開始,“163大數(shù)據(jù)”才成為互聯(lián)網(wǎng)信息技術行業(yè)的流行詞匯。美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出,互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長50%,每兩年便將翻一番,而目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外,數(shù)據(jù)又并非單純指人們在互聯(lián)網(wǎng)上發(fā)布的信息,全世界的工業(yè)設備、汽車、電表上有著無數(shù)的數(shù)碼傳感器,隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質(zhì)的變化,也產(chǎn)生了海量的數(shù)據(jù)信息。
大數(shù)據(jù)技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵,在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。
大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已,沒有必要神話它或?qū)λ3志次分?,在以云計算為代表的技術創(chuàng)新大幕的襯托下,這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了,通過各行各業(yè)的不斷創(chuàng)新,大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。
第四篇:大數(shù)據(jù)時代
《大數(shù)據(jù)時代》讀書筆記
作者:邁爾舍恩伯格
出版發(fā)行:浙江人民出版社
版次:2013年1月第一版
讀者:物流一班、時菲陽
一、作者觀點
谷歌有一個名為“谷歌流感趨勢”的工具,它通過跟蹤搜索詞相關數(shù)據(jù)來判斷全美地區(qū)的流感情況。這就是一個典型的“大數(shù)據(jù)”的應用例子,舍恩伯格的這本《大數(shù)據(jù)時代》受到了廣泛的贊譽,他本人也因此書被視為大數(shù)據(jù)領域中的領軍人物。
作者提出了三點結(jié)論:第一,要盡可能分析事物相關的“全部”數(shù)據(jù),而不是之前的隨機抽樣,即“樣本=總體”。第二,要樂于接受數(shù)據(jù)的繁雜,而不應過分追求其精確性。第三,重視大數(shù)據(jù)呈現(xiàn)的“相關關系”,而不要執(zhí)于探索事物間的因果關系。
二、摘抄:
在甲型H1N1流感爆發(fā)的幾周前,互聯(lián)網(wǎng)巨頭谷歌公司的工程師們在《自然》雜志上發(fā)表了一篇引人注目的論文。它令公共衛(wèi)生官員們和計算機科學家們感到震驚。文中解釋了谷歌為什么能夠預測冬季流感的傳播:不僅是全美范圍的傳播,而且可以具體到特定的地區(qū)和州。谷歌通過觀察人們在網(wǎng)上的搜索記錄來完成這個預測,而這種方法以前一直是被忽略的。谷歌保存了多年來所有的搜索記錄,而且每天都會收到來自全球超過30億條的搜索指令,如此龐大的數(shù)據(jù)資源足以支撐和幫助它完成這項工作。
發(fā)現(xiàn)能夠通過人們在網(wǎng)上檢索的詞條辨別出其是否感染了流感后,谷歌公司把五千萬條美國人最頻繁檢索的詞條和美國疾控中心在03年至08年間季節(jié)性流感傳播時期的數(shù)據(jù)進行了比較。其他公司也曾試圖確定這些相關的詞條,但是他們?nèi)狈ο窆雀韫疽粯育嫶蟮臄?shù)據(jù)資源、處理能力和統(tǒng)計技術。
雖然谷歌公司的員工猜測,特定的檢索詞條是為了在網(wǎng)絡上得到關于流感的信息,如“哪些是治療咳嗽和發(fā)熱的藥物”,但是找出這些詞條并不是重點,他們也不知道哪些詞條更重要,更關鍵的是,他們建立的系統(tǒng)并不依賴于這樣的語義理解。他們設立的這個系統(tǒng)唯一關注的就是特定檢索詞條的頻繁使用與流感在時間和空間上的傳播之間的聯(lián)系。谷歌公司為了測試這些檢索詞條,總共處理了4.5億個不同的數(shù)字模型。在將得出的預測與07年、08年美國疾控中心記錄的實際流感病例進行對比后,谷歌公司發(fā)現(xiàn),他們的軟件發(fā)現(xiàn)了45條檢索詞條的組合,一旦將它們用于一個數(shù)學模型,他們的預測與官方數(shù)據(jù)的相關性高達97%。和疾控中心一樣,他們也能判斷出流感是從哪里傳播出來的,而且他們的判斷非常及時,不會像疾控中心一樣要在流感爆發(fā)一兩周之后才可以做到。
所以,09年甲型H1N1流感爆發(fā)的時候,與習慣性滯后的官方數(shù)據(jù)相比,谷歌成為了一個更有效、更及時的指示標。公共衛(wèi)生機構(gòu)的官員獲得了非常有價值的數(shù)據(jù)信息。驚人的是,谷歌公司的方法甚
至不需要分發(fā)口腔試紙和聯(lián)系醫(yī)生——它是建立在大數(shù)據(jù)的基礎之上的。這是當今社會所獨有的一種新型能力:以一種前所未有的方式,通過對海量數(shù)據(jù)進行分析,獲得有巨大價值的產(chǎn)品和服務,或深刻的洞見?;谶@樣的技術理念和數(shù)據(jù)儲備,下一次流感來襲的時候,世界將會擁有一種更好的預測工具,以預防流感的傳播。
三、感想:
看完本書有如下感想:
首先,作者站在理論的制高點上,條理清楚地闡述了大數(shù)據(jù)對人類的工作、生活、思維帶來的革新,大數(shù)據(jù)時代的三種典型的商業(yè)模式,以及大數(shù)據(jù)時代對于個人隱私保護、公共安全提出的挑戰(zhàn)。其次,文中的事例貼近現(xiàn)實生活,貼近時代,令讀者既印象深刻,又感同身受。此外,作者沒有使用大量的專業(yè)術語,沒有假裝一副專業(yè)的面孔??v觀全書,遣詞造句,均通俗易懂。
其次,作者認為大數(shù)據(jù)時代具有三個顯著特點。
一、人們研究與分析某個現(xiàn)象時,將使用全部數(shù)據(jù)而非抽樣數(shù)據(jù);
二、在大數(shù)據(jù)時代,不能一味地追求數(shù)據(jù)的精確性,而要適應數(shù)據(jù)的多樣性、豐富性、甚至要接受錯誤的數(shù)據(jù)。
三、了解數(shù)據(jù)之間的相關性,勝于對因果關系的探索?!笆鞘裁础北取盀槭裁础敝匾?。
最后,作者指出,隨著技術的發(fā)展,數(shù)據(jù)的存儲與處理成本顯著降低,人們現(xiàn)在有能力從支離破碎的、看似毫不相干的數(shù)據(jù)礦渣中抽煉出真知爍見。在大數(shù)據(jù)時代,三類公司將成為時代的寵兒。一是擁有大數(shù)據(jù)的公司與組織。如政府、銀行、電信公司、全球性互聯(lián)網(wǎng)公
司(阿里巴巴、淘寶網(wǎng))。二是擁有數(shù)據(jù)分析與處理技術的專業(yè)公司,如亞馬遜、谷歌。三是擁有創(chuàng)新思維的公司,他們可能既不掌握大數(shù)據(jù),也沒有專業(yè)技術,但卻擅長使用大數(shù)據(jù),從大數(shù)據(jù)中找到自己的理想天地。
第五篇:大數(shù)據(jù)時代讀后感
《大數(shù)據(jù)時代》讀后感
看完“《大數(shù)據(jù)時代》——生活、工作與思維的大變革”,頗為感慨,這世界變化真的快!農(nóng)業(yè)化、工業(yè)化、信息化時代的相繼經(jīng)歷,使得世界天翻地覆。
我們不再熱衷于尋找因果關系,而應該尋找事物之間的相關關系。這個命題是我讀這本書最大的感觸。個人認為也是這本書最核心的思想。首先,書提出一個顛覆我以前認知的命題--“并非原子而是信息才是一切的本源”,將世界看做信息,看做可以理解的數(shù)據(jù)的海洋,為我們提供了一個從未有過的審視下的視角。它是一種可以滲透到所有生活領域的世界觀。這個命題是在書的最后一部分中的某一段中描寫的。我之所以把它放在最前面來講,因為我覺得,這是談數(shù)據(jù)化世界的前提,自然也是談論大數(shù)據(jù)的前提。書的中間部分有一節(jié)講到數(shù)據(jù)化和數(shù)字化的區(qū)別。經(jīng)過我自己腦子的整理,把數(shù)據(jù)化世界這個命題列為大數(shù)據(jù)思維的第二步。寫到這里,我不由得反省下,我是不是有領悟到書的精髓所在,就是第一句話。書中另一個吸引我的地方就是,有很多觀點的論述,會從哲學的高度論述。雖然,自己肚子沒多少墨水,但是讀這些描述的時候,就會發(fā)現(xiàn)自己會更好的理解作者提出的命題。比如書中有一段文字
當我們說人類是通過因果關系了解世界時,我們指的是我們再理解和解釋世界各種現(xiàn)象時使用的兩種基本方法:一種是通過快速、虛幻的因果關系,還有一種就是通過緩慢、有條不紊的因果關系。大數(shù)據(jù)會改變這兩種基本方法在我們認識世界時所扮演的角色。
在附上一些事例的時候,用作者提供的“本質(zhì)”去看待時,很容易理解,確實是這么回事。好了,那么大數(shù)據(jù)到底改變了我們什么呢,作者給出3點,大數(shù)據(jù)的精髓在于我們分析信息時的三個轉(zhuǎn)變,這些轉(zhuǎn)變講改變我們理解和組建社會的方法。
第一個轉(zhuǎn)變就是,在大數(shù)據(jù)時代,我們可以分析更多的數(shù)據(jù),有時候甚至可以處理和某個特別現(xiàn)象相關的所有數(shù)據(jù),而不再依賴于隨機采樣(樣本=總體)
第二個轉(zhuǎn)變就是,研究數(shù)據(jù)如此之多,以至于我們不再熱衷于追求精確度
第三個轉(zhuǎn)變因前兩個轉(zhuǎn)變而促成,即我們不再熱衷于尋找因果關系,而應該尋找事物之間的相關關系。大數(shù)據(jù)告訴我們“是什么”而不是“為什么”。在大數(shù)據(jù)時代,我們不必知道現(xiàn)象背后的原因,我們只要讓數(shù)據(jù)自己發(fā)聲。
正如大家所知道的那樣,人類的大腦具備這樣的功能,它會把新輸入的刺激或信息與“過去的經(jīng)驗或積累的部分知識”相對照,然后進行調(diào)整并接受下來。如果眼前新的現(xiàn)實與大腦中儲存的固有信息無法協(xié)調(diào),便會在無意識中拒絕接受新的現(xiàn)實;或者通過自己一知半解的知識任意推測,使自己認識到的情況偏離實際。這是人的一種本能,目的在于使自己保持冷靜。所以作者稱之為revolution。
講了這么多,那么大數(shù)據(jù)到底給我們帶來什么。在這里,我只想談我感觸最深的,其他的有興趣的可以自己去了解。當然,書中提了很多,最多的就是,XXX公司或者個人利用大數(shù)據(jù)創(chuàng)造了多大的財富了,拋開這些表面的不說,最讓我動心亦或者是害怕的是---預測。
大數(shù)據(jù)的核心就是預測。它通常被視為人工智能的一部分,或者更確切地說,被視為一種機器學習。但是這種定義是有誤導性的。大數(shù)據(jù)不是要教機器像人一樣思考。相反,它是把數(shù)學算法運用到海量的數(shù)據(jù)上來預測事情發(fā)生的可能性。一封郵件被作為垃圾郵件過濾掉的可能性,輸入的“teh”應該是“the”的可能性,從一個人亂穿馬路時行進的軌跡和速度來看他能及時穿過馬路的可能性,都是大數(shù)據(jù)可以預測的范圍。當然,如果一個人能及時穿過馬路,那么他亂穿馬路時,車子就只需要稍稍減速就好。但是這些預測系統(tǒng)之所以能夠成功,關鍵在于它們是建立在海量數(shù)據(jù)的基礎之上的。此外,隨著系統(tǒng)接收到的數(shù)據(jù)越來越多,通過記錄找到的最好的預測與模式,可以對系統(tǒng)進行改進。
在不久的將來,世界許多現(xiàn)在單純依靠人類判斷力的領域都會被計算機系統(tǒng)所改變甚至取代。計算機系統(tǒng)可以發(fā)揮作用的領域遠遠不止駕駛和交友,還有更多更復雜的任務。別忘了,亞馬遜可以幫我們推薦想要的書,谷歌可以為關聯(lián)網(wǎng)站排序,facebook知道我們的喜好,而linkedin可以猜出我們認識誰。當然,同樣的技術也可以運用到疾病診斷、推薦治療措施,甚至是識別潛在犯罪分子上。
就像互聯(lián)網(wǎng)通過給計算機添加通信功能而改變了世界,大數(shù)據(jù)也將改變我們生活中最重要的方面,因為它為我們的生活創(chuàng)造了前所未有的可量化的維度。大數(shù)據(jù)已經(jīng)成為了新發(fā)明和新服務的源泉,而更多的改變正蓄勢待發(fā)。
這是大數(shù)據(jù)帶來最核心的東西,動心的理由無須贅述,計算機會告訴你什么時候買什么雙色球可以中頭獎,想想心里是不是有一點小激動咧。當然這只是我打的一個比較夸張的比喻。至于害怕呢,書中有段話我很喜歡
公平正義的基礎是人只有做了某事才需要對它負責,畢竟,想做而未做不是犯罪,社會關系于個人責任的基本信條是,人為其選擇的行為承擔責任。如果大數(shù)據(jù)分析完全準確,那么我們的未來會被精準的預測,因此在未來,我們不僅會失去選擇的權(quán)利,而且會按照預測去行動。如果精準的預測成為現(xiàn)實的話,我們也就失去了自由意志,失去了自由選擇的權(quán)利。既然我們別無選擇,那么我們也就不需要承擔責任。這不是很諷刺嗎。
扯到這里,順便扯一下,書中另一段關于自由意志的描述
在哲學界,關于因果關系是否存在的爭論已經(jīng)持續(xù)了幾個世紀。畢竟,如果凡事皆有因果的話,那么我們就沒有決定任何事的自由了。如果說我們做的每一個決定或者每一個想法都是其他事情的結(jié)果。而這個結(jié)果又是由其他原因?qū)е碌?。以此循環(huán)往復,那么就不存在人的自由意志這一說了。----所有的生命軌跡都只是受因果關系的控制了。因此,對于因果關系在世間所扮演的角色,哲學家們爭論不休,有時他們認為,這是與自由意志相對立。
書中舉了個例子,舉了部電影《少數(shù)派報告》,當我看到這里的時候,“哎喲,我居然看過這部電影,想想心里還是有點小激動”,有興趣的可以去看下,大概就是講警察通過預測來提前抓捕犯人,不過不是通過大數(shù)據(jù),是通過超人類的方式。當你什么舉動都可以被預測,相當于你完全暴露在太陽光下,換成你,你害怕不。
最后,附上兩段結(jié)語,一段是書中的一段話,另一段是我自己瞎編的大數(shù)據(jù)并不是一個充斥著算法和機器的冰冷世界,人類的作用依然無法被完全替代。大數(shù)據(jù)為我們提供的不是最終答案,只是參考答案,幫助是暫時的,而更好的方法和答案還在不久的未來。
大數(shù)據(jù)終將會影響到我們,也像其他技術一樣會是一把雙刃劍,用得好,動心,濫用,害怕。如同核技術一樣,用的話,造福地球,濫用,給個金剛石地球你,照樣爆。我相信,未來的大數(shù)據(jù)的發(fā)展會如作者所說的,是一場生活、工作與思維的革命。
無論如何,大家看到這四個是不是有種,不管我上面扯得有沒有道理,通不通順,下面的話,會很有道理的樣子的錯覺(抄襲于《棟篤笑》)OK,無論如何,日子還是得照過。施主,我看你骨骼驚奇,是個練武奇才,最后送上《九陽神功》心法,以后維護世界和平的重任就交給你了。
他強由他強,清風撫山岡。
他橫由他橫,明月照大江。
他自狠來他自惡,我自一口真氣足。
無處不在的大數(shù)據(jù):各種云計算,谷歌的神通,亞馬遜的推送,天涯人肉,微博萬能等等等等,我們掌握了新的工具,也獲取了以前從未有過的各種信息。大數(shù)據(jù)拉近了我們與現(xiàn)實的距離,“地球村”變成了“地球屋”,仿佛所有人所有事物都觸手可及,而這些牛逼哄哄的互聯(lián)網(wǎng)巨頭就在客廳展示著世界的每一寸光景。
然而,事實真的是這樣嗎?首先,從應用角度出發(fā),低廉的運算能力和存儲空間,讓以前的樣本分析顯得非常簡陋——一些從全體數(shù)據(jù)挖掘出來,忽略精確而從大量數(shù)據(jù)的簡單算法得出來的結(jié)論顛覆了常識。但個人覺得,這只是統(tǒng)計學的終極目標——并沒有非常大的跨越,可能終結(jié)了回歸分析,有效性驗證等手段,但依舊還是統(tǒng)計。而革命性在于關注相關關系而非因果關系?,F(xiàn)場討論從神學角度挑戰(zhàn)了因果關系的不可能——或者說人類用簡單思考的邏輯來定義因果,以及用之前小數(shù)據(jù)演繹出大概率事件來推導因果,都是不正確的。真正的因果關系應該屬于上帝的范疇,人類如果真的完全掌握之后,會統(tǒng)治整個宇宙。但我覺得,無需從神學觀點來討論,而可以借鑒量子力學對經(jīng)典力學的顛覆——在原子層面上,經(jīng)典力學會失效——那么在大數(shù)據(jù)層面上,普通的抽樣調(diào)查直觀反映會失效。而且從量子力學角度是很難推導經(jīng)典力學的公式,那么從現(xiàn)在的慣有思維,也難以推導出大數(shù)據(jù)的因果關系。同時現(xiàn)場有討論,是否計算機可以精確地模擬每個原子,然后完整地展現(xiàn)微觀到宏觀的化學反應細節(jié)?我覺得首先是計算能力不足,其次即便設定原子的運動條件真的正確,計算結(jié)果未知但宏觀結(jié)果我們卻已經(jīng)知道——牛頓的經(jīng)典力學足以應付日常絕大部分情況了。好比切西瓜,究竟刀頭的鐵原子和西瓜的有機分子如何作用,真的重要嗎?回歸到商業(yè)領域,如果我們可以提高相關性的準確度,從而提高投入效率,那就已經(jīng)足夠了。本來一個產(chǎn)品受到一半客戶喜歡,但如果通過大數(shù)據(jù)挖掘到更好的定位,有百分之八十的客戶喜歡,那么價值已經(jīng)非??捎^了。
大數(shù)據(jù)幫助我們把未來的迷霧撥開了一點,但好比《沉重的肉身》當中討論的,更多的選擇權(quán)并不能帶給人幸?!驗橹雷约翰荒茏霾荒艿玫降囊哺嗔?。解決工作模式,生存意義,幸福之道等問題,關鍵還是看自己如何看待和使用這些新式工具以及新結(jié)論。引用《神探伽利略》里面的臺詞:可被重復的,一定有道理存在。那么現(xiàn)在重復的越來越多,更需要保持探索和敬畏之心,人才不會迷路。