第一篇:讀《大數(shù)據(jù)時代》有感
數(shù)據(jù)的故事
——讀《大數(shù)據(jù)時代》有感
信息時代的到來,我們感受到的是技術(shù)變化日新月異,隨之而來的是生活方式的轉(zhuǎn)變??我們這樣評論著的信息時代已經(jīng)變?yōu)樵?jīng)。如今,大數(shù)據(jù)時代成為炙手可熱的話題。筆者在這說明信息和數(shù)據(jù),只是試圖首先說明信息、數(shù)據(jù)的關(guān)系和不同,也試圖說明,為什么信息時代轉(zhuǎn)變?yōu)榱舜髷?shù)據(jù)時代?大數(shù)據(jù)時代帶給了我們什么?
信息和數(shù)據(jù)的定義。維基百科解釋:信息,又稱資訊,是一個高度概括抽象概念,是一個發(fā)展中的動態(tài)范疇,是進行互相交換的內(nèi)容和名稱,信息的界定沒有統(tǒng)一的定義,但是信息具備客觀、動態(tài)、傳遞、共享、經(jīng)濟等特性卻是大家的共識。數(shù)據(jù):或稱資料,指描述事物的符號記錄,是可定義為意義的實體,它涉及到事物的存在形式。它是關(guān)于事件之一組離散且客觀的事實描述,是構(gòu)成信息和知識的原始材料。數(shù)據(jù)可分為模擬數(shù)據(jù)和數(shù)字數(shù)據(jù)兩大類。數(shù)據(jù)指計算機加工的“原料”,如圖形、聲音、文字、數(shù)、字符和符號等。從定義看來,數(shù)據(jù)是原始的處女地,需要耕耘。信息則是已經(jīng)處理過的可以傳播的資訊。信息時代依賴于數(shù)據(jù)的爆發(fā),只是當(dāng)數(shù)據(jù)爆發(fā)到無法駕馭的狀態(tài),大數(shù)據(jù)時代應(yīng)運而生。這是否是《大數(shù)據(jù)時代》一書所未曾闡述的背景材料?
在《大數(shù)據(jù)時代》一書中,大數(shù)據(jù)時代與小數(shù)據(jù)時代的區(qū)別:
1、思維慣例。大數(shù)據(jù)時代區(qū)別與轉(zhuǎn)變就是,放棄對因果關(guān)系的渴求,而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”,而不需要知道“為什么”。作者語言絕對,卻反思其本質(zhì)區(qū)別。數(shù)據(jù)的更多、更雜,導(dǎo)致應(yīng)用主意只能盡量觀察,而不是傾其所有進行推理?這也是明智之舉
2、使用用途。小數(shù)據(jù)停留在說明過去,大數(shù)據(jù)用驅(qū)動過去來預(yù)測未來。筆者認為數(shù)據(jù)的用途意在何為,與數(shù)據(jù)本身無關(guān),而與數(shù)據(jù)的解讀者有關(guān),而相關(guān)關(guān)系更有利于預(yù)測未來。
3、結(jié)構(gòu)。大數(shù)據(jù)更多的體現(xiàn)在海量非結(jié)構(gòu)化數(shù)據(jù)本身與處理方法的整合。大數(shù)據(jù)更像是理論與現(xiàn)實齊頭并進,理論來創(chuàng)立處理非結(jié)構(gòu)化數(shù)據(jù)的方法,處理結(jié)果與未來進行驗證。
4、分析基礎(chǔ)。大數(shù)據(jù)是在互聯(lián)網(wǎng)背景下數(shù)據(jù)從量變到質(zhì)變的過程。筆者認為,小數(shù)據(jù)時代也即是信息時代,是大數(shù)據(jù)時代的前提,大數(shù)據(jù)時代是升華和進化,本質(zhì)是相輔相成,而并非相離互斥。數(shù)據(jù)未來的故事。數(shù)據(jù)的發(fā)展,給我們帶來什么預(yù)期和啟示?銀行業(yè)天然有大數(shù)據(jù)的潛質(zhì)??蛻魯?shù)據(jù)、交易數(shù)據(jù)、管理數(shù)據(jù)等海量數(shù)據(jù)不斷增長,海量機遇和挑戰(zhàn)也隨之而來,適應(yīng)變革,適者生存。我們可以有更廣闊的業(yè)務(wù)發(fā)展空間、可以有更精準的決策判斷能力、可以有更優(yōu)秀的經(jīng)營管理能力??可以這些都基于數(shù)據(jù)的收集、整理、駕馭、分析能力,基于脫穎而出的創(chuàng)新思維和執(zhí)行。因此,建設(shè)“數(shù)據(jù)倉庫”,培養(yǎng)“數(shù)據(jù)思維”,養(yǎng)成“數(shù)據(jù)治理”,創(chuàng)造“數(shù)據(jù)融合”,實現(xiàn)“數(shù)據(jù)應(yīng)用”才能擁抱“大數(shù)據(jù)”時代,從數(shù)據(jù)中攫取價值,笑看風(fēng)云變換,穩(wěn)健贏取未來。
馮凱旋
第二篇:讀大數(shù)據(jù)時代有感
讀《大數(shù)據(jù)時代》有感
15級會計ACCA 班 201526909019 李佳凌
《大數(shù)據(jù)時代》是國外大數(shù)據(jù)研究的先河之作,該書作者維克托?邁爾?舍恩伯格被譽為?大數(shù)據(jù)商業(yè)應(yīng)用第一人?,擁有在哈佛大學(xué)、牛津大學(xué)、耶魯大學(xué)和新加坡國立大學(xué)等多個互聯(lián)網(wǎng)研究重鎮(zhèn)任教的經(jīng)歷。讀完這本書后我有著非常深的感悟。
維克托?邁爾?舍恩伯格在書中前瞻性地指出,大數(shù)據(jù)帶來的信息風(fēng)暴正在變革我們的生活、工作和思維,大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型,并用三個部分講述了大數(shù)據(jù)時代的思維變革、商業(yè)變革和管理變革。維克托?邁爾?舍恩伯格最具洞見之處在于,他明確指出,大數(shù)據(jù)時代最大的轉(zhuǎn)變就是,放棄對因果關(guān)系的渴求,而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道?是什么?,而不需要知道?為什么?。這就顛覆了千百年來人類的思維慣例,對人類的認知和與世界交流的方式提出了全新的挑戰(zhàn)。如今,數(shù)據(jù)已經(jīng)成為一種商業(yè)資本,一項重要的經(jīng)濟投入,可以創(chuàng)造新的經(jīng)濟利益。
大數(shù)據(jù)的精髓在于我們分析信息時的三個轉(zhuǎn)變,這些轉(zhuǎn)變將改變我們理解和組建社會的方法。第一個轉(zhuǎn)變就是,在大數(shù)據(jù)時代,我們可以分析更多的數(shù)據(jù),有時候甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù),而不再依賴于隨機采樣。第二個改變就是,研究數(shù)據(jù)如此之多,以至于我們不再熱衷于追求精確度。第三個轉(zhuǎn)變因前兩個轉(zhuǎn)變而促成,即我們不再熱衷于尋找因果關(guān)系。尋找因果關(guān)系是人類長久以來的習(xí)慣。即使確定因果關(guān)系很困難而且用途不大,人類還是習(xí)慣性地尋找緣由。相反,在大數(shù)據(jù)時代,我們無須再緊盯事物之間的因果關(guān)系,而應(yīng)該尋找事物之間的相關(guān)關(guān)系,這會給我們提供非常新穎且有價值的觀點。相關(guān)關(guān)系也許不能準確地告知我們某件事情為何會發(fā)生,但是它會提醒我們這件事情正在發(fā)生。
大數(shù)據(jù)的相關(guān)關(guān)系分析法更準確、更快,而且不易受偏見的影響。建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心。一個東西要出故障,不會是瞬間的,而是慢慢地出問題的。通過收集所有的數(shù)據(jù),我們可以預(yù)先捕捉到事物要出故障的信號,比方說發(fā)動機的嗡嗡聲、引擎過熱都說明它們可能要出故障了。系統(tǒng)把這些異常情況與正常情況進行對比,就會知道什么地方出了毛病。通過盡早地發(fā)現(xiàn)異常,系統(tǒng)可以提醒我們在故障之前更換零件或者修復(fù)問題。通過找出一個關(guān)聯(lián)物并監(jiān)控它,我們就能預(yù)測未來
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展成熟,傳統(tǒng)行業(yè)不斷感受到來自大數(shù)據(jù)、云計算等新技術(shù)的沖擊,這些新技術(shù)意味著游戲規(guī)則的改變,大數(shù)據(jù)技術(shù)對各行各業(yè)的發(fā)展的影響尤為顯著。人們對大數(shù)據(jù)的探討越來越深入,興趣也越來濃厚。
舍恩伯格分三部分來討論大數(shù)據(jù),即思維變革、商業(yè)變革和管理變革。在第一部分?大數(shù)據(jù)時代的思維變革?中,舍恩伯格旗幟鮮明的亮出他的三個觀點:
一、更多:不是隨機樣本,而是全體數(shù)據(jù);
二、更雜:不是精確性,而是混雜性;
三、更好:不是因果關(guān)系,而是相關(guān)關(guān)系。
維基百科說大數(shù)據(jù)由巨型數(shù)據(jù)集組成,這些數(shù)據(jù)集大小常超出常用軟件在可接受時間下的收集、運用、管理和處理能力,或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料,大數(shù)據(jù)的常見特點是3V:Volume、Velocity、Variety。但是通過閱讀,我了解到規(guī)模巨大的數(shù)據(jù)未必就是大數(shù)據(jù)。比如伯努利實驗,隨著實驗次數(shù)的無限增加,頻率將趨近去概率,但這只能說是統(tǒng)計學(xué)或者是概率學(xué),而不是大數(shù)據(jù)。將這一概率引入金融學(xué)、天文學(xué)、地理學(xué)等等領(lǐng)域,進而進行關(guān)聯(lián)研究,但是傳統(tǒng)的分析方法的時間是不允許這樣做的,這需要搞笑計算資源與能力,將處理結(jié)果迅速呈現(xiàn)出來。
大數(shù)據(jù)并不是指數(shù)據(jù)本身,而是一種思維方式。
?大數(shù)據(jù)不是要教機器像人一樣思考。相反,把數(shù)學(xué)算法運用到海量的數(shù)據(jù)上來預(yù)期事情發(fā)生的可能性。?大數(shù)據(jù)令人著迷之處還在于,它正在嘗試著引導(dǎo)人們用科學(xué)的辦法對?預(yù)測?挑戰(zhàn)。作者引用了安德森的觀點?現(xiàn)在已經(jīng)是一個有海量數(shù)據(jù)的時代,應(yīng)用數(shù)學(xué)已經(jīng)取代了其他的所有學(xué)科工具,而且只要數(shù)據(jù)足夠,就能說明問題?。
大數(shù)據(jù)研究的一大驅(qū)動力就是商用,舍恩伯格在第二部分里討論了大數(shù)據(jù)時代的商業(yè)變革。而要為商業(yè)所用,第一從原始數(shù)據(jù)采集、數(shù)據(jù)清洗整合到構(gòu)建模型分析、形成可顯示化結(jié)果,整個流程必須連貫起來;第二,大數(shù)據(jù)產(chǎn)業(yè)化,技術(shù)成熟。
而國內(nèi)目前的情況是,傳統(tǒng)企業(yè)的流程分割化現(xiàn)象嚴重,就數(shù)據(jù)采集方面來說,因內(nèi)部是各個孤立的系統(tǒng)而產(chǎn)生信息孤島現(xiàn)象,又或者是數(shù)據(jù)采集過于片面。
所以傳統(tǒng)行業(yè)能夠運用大數(shù)據(jù)技術(shù)創(chuàng)造更大的商業(yè)價值的前提是實現(xiàn)信息化、數(shù)字化,并且要有新的思維,不論是公司高層還是底層(這就涉及到第三部分——管理變革)。此外,大叔級技術(shù)在國內(nèi)的發(fā)展不能說順利。首先國內(nèi)的大數(shù)據(jù)技術(shù)缺乏數(shù)據(jù)準備階段,這就使得發(fā)展大數(shù)據(jù)成為空話或者是說只是一種概念炒作,對比國外,沒有媒體刻意推進和炒作,只是在腳踏實地地研究,這樣出來的技術(shù)才可能是完美的成熟的。
要發(fā)展好大數(shù)據(jù),要利用大數(shù)據(jù)創(chuàng)造的價值,就要改變管理的思維方式,變革管理模式。運用大數(shù)據(jù)的企業(yè)要改變,研究開發(fā)大數(shù)據(jù)的企業(yè)也要改變。
維克托〃爾耶〃舍恩伯格在《大數(shù)據(jù)時代:生活、工作與思維的大變革》中最具洞見之處在于,他明確指出,大數(shù)據(jù)時代最大的轉(zhuǎn)變就是,放棄對因果關(guān)系的渴求,而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道?是什么?,而不需要知道?為什么?。這顛覆了千百年來人類的思維慣例,對人類的認知和與世界交流的方式提出了全新的挑戰(zhàn)。對于大數(shù)據(jù)(Big Data)的應(yīng)用,并不是他不想證明因果關(guān)系,而是并不能證明因果關(guān)系。由于大數(shù)據(jù)的收集方法和分析方法,在于把所有能收集的數(shù)據(jù)都收集,再集中分析,這種研究方法是缺乏時效性(temporality)的,所以,他并不能證明因果關(guān)系,只可以說明兩者的相關(guān)關(guān)系。
可是,對于事物發(fā)展的預(yù)測,有時,影響因素成千上萬,解釋的理論更加是多如牛毛。大數(shù)據(jù)改造了我們的生活,它能優(yōu)化、提高、高效化并最終捕捉住利益,那直覺、信仰、不確定性和創(chuàng)意還能扮演什么角色呢?就算大數(shù)據(jù)無法教會我們所有事情,只要能幫助我們表現(xiàn)更佳、更富效率、取得進步,就算缺乏深入理解也是很有用的了。一貫如是地堅持下去才有效力。即使你不明白為什么付出的努力得不到回報,但相比不努力,你要明白你已經(jīng)在改善事情的結(jié)局了。
有時候,當(dāng)我們掌握了大量新型數(shù)據(jù)時,精確性就不那么重要了,我們同樣可以掌握事情的發(fā)展趨勢。大數(shù)據(jù)不僅讓我們不再期待精確性,也讓我們無法實現(xiàn)精確性。然而,除了一開始會與我們的直覺相矛盾之外,接受數(shù)據(jù)的不精確和不完美,我們反而能夠更好地進行預(yù)測,也能夠更好地理解這個世界。
大數(shù)據(jù)并不是一個充斥著運算法則和機器的冰冷世界,其中仍需要人類扮演重要角色。人類獨有的弱點、錯覺、錯誤都是十分必要的,因為這些特性的另一頭牽著的是人類的創(chuàng)造力、直覺和天賦。偶爾也會帶來屈辱或固執(zhí)的同樣混亂的大腦運作,也能帶來成功,或在偶然間促成我們的偉大。這提示我們應(yīng)該樂于接受類似的不準確,因為不準確正是我們之所以為人的特征之一。
以上就是我的一些感悟,在大數(shù)據(jù)時代的背景下,我們應(yīng)該看到其更深層次的東西,抓住機遇迎接挑戰(zhàn),不斷進步。摘錄部分:
下面摘錄一部分我在知乎上看到的關(guān)于《大數(shù)據(jù)時代》的討論,網(wǎng)友提出的質(zhì)疑同樣值得我們深思。
作者:AndyHsu來源:知乎
鏈接:http://004km.cn/question/20666694/answer/18153613 花了三天的零碎時間大致看完了舍恩伯格的《大數(shù)據(jù)時代:生活、工作、思維的大變革》。我看推薦說這是?迄今為止最好的一本大數(shù)據(jù)專著?。目前公司在搞Hadoop、大數(shù)據(jù)應(yīng)用,外面各類零碎的資料也非常多,那么想我應(yīng)該去看一下這?最好?的專著吧。
一、主要觀點上可以探討的地方
作者提出了關(guān)于大數(shù)據(jù)的?擲地有聲?的三個原則。這三個原則凡講大數(shù)據(jù)必被提及,很多人奉為圭臬。但是我覺得每一點都值得探討。這三點分別是:不是隨機樣本,而是全體數(shù)據(jù);不是精確性,而是混雜性;不是因果關(guān)系,而是相關(guān)關(guān)系。
看完之后感覺都有點不是那么回事。1.不是隨機樣本,而是全體數(shù)據(jù)
這個說得好像人類從來就不知道使用全體數(shù)據(jù)可以得到更全面的結(jié)論,而非要去煞費苦心發(fā)展出一套抽樣技術(shù)一樣。人類早就知道處理全量數(shù)據(jù)的好處,而之所以要進行抽樣分析,原因不外乎兩點:一是處理能力跟不上,二是數(shù)據(jù)收集能力跟不上。作者認為人類之前主要受限于數(shù)據(jù)的處理能力而不去處理全量數(shù)據(jù),但在目前機器處理能力有了巨大的提升的時代,限制絕大多數(shù)應(yīng)用的瓶頸不是計算能力而是數(shù)據(jù)采集能力(不要去提那些極少數(shù)需要超級計算機的場合,那個和多數(shù)人無關(guān)、和本書的商業(yè)主題也無關(guān))。但是即便如此,抽樣所要針對的很多應(yīng)用場景是不太可能收集全量數(shù)據(jù)的情況。比如人口普查,無論計算機力量如何強大,當(dāng)前很多數(shù)據(jù)還是要人工去收集,所以這個普查還是要用抽樣的方式。有意思的是,作者用人口普查是抽樣分析來說明非?全量?時代我們被迫采用了抽樣,而最終也沒法說我們是否已經(jīng)可以用全量數(shù)據(jù)來做人口普查了。實際上至少在目前,對于人口普查,抽樣還是必然的選擇(嗯,你可以設(shè)想,以后人人都裝一塊芯片,你可以在你的PPT里講給你的客戶和老板聽)。再比如我們統(tǒng)計里的經(jīng)典問題:怎么估算一批零件的使用壽命?怎么去分析一批奶品里的三聚氰胺?以前我們不可能去做全量測試,因為這意味著這批零件就廢了,這批奶也全部用于測試了,這樣測出結(jié)果也沒啥意義了(嗯,你也可以說:我我們?nèi)ナ占瘹v史上所有此類零件的使用情況來進行分析吧.....嗯,加油吧,雄心勃勃的騷年)?,F(xiàn)在 ?我們還是必須依賴抽樣,是必須。
即便不提這些例子,僅從邏輯而言:收集、處理數(shù)據(jù)的行為本身也在不斷產(chǎn)生著新的數(shù)據(jù)。我們又怎么證明這些數(shù)據(jù)不是你需要的?全量?的一部分呢?
作者的行文中,關(guān)于什么是?全量?,處于不斷的搖擺之中。有時指?我們需要的所有數(shù)據(jù)?,有時指?我們能收集到的所有數(shù)據(jù)?。作者舉了人口普查的例子,這個全量顯然指前者。而在很多商業(yè)案例中,又顯然指后者。我們有能力處理越來越多的、在以前不敢想象的大量數(shù)據(jù),但是至少目前看,我們還沒可能說我們處理了?全量?。我們最多可以說我們能處理我們能搜集到的?全量?,但如果據(jù)此產(chǎn)生了我們已經(jīng)沒有遺漏數(shù)據(jù)了的感覺,認為所有數(shù)據(jù)盡在掌握了,那我認為是一種很可能導(dǎo)致錯誤的錯覺。
2.不是精確性,而是混雜性
這個么,說得好像以前的人類在使用?抽樣?數(shù)據(jù)時竟然都認為取到的數(shù)據(jù)是?精確?的一樣。在使用抽樣數(shù)據(jù)的時候,我們就知道要容忍一定的誤差。我們甚至知道在就算取得了?全樣?數(shù)據(jù)的時候,也可能因為有各種原因而導(dǎo)致的不精確,統(tǒng)計實踐中對此有相當(dāng)多的案例。人類從未奢望過我們通過數(shù)據(jù)分析取得的多數(shù)結(jié)論是精確的。我們從來都要在信息混雜的情況下做出大多數(shù)的決策。
3.不是因果關(guān)系,而是相關(guān)關(guān)系
這是很多人(包括作者)認為最有價值、最重大的發(fā)現(xiàn),而實際上卻也是最收到批評的一個觀點。連譯者周濤教授在序言里都表示看不下去了,他至于認為如果放棄對因果關(guān)系的分析,是人類的墮落。我不說這么高的哲學(xué)層面,只從邏輯和技術(shù)上討論一下。
計算機能夠提供給我們的結(jié)論(到目前為止以及在可見的未來),都是相關(guān)性。計算機從未提供過明確的因果關(guān)系給人類。是否因果關(guān)系,是人類在數(shù)據(jù)基礎(chǔ)上,進行的人為判斷。一直有相當(dāng)多的應(yīng)用,也是只考慮相關(guān)性,不考慮因果關(guān)系的:確定因果關(guān)系,是需要更大的精力、更多的投入的。所以只看相關(guān)性而不看因果性也不是什么新的結(jié)論(實際上已經(jīng)是個很舊的結(jié)論了)。而這個相關(guān)性是不是可以作為決策的基礎(chǔ)呢?這個一樣離不開人的判斷。有一個這樣的故事:通過大量的數(shù)據(jù)分析,慈善組織得出結(jié)論:一個國家、地區(qū)的電視機的普及率與發(fā)達富裕程度很有關(guān)系(冰箱、洗衣機、空調(diào)、高跟鞋、牛仔褲,etc.,也會和發(fā)達程度有這樣的相關(guān)性),于是他們就向貧困國家贈送了很多電視,認為此舉可以促進該國的經(jīng)濟發(fā)展。你可以鬼扯電視的普及與經(jīng)濟文化的密切相關(guān),但是實際上最終發(fā)現(xiàn)更可能是經(jīng)濟發(fā)展導(dǎo)致了電視的普及,而不是反過來。所以,我們真的不需要因果分析嗎?說得玩笑一點:這個世界真的不需要腦子了嗎?
作者舉了一個例子:谷歌分析搜索關(guān)鍵字來確定哪里可能發(fā)生了流行病。認為這就是利用了相關(guān)性而不是因果性。這是沒有利用因果判斷嗎?現(xiàn)在在投入巨大的機器資源進行分析之前,分析師已經(jīng)預(yù)計了得病的癥狀可能會導(dǎo)致人們?nèi)ゾW(wǎng)上進行相關(guān)搜索(影響了搜索行為)。谷歌存儲的用戶上網(wǎng)信息肯定遠遠不止一個搜索關(guān)鍵字,分析師為何不開足馬力把?全量?數(shù)據(jù)、各個指標都分析一遍呢?比如用戶上網(wǎng)地點?上網(wǎng)時間?上網(wǎng)頻率?上網(wǎng)語言?瀏覽器版本?客戶端操作系統(tǒng)?etc...為何會像導(dǎo)彈一樣精確地將機器資源投放到了關(guān)鍵字上呢?
總之,對于這些原則,作者為了顯出新意,說得過于絕對。而排除掉絕對的成分后,這些觀點也就不顯得是創(chuàng)新了。作者把三個數(shù)據(jù)分析人員一直秉持的原則,當(dāng)做全新的東西講了出來。時代在變化,我們或許應(yīng)該經(jīng)常重新審視這些原則,來確認自己的思想是不是僵化了、是不是過時了。我贊同作者重新審視這些看法,但是我覺得沒必要講得這么極端。
二、細節(jié)論據(jù)上可以探討的地方
除了三個大原則不足以令人完全信服,在一些細節(jié)上,作者的引證也不是很嚴謹。
如第51頁,對于拼寫檢查的算法的優(yōu)化。作者提到,通過輸入大量的數(shù)據(jù),4種常見語法檢查算法的準確率提高了很多,以此說明大數(shù)據(jù)發(fā)揮了作用。這確實是個很有啟發(fā)性的例子,可以去做更深入的分析和研究,但是.....僅僅4個例子,夠得出很有力的結(jié)論嗎?4個算法,作者沒注意到這是一個非常小的樣本嗎?不能因為這是4個用了大數(shù)據(jù)的采樣,就認為這是一個支持大數(shù)據(jù)的有力結(jié)論了吧。(順便我很想問問他們:為什么不測試個幾十上百的算法呢?是不是面對如此?大量?的計算,也只好折中選擇了一個抽樣的小樣本呢?甚至連樣本數(shù)量是否合格都顧不上了嗎?)
三、這本書有什么用處?
對于這樣的一本書,我不明白周濤教授在譯序里為什么要建議大家(以后)每個版本都應(yīng)該買一本。為什么要買?難道作者理清自己腦子的過程很值得我們關(guān)注嗎?
譯序里說:?作者渴求立言立說的野心?,但是我恐怕作者是達不到這個目標的。關(guān)于作者的簡介為:?《大數(shù)據(jù)時代》是國外大數(shù)據(jù)系統(tǒng)研究的先河之作,本書作者維克托〃邁爾〃舍恩伯格被譽為‘大數(shù)據(jù)商業(yè)應(yīng)用第一人’,....早在2010年就在《經(jīng)濟學(xué)人》上發(fā)布了長達14頁對大數(shù)據(jù)應(yīng)用的前瞻性研究。?
總體感覺是作者有很多想法,見識過很多案例(這些案例都豐富地體現(xiàn)在書中了,也很有參考價值)。但并非是一個曾經(jīng)和數(shù)據(jù)真正絞盡腦汁搏斗過的人(這是我瞎猜的,沒有考證過他的經(jīng)歷。考據(jù)者請不要告訴他做過什么咨詢案例,這離真正體會數(shù)據(jù)的折磨還很遠。)。
第183頁說道:?...執(zhí)行官們信任自己的直覺,所以由著它做決定。但是,隨著管理決策越來越受預(yù)測性分析和大數(shù)據(jù)分析的影響和控制,依靠直覺做決定的情況將會被徹底改變。..."真的會么?如果你面對某一家企業(yè)做咨詢,那可以這樣講。一種新技術(shù)的采用很有可能大幅提升企業(yè)的戰(zhàn)斗力,并超越競爭對手。但是作者是期望對行業(yè)立言的人,面對整個社會我們這樣講就不嚴謹了。引用一個例子:中國棋院的一次訓(xùn)練會后,總教頭馬曉春對隔天要去各自的母隊參加圍甲的棋手們說:祝大家周末取勝。棋手們笑了:我們只有一半的人能贏啊。同樣,如果大家都采用了大數(shù)據(jù)技術(shù),那么也總有企業(yè)要在競爭中落于下風(fēng)。而既然我們實際上無法真正分析?全量?數(shù)據(jù),那CEO們還是會有很大的決策空間,哪怕很多決策實際上?不科學(xué)?。最起碼,他們需要決定將有限的企業(yè)資源投入到對什么樣的大數(shù)據(jù)進行分析,并如何應(yīng)用分析出來的結(jié)果。嗯....我認為,這多少還是要依賴一些直覺的。
那么大家是否應(yīng)該看一下這本書呢?我的答案是應(yīng)該看一看。既然大數(shù)據(jù)是當(dāng)前的潮流、相關(guān)的研究/商務(wù)活動層出不窮,那么做IT工作、數(shù)據(jù)工作的人對于?最好的?專著無論如何都必須看一下。書中集中展示了很多案例,值得作為參考和啟發(fā)思維。此外,為了作為談資、為了在寫大數(shù)據(jù)PPT時有所依據(jù),大家也得看看這本書。根據(jù)場合不同,可以對里面的內(nèi)容復(fù)制粘貼、理解重寫。這些內(nèi)容,我相信買一版也就夠了。需要提醒PPT人員的是,演示前請想清楚如何回答可能被提及的質(zhì)疑。如果你對這本書的觀點都深信不疑,那么你將會遇到很多的質(zhì)疑。
第三篇:讀《大數(shù)據(jù)》時代有感
大數(shù)據(jù)時代——信息技術(shù)進行時
——讀《大數(shù)據(jù)時代》有感
2012年,出現(xiàn)在金融界人士、IT人士、甚至政界人士耳中最多的詞毫無疑問就是“大數(shù)據(jù)”,當(dāng)今社會,每天所產(chǎn)生的數(shù)據(jù)量是十分驚人的,各行各業(yè)都在產(chǎn)生龐大的數(shù)據(jù),金融、醫(yī)療、教育、政府、商業(yè)等等,每天所產(chǎn)生數(shù)據(jù)總量已經(jīng)不能用PB來計算,而是以EB、ZB為單位(1ZB=1024EB=1024×1024PB=1024×1024×1024TB=1024×1024×1024×1024GB)來計算,這個數(shù)據(jù)量是驚人的,但是對于人類來說,具有極其重要的意義。哲學(xué)里說,量變產(chǎn)生質(zhì)變,當(dāng)這個數(shù)據(jù)大到一定的程度時,必將對人類社會產(chǎn)生巨大的影響。被譽為“大數(shù)據(jù)商業(yè)應(yīng)用第一人”的英國人維克托·邁爾·舍恩伯格所著的《大數(shù)據(jù)時代》前瞻性地指出,大數(shù)據(jù)帶來的信息風(fēng)暴正在變革我們的生活、工作和思維,大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型,并用三個部分講述了大數(shù)據(jù)時代的思維變革、商業(yè)變革和管理變革。這本書帶給我的絕對是一種震撼!比如,關(guān)于思維變革,書中認為,大數(shù)據(jù)時代最大的轉(zhuǎn)變就是,放棄對因果關(guān)系的渴求,而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”,而不需要知道“為什么”。這就顛覆了千百年來人類的思維慣例,對人類的認知和與世界交流的方式提出了全新的挑戰(zhàn)。
大數(shù)據(jù)時代的到來,將不可能化為可能,比如阿里巴巴,依賴淘
寶等購物網(wǎng)站所產(chǎn)生的龐大數(shù)據(jù),準確預(yù)測未來商場趨勢,比如美國大選,依賴大數(shù)據(jù)準確預(yù)測最終結(jié)果。大數(shù)據(jù)已經(jīng)可以預(yù)見未來。
08年提出了云計算的概念,并在今年產(chǎn)生了豐富的應(yīng)用;12年提出了大數(shù)據(jù)的概念,并迅速在12年年底產(chǎn)生了實質(zhì)性的價值,信息技術(shù)之變化,快得令人咋舌。然而,作為傳承文化精髓的教師,對于信息技術(shù)又有多少研究呢?win8已經(jīng)出現(xiàn)在各種終端上,但是有很多老師仍然沉醉于叉p;office2013也出來了,但我們絕大多數(shù)老師仍然只會用office2003。許多老師嘴上說要與時俱進,但事實上,人類的惰性在他們身上體現(xiàn)得格外明顯。
再來說說云計算,其核心理念便是云存儲和云共享,2012年體現(xiàn)得格外明顯。且不說國外大公司推出的云服務(wù),如微軟的skydrive,僅僅在國內(nèi),就有許多大公司推出了各種云服務(wù),金山快盤、360云盤、百度云,這些產(chǎn)品,無一不體現(xiàn)云計算的核心理念。當(dāng)我開通了云服務(wù)之后,已經(jīng)深深感受到云計算所帶來的便利:百度云上,存儲了我N多的軟件、音樂、文檔、圖片;無論哪位朋友,需要我的某個文件,只需打開百度網(wǎng)盤,創(chuàng)建一個鏈接并發(fā)給他,他就能直接下載我存儲在云端的文件?,F(xiàn)在我一直在想,在這個云時代,還有必要購買優(yōu)盤、移動硬盤么?這些移動存儲設(shè)備,充其量只是方便我們在本地拷貝文件,異地傳輸,絕對是云的天下。
但是,有多少老師進入云端了呢?
思及這個問題,我感到深深的遺憾。中國教育為世人所詬病,教師自身難辭其咎!同時,對于負有教師培訓(xùn)重責(zé)的相關(guān)部門的不作為,表示深深的遺憾。
注:本文使用office2013寫成,存儲于skydrive(微軟云)。
第四篇:讀《數(shù)據(jù)資本時代》有感
讀《數(shù)據(jù)資本時代》有感
國民經(jīng)濟管理16 張琦
注:此為中央財經(jīng)大學(xué)陳運森老師 《高級財務(wù)管理》課程的學(xué)生作品
隨著時代的往前推進,我們逐漸向大數(shù)據(jù)資本時代邁進,隨著海量數(shù)據(jù)市場的出現(xiàn),貨幣體現(xiàn)信息的作用被海量數(shù)據(jù)替代,雖然貨幣的交易功能仍然保留,但貨幣的價值卻在貶值。這給市場和公司都帶來了不同的機遇和挑戰(zhàn),也就是經(jīng)濟的微觀和宏觀方面都將受到海量數(shù)據(jù)資本的沖擊。大數(shù)據(jù)時代下,未來市場、未來公司和未來的人類將何去何從;我們?nèi)绾巫钫_地迎接海量數(shù)據(jù)的挑戰(zhàn),這些問題或許沒有正確答案,但我們盡可能的了解大數(shù)據(jù)資本時代和我們自身的多樣性,可以做到的是“知已知彼,百戰(zhàn)不殆”.傳統(tǒng)市場與公司在數(shù)據(jù)資本時代的挑戰(zhàn)
古往今來,人類的合作方式是為了應(yīng)對資源稀缺的挑戰(zhàn),隨著溝通方式和信息流動方式而產(chǎn)生的,市場與公司順勢而生。傳統(tǒng)的市場與公司圍繞價格這個信息進行決策,不同的是市場進行的是分散決策,公司進行的是集中決策,圍繞價格,市場中不同個體之間,市場與公司之間,公司內(nèi)部完成一筆又一筆交易,人類的合作從而達成,人類依靠交易活動得到的物質(zhì)資本支持人類繼續(xù)下一輪的生產(chǎn)活動,交易活動和心靈求索活動。
但在復(fù)雜和不確定的環(huán)境和人類的理性下,傳統(tǒng)的市場和公司圍繞價格而得到的信息往往是十分不完備與不對稱的,因為價格可能解決了信息過量的問題,但它仍然讓我們做出了十分糟糕的選擇,我們對價格的執(zhí)著阻礙了市場發(fā)揮其最擅長的作用,即協(xié)調(diào)人類活動。
與市場不同的是,公司的原則是集中決策,在過去的經(jīng)驗中,公司內(nèi)部的信息被層層上傳由董事會做出決策,其決策層層下傳,層層執(zhí)行。隨著公司規(guī)模的增大,信息源源不斷地向權(quán)力中心移動,而權(quán)力中心的決策能力有限,決策水平的提高依靠的就是下放決策權(quán),制定標準決策指導(dǎo)方案然越來越多的人參與決策。這種傳統(tǒng)的層級管理結(jié)構(gòu)和有限的信息流動方式,使信息和決策在流動中受損。傳統(tǒng)資本市場在數(shù)據(jù)資本下毋庸置疑會面臨衰退,首當(dāng)其沖的就是銀行業(yè)。銀行業(yè)的信息不完備與不正確,數(shù)據(jù)資本帶來的未來將是經(jīng)濟繁榮發(fā)展而金融資本不再會繁榮。
在過去的市場和公司中,公司和市場的效率因此得到巨大的損失。但海量數(shù)據(jù)向資本市場的涌入,價格的信息作用被大數(shù)據(jù)替代,人們在各種類的交易中關(guān)注的不僅僅是價格,海量數(shù)據(jù)經(jīng)過專門的處理成為一種資本,不同產(chǎn)品與服務(wù)的種類在數(shù)據(jù)資本時代是明晰和容易比較的,因此所有類型的市場理應(yīng)得到重塑,從能源市場到運輸物流市場,從勞動力市場到醫(yī)療保健市場。公司傳統(tǒng)的層級管理結(jié)構(gòu)在海量數(shù)據(jù)的攻勢下也顯得太過封閉繁瑣和成本巨大,是時候迎接市場與公司在數(shù)據(jù)資本時代的變革了。
市場與公司在數(shù)據(jù)資本時代的變革
市場在數(shù)據(jù)資本時代顯得更加具有優(yōu)勢,因為信息創(chuàng)造市場,市場的基本原則是分散決策,海量數(shù)據(jù)已經(jīng)為整個市場帶來了效率的提高。以貨幣為基礎(chǔ)的傳統(tǒng)市場將無數(shù)個維度的信息壓縮成價格,而價格被賣家玩弄于股掌,通過各種各項的技巧欺騙買方,市場的負外部性得以體現(xiàn)。()但在大數(shù)據(jù)時代下,這個問題得到了解決,海量全面的數(shù)據(jù)替換了價格反映信息的作用,數(shù)據(jù)幫助市場參與者找到了更好的匹配項。同時,在海量信息的幫助下市場的分散決策體現(xiàn)了優(yōu)勢,海量數(shù)據(jù)呈現(xiàn)的市場決策分布傳遞出來的信息幫助我們幫助節(jié)省評估比較不同決策的時間,并且在市場分散決策和海量數(shù)據(jù)的影響下,錯誤決策的影響被減小。
傳統(tǒng)公司面對的挑戰(zhàn)是在貨幣市場轉(zhuǎn)化為海量數(shù)據(jù)市場的過程中,利用海量數(shù)據(jù)處理信息過載問題,減少決策數(shù)量。而遺憾的是,公司不會達到與市場一樣從海量數(shù)據(jù)市場中自然獲益的程度,而是需要順應(yīng)市場變革,創(chuàng)新管理制度來應(yīng)對挑戰(zhàn)。部分公司已經(jīng)預(yù)見了海量數(shù)據(jù)時代的大變革,并主動迎接變革,從目前來看他們主要采取兩種方式,一是實現(xiàn)決策自動化,以日本壽險巨頭富國生命保險為例,他們宣布將使用IBM開發(fā)的一款機器學(xué)習(xí)系統(tǒng)——沃森來評估保險理賠,從而理賠部裁員1/3;二是向企業(yè)組織結(jié)構(gòu)中引入市場DNA,以汽車制造公司帶戴姆勒為例,該公司宣布徹底重組公司結(jié)構(gòu),讓公司20%的員工脫離之前的體系到公司各部門之外運營,組成更靈活的團隊。
市場順應(yīng)數(shù)據(jù)資本時代是自然的、規(guī)律的,而公司應(yīng)自己選擇戰(zhàn)略進行驚險的生存實驗,從而使自己能在大數(shù)據(jù)時代生存下來。
市場與公司在數(shù)據(jù)資本時代的未來
海量數(shù)據(jù)并不是解決市場效率損失靈丹妙藥,它必須也要有標準和適用條件,使用不當(dāng)也會有及其巨大的副作用。為了使海量數(shù)據(jù)是可用的,數(shù)據(jù)資本在市場中運轉(zhuǎn)有三個必備條件:數(shù)據(jù)標注、個人匹配算法、機器學(xué)習(xí)。數(shù)據(jù)標注從“本體論”提出,問題的關(guān)鍵是確定正確本體,其主要目的是運用海量數(shù)據(jù)將產(chǎn)品的可發(fā)現(xiàn)率提高,.個人匹配算法依靠的原理是一個人不僅可以有多種偏好選擇,也可以用不同的方式衡量偏好,所以我們在衡量不同問題的偏好時,我們需要不同算法的匹配。機器學(xué)習(xí)是基于數(shù)據(jù)大規(guī)模訓(xùn)練以及隨之而來的自適應(yīng)反饋,與個性化學(xué)習(xí)相結(jié)合,激發(fā)市場顯著提高效率的潛能。每一項技術(shù)的進步,帶來的是低成本獲取海量、多維度的信息流并將信息自動化轉(zhuǎn)化為決策。
公司的發(fā)展卻不容樂觀,隨著算法的提升,決策層會一層一層的減少,效率會大幅度提升,公司的重要性也就會下降。在現(xiàn)階段公司為擁抱大數(shù)據(jù)時代而做出的改變來看,公司越來越可以依靠算法來實現(xiàn)決策自動化,工作程序也會由機器學(xué)習(xí)不斷地推進,公司的未來是與大數(shù)據(jù)和市場結(jié)合的,公司還會雇傭人類但其管理和運行主要由機器人操作完成,甚至公司會依賴市場機制運作。最終,人的作用只是協(xié)調(diào)市場機制,在我看來這是雖然高效但有些悲觀的。
我們何去何從
目前我們正處于海量數(shù)據(jù)市場的最初級階段,正如所有新鮮事物一樣,海量數(shù)據(jù)本身在帶來技術(shù)進步的同時,我們將擁有可以隨意支配的強大的海量數(shù)據(jù)系統(tǒng),這些系統(tǒng)幫助我們運用更少的資源花更少的時間,得到更好的匹配,效率紅利顯而易見,但是我們只是放棄一部分“無聊”的決策,專注于更重要的選擇,而將選擇的需求和選擇的快樂分開。在勞動力市場中,我們也可以利用海量數(shù)據(jù)選擇個人匹配算法為自己找到較適合的工作,不需要僅僅為自身的 “價格”,即工資所局限,工作的作用在支付賬單和提供個人滿足感之間得到平衡。海量數(shù)據(jù)市場是高效的,并一片光明。但隨著算法不停完備的個人數(shù)據(jù)的不斷完善,隨著數(shù)據(jù)資本時代的發(fā)展,數(shù)據(jù)的進一步運用是否會成為“潘多拉魔盒”?
值得關(guān)注的是從千禧年到現(xiàn)在,美國——發(fā)達國家的代表,無論是勞動參與者還是勞力收入份額都在不斷下降,在應(yīng)對海量數(shù)據(jù)時代,人類的作用似乎沒有算法多,即便是技術(shù)層面,需要創(chuàng)造力和人類選擇的數(shù)據(jù)標注工作在確定正確的本體所需要的人類創(chuàng)造新會更少,需要更多的是過硬的數(shù)據(jù)分析,數(shù)據(jù)本身將驅(qū)動數(shù)據(jù)本體,數(shù)據(jù)不需要了解人類,只用通過算法就可以替我們幾乎做任何選擇。這是否意味這我們將成為數(shù)據(jù)的奴隸,海量數(shù)據(jù)為我們發(fā)展帶來的沖擊不可忽視。
但人類與數(shù)據(jù)不同,我們有的是內(nèi)心求索活動,及自己思考的能力,我們知道自己想要做的是什么,人類是隨著時代進步不斷學(xué)習(xí)和改變的,只要我們愿意,人類的未來就是知識和充滿見解的,我們所要做的是通過不斷地運用數(shù)據(jù)使我們的未來更加社會化人性化,而不是讓數(shù)據(jù)支配我們的生活,使它變得冰冷又機械。
結(jié)語
在數(shù)據(jù)資本興起的今天我們作為其中的人類個體若不想被代替,不能只看自己“價格”,因為價格所反映的個人信息在海量數(shù)據(jù)的對比下,已經(jīng)是十分不全面的,只能說一項工作中的個人價值中的一部分是“價格”,個人價值應(yīng)該參考個人偏好、市場所需、公司制度等多方面于勞動力市場得到最佳匹配,否則隨著海量數(shù)據(jù)在人才高流動市場中發(fā)揮的作用,總有更匹配的人才。在面臨數(shù)據(jù)資本時代,作為一個不想被替代的人類本身,我認為我們并不是要不考慮自己的興趣所在而讓自己拼命在數(shù)據(jù)處理工作,算法開發(fā)工作占一席之地,但我知道自己以后所要從事的工作應(yīng)該是具有創(chuàng)造力且非機械化的。接受我們自身的多樣化,我們所擁有的就是更加獨立的發(fā)展。
第五篇:讀《大數(shù)據(jù)時代》有感800字
讀《大數(shù)據(jù)時代》有感800字
廣州風(fēng)神焊裝二科主拼A班 史偉
“大數(shù)據(jù)”聽起來已經(jīng)不是個新鮮詞匯了,在如今這個時代,毫無疑問的是,大數(shù)據(jù)技術(shù)的應(yīng)用已經(jīng)充斥在我們的生活之中了??梢哉f,我們已經(jīng)走引進了一個“大數(shù)據(jù)時代”.大數(shù)據(jù)分析極大的改變了我們解決問題的方式。所謂大數(shù)據(jù)是區(qū)別于傳統(tǒng)的僅取原數(shù)據(jù)的少量樣本進行分析的數(shù)據(jù)處理方式。大數(shù)據(jù)旨在對全部原數(shù)據(jù)進行分析與處理。但由于實際情況中的計算能力與時效性等客觀條件的限制,很多時候還不能實現(xiàn)“真正”的大數(shù)據(jù)分析。盡管如此,通過分析比以往更多的數(shù)據(jù),人們?nèi)匀话l(fā)現(xiàn)了看待事物與解決問題的新思路,而這些新思路正是大數(shù)據(jù)的主要價值與靈魂。
相信大家一定聽說過一種說法:“在大數(shù)據(jù)中,因果關(guān)系將不復(fù)存在?!笔聦嵣?,在一定程度上,這種說法是成立的,但不夠準確。因果關(guān)系不是消失不見了,只是它沒以前那么重要了。通過分析大數(shù)據(jù),人們找到了很多看似毫不相干的事物之間的相關(guān)關(guān)系,并且通常在其中得到了收益。顯然,這些相關(guān)關(guān)系是利用傳統(tǒng)的邏輯推理難以得出的。在這種情況中,不去探究因果關(guān)系,而僅僅利用分析得到的相關(guān)關(guān)系就可以達到目的。需要注意的是,雖然在這里并沒有得到因果關(guān)系,但并不是說無法推理得出;恰恰相反,當(dāng)?shù)弥讼嚓P(guān)關(guān)系后,更容易得到相對合理的因果關(guān)系。
“因果關(guān)系不如相關(guān)關(guān)系可靠。”在大數(shù)據(jù)的支持下,直接通過數(shù)據(jù)得到的相關(guān)關(guān)系能極大程度上代表事物的規(guī)律,也就是說準確率很高。但通過邏輯推理出的因果關(guān)系則常常會失誤,因為這本質(zhì)上是我們?yōu)榱私忉屖挛锼胂蟪鰜淼?。然而,發(fā)現(xiàn)因果關(guān)系仍然是相當(dāng)重要的,尤其是在各個領(lǐng)域的理論分析中,這樣可以使知識體系邏輯清晰且趨于完整。
書中舉例了大量大數(shù)據(jù)分析的實際應(yīng)用;例如通過機票的交易數(shù)據(jù)來預(yù)測最低票價出現(xiàn)的時間;通過搜索詞條發(fā)現(xiàn)傳染病的發(fā)生區(qū)域,從而控制疫情等。
大數(shù)據(jù)給我們的生活、工作與思維帶來的變革是巨大的,是機遇也是挑戰(zhàn)。隨著大數(shù)據(jù)的發(fā)展,許多行業(yè)將會發(fā)生改變,一些新的角色會加入,一些老的角色將被淘汰。抓住機會,積極改變才能乘風(fēng)破浪!