第一篇:云計(jì)算總結(jié)
云計(jì)算總結(jié)
(2009-10-22 00:02:46)轉(zhuǎn)載▼
標(biāo)簽: 分類: 教育技術(shù)學(xué)基礎(chǔ)云計(jì)算 理論
云計(jì)算是在網(wǎng)格計(jì)算之后06年開始流行起來的一個(gè)名詞,以下是我針對云計(jì)算的基本內(nèi)容做一個(gè)總結(jié):
一、云計(jì)算的概念:
到目前為止,云計(jì)算還沒有一個(gè)統(tǒng)一的定義。IBM,Google,Microsoft,SUN,Amazon等研究組織和相關(guān)廠家,依據(jù)各自的利益和各自不同個(gè)的研究視角都給出了對云計(jì)算的定義和理解。
IBM公司于2007年宣布了藍(lán)云計(jì)劃,在IBM的技術(shù)白皮書中“Cloud Computing”中云計(jì)算的定義如下:“云計(jì)算一詞用來同時(shí)描述一個(gè)系統(tǒng)平臺(tái)或者一種類型的應(yīng)用程序。一個(gè)云計(jì)算的平臺(tái)按需進(jìn)行動(dòng)態(tài)的部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服務(wù)(deprovision)等。在云計(jì)算平臺(tái)中的服務(wù)器可以是物理的服務(wù)器或者虛擬的服務(wù)器。高級(jí)的計(jì)算云通常包含一些其他的計(jì)算資源,例如存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SANs),網(wǎng)絡(luò)設(shè)備,防火墻以及其他安全設(shè)備等。云計(jì)算在描述應(yīng)用方面,它描述了一種可以通過互聯(lián)網(wǎng)Internet進(jìn)行訪問的高擴(kuò)展的應(yīng)用程序。
“云使用”是大規(guī)模的數(shù)據(jù)中心以及功能強(qiáng)勁的服務(wù)器來運(yùn)行網(wǎng)絡(luò)應(yīng)用程序與網(wǎng)絡(luò)服務(wù)。任何一個(gè)用戶可以通過合適的互聯(lián)網(wǎng)接入設(shè)備以及一個(gè)標(biāo)準(zhǔn)的瀏覽器就能夠訪問一個(gè)云計(jì)算應(yīng)用程序?!?/p>
上面的定義給出了云計(jì)算的兩個(gè)方面的含義:一方面描述了基礎(chǔ)設(shè)施,用來構(gòu)造應(yīng)用程序,其地位相當(dāng)于PC機(jī)上的操作系統(tǒng);另一方面描述了建立在這種基礎(chǔ)設(shè)施之上的云計(jì)算應(yīng)用。
還有以下分別從模型、模式等方面對云計(jì)算的定義
云計(jì)算是一種新興的計(jì)算模型:用戶可以利用該模型在任何地方通過連接的設(shè)備訪問應(yīng)用程序,應(yīng)用程序位于可大規(guī)模伸縮的數(shù)據(jù)中心,計(jì)算資源可在其中動(dòng)態(tài)部署并進(jìn)行共享;或是脫離了本地計(jì)算且計(jì)算任務(wù)分配到遠(yuǎn)端大型的統(tǒng)一的計(jì)算平臺(tái)上的模型
云是由一系列相互聯(lián)系并且虛擬化的計(jì)算機(jī)組成的并行和分布式系統(tǒng)模式?;谶@樣云的計(jì)算稱為云計(jì)算。簡單地說,云計(jì)算就是指基于互聯(lián)網(wǎng)絡(luò)的超級(jí)計(jì)算模式。即把存儲(chǔ)于個(gè)人電腦、服務(wù)器和其他設(shè)備上的大量存儲(chǔ)器容量和處理器資源集中在一起,統(tǒng)一管理并且協(xié)同工作。
云計(jì)算(Cloud Computing)是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計(jì)算(Grid
Computing)的發(fā)展,或者說是這些計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。
根據(jù)上面的引用內(nèi)容,我認(rèn)為云計(jì)算的功能類似于Telenet,只是Telenet中的遠(yuǎn)程計(jì)算機(jī)變成了云計(jì)算服務(wù)器,用戶只需通過PC機(jī)、筆記本或智能手機(jī)聯(lián)通網(wǎng)絡(luò),在云計(jì)算平臺(tái)上實(shí)現(xiàn)自己的要求即可。而且用戶端口只需要有基本的輸入輸出界面,網(wǎng)絡(luò)連接設(shè)備即可,不需用安裝各種各樣的軟件;用戶的數(shù)據(jù)存儲(chǔ)在云計(jì)算數(shù)據(jù)中心,不用再擔(dān)心如果硬盤出問題數(shù)據(jù)丟失的問題。即隨時(shí)隨地只要能上網(wǎng)就能應(yīng)用各種各樣的服務(wù),如同錢莊、銀行、發(fā)電廠等。用一個(gè)圖片來解釋如下:
二、云計(jì)算的特征
要想成為云計(jì)算,必須具備以下五個(gè)方面的特征:1)水平可擴(kuò)展性,即將多片云連接并整合為一片云來工作的能力。
2)垂直可擴(kuò)展性,即通過增強(qiáng)云中單個(gè)或多個(gè)節(jié)點(diǎn)的性能來提升整個(gè)云性能的能力。3)以互聯(lián)網(wǎng)為中心。云平臺(tái)運(yùn)營商一互聯(lián)網(wǎng)為中心,將存儲(chǔ)和運(yùn)算能力分布在網(wǎng)絡(luò)所連接的各個(gè)節(jié)點(diǎn)之中,從而弱化終端的計(jì)算能力,使互聯(lián)網(wǎng)的架構(gòu)由“服務(wù)器+客戶端”向“云服務(wù)平臺(tái)+客戶端”演進(jìn)。4)虛擬化,將底層的硬件,包括服務(wù)器、存儲(chǔ)于網(wǎng)絡(luò)設(shè)備全面虛擬化,建立起一個(gè)共享的可以按需分配的基礎(chǔ)資源池。5)用戶透明,包括操作透明和技術(shù)透明。操作透明,即對處在云計(jì)算環(huán)境下的用戶來說,在云中進(jìn)行計(jì)算操作或數(shù)據(jù)存儲(chǔ)操作與其在本機(jī)上進(jìn)行相應(yīng)的操作是沒有區(qū)別的;技術(shù)透明,指用戶不用關(guān)心云中的節(jié)點(diǎn)是如何協(xié)同工作的以及怎樣擴(kuò)展的。
三、云計(jì)算的應(yīng)用類型
Saas(軟件即服務(wù))——通過瀏覽器把程序傳給成千上萬的用戶。
Paas(平臺(tái)即服務(wù))——把開發(fā)環(huán)境作為一種服務(wù)來提供。Iaas(基礎(chǔ)設(shè)施即服務(wù))
1、SaaS軟件即服務(wù)
這類云計(jì)算是通過WEB瀏覽器來向成千上萬個(gè)用戶提供某種單一的軟件應(yīng)用。在用戶看來,這樣他們不需要事先購買服務(wù)器設(shè)備或是軟件授權(quán);而對于廠商來說,與常規(guī)的軟件
服務(wù)模式相比,僅提供一項(xiàng)應(yīng)用的成本也要低得多。一個(gè)典型的針對企業(yè)級(jí)應(yīng)用的例子就是Salesforce.com的CRM。另外,SaaS在人力資源軟件應(yīng)用中也比較普遍,甚至它已經(jīng)開始向ERP領(lǐng)域拓展,如Workday。而且,誰又能料到,GoogleApps和Zoho Office這種同樣基于SaaS的“桌面”應(yīng)用會(huì)突然火爆起來呢?
2、公用/效用計(jì)算
公用/效用計(jì)算雖已不是新穎的概念了,但如今它正被付予新的含義。Amazon的AWS、Sun的存儲(chǔ)云、IBM的“藍(lán)云”以及其他廠商所共同倡導(dǎo)的的云計(jì)算,正在為整個(gè)業(yè)界提供所需要的存儲(chǔ)資源和虛擬化服務(wù)器等應(yīng)用。早期的企業(yè)主要將公用/效用計(jì)算作為一種補(bǔ)充手段,不會(huì)應(yīng)用在關(guān)鍵性任務(wù)需求上。但是時(shí)至今日公用/效用計(jì)算逐漸在數(shù)據(jù)中心開始占據(jù)一席之地。一些廠商開始幫助企業(yè)用戶創(chuàng)建虛擬的數(shù)據(jù)中心,諸如3Tera的AppLogic,Cohesive Flexible Technologies的Elastic Server on Demand(可按需實(shí)現(xiàn)彈性擴(kuò)展的服務(wù)器)。Liquid Computing公司的LiquidQ也有類似的服務(wù),能幫助企業(yè)將內(nèi)存、I/0、存儲(chǔ)和計(jì)算容量通過網(wǎng)絡(luò)集成為一個(gè)虛擬的資源池來使用。
云計(jì)算如今已成為又一風(fēng)靡的概念。與很多同行一樣,Gartner資深分析師Ben Pring認(rèn)為:“云計(jì)算就像法國大餐一
樣正被人們津津樂道?!比欢?,問題在于(類似Web 2.0一樣),似乎每個(gè)人對云計(jì)算的定義都有不同之處。
3、云計(jì)算領(lǐng)域的WEB服務(wù)
與SaaS有些類似,WEB服務(wù)廠商也是通過提供API讓開發(fā)人員來開發(fā)互聯(lián)網(wǎng)應(yīng)用,而不是自己來提供功能全面的應(yīng)用軟件。這種云計(jì)算的服務(wù)范圍非常廣泛,從分散的商業(yè)服務(wù)(諸如Strike Iron和Xignite),到GoogleMaps、ADP薪資處理、美國郵政服務(wù)、Bloomberg和常規(guī)信用卡處理服務(wù)等的全套API服務(wù)。
4、平臺(tái)即服務(wù)
平臺(tái)即服務(wù)(Platform as a service)是軟件即服務(wù)(SaaS)的變種,這種形式的云計(jì)算將開發(fā)環(huán)境作為服務(wù)來提供給用戶。也就是說,用戶可以在供應(yīng)商的基礎(chǔ)架構(gòu)上創(chuàng)建自己的應(yīng)用軟件來運(yùn)行,然后通過網(wǎng)絡(luò)直接從供應(yīng)商的服務(wù)器上傳遞給其他用戶(例如Legos)。然而,這類服務(wù)會(huì)受到廠商的設(shè)計(jì)規(guī)定與容量限制,用戶也因此沒有足夠的自由。這類云計(jì)算服務(wù)包括Salesforce.com的Force.com、Coghead和全新的GoogleApp Engine。
5、管理服務(wù)供應(yīng)商(MSP)
管理服務(wù)(managed service)是云計(jì)算最古老的形式之一,它面向的IT管理人員而不是最終用戶,例如用于電子郵件的病
毒掃描服務(wù),還有應(yīng)用軟件監(jiān)控服務(wù)等。由SecureWorks、IBM和Verizon公司提供的管理安全服務(wù)就可歸為此類,還包括目前被Google收購的Postini以云為基礎(chǔ)的反垃圾郵件服務(wù)。MSP的其他產(chǎn)品還包含桌面管理服務(wù),諸如CenterBeam和Everdream提供的產(chǎn)品。
6、服務(wù)商業(yè)平臺(tái)
這種云計(jì)算服務(wù)融合了SaaS和MSP,它實(shí)際上為用戶提供了一種交互性服務(wù)平臺(tái)。這在日常的商業(yè)貿(mào)易領(lǐng)域是非常普遍的,比如,某種消費(fèi)管理系統(tǒng)可以讓用戶從一個(gè)網(wǎng)絡(luò)平臺(tái)上訂購旅行或秘書類服務(wù),而且服務(wù)的配送實(shí)現(xiàn)方式和價(jià)格也都是由用戶事先設(shè)定好的。其非常典型的例子是Rearden Commerce和Ariba。
7、云計(jì)算集成
云計(jì)算服務(wù)的整合還只是剛剛開始。SaaS供應(yīng)商OpSource最近就推出了OpSource Services Bus,它使用了一家叫Boomi的小公司的云計(jì)算集成技術(shù)。另一家SaaS 供應(yīng)商Workday最近也收購了該領(lǐng)域的另一家公司CapeClear。CapeClear提供的是針對B2B集成的ESB(enterprise service bus,企業(yè)服務(wù)總線)。另外,2005開始興起的Grand Central,則想成為一種通用的“云計(jì)算總線”(bus in the cloud),通過把多家SaaS供應(yīng)商聯(lián)合在一起來為客戶提供完整的服務(wù)。
四、技術(shù)挑戰(zhàn)
1、高可靠的系統(tǒng)技術(shù)——大規(guī)模的集成計(jì)算機(jī)系統(tǒng);容錯(cuò)技術(shù),即單節(jié)點(diǎn)的錯(cuò)誤不應(yīng)影響系統(tǒng)運(yùn)行,能夠檢查錯(cuò)點(diǎn),具有重啟技術(shù)。
2、可擴(kuò)展的并行計(jì)算技術(shù)——云計(jì)算的核心技術(shù)
3、海量的數(shù)據(jù)挖掘存儲(chǔ)和管理技術(shù)——并行計(jì)算,加速數(shù)據(jù)處理,需要新的思路、方法、算法;將集群數(shù)據(jù)庫擴(kuò)展到成千上萬個(gè)節(jié)點(diǎn)還是被類似于google文件系統(tǒng)的新技術(shù)替代?
4、數(shù)據(jù)安全技術(shù)——數(shù)據(jù)銀行;安全性,保密性,訪問權(quán)限的風(fēng)險(xiǎn)性;隱私和可靠性。
關(guān)于云計(jì)算還有很多內(nèi)容,在以后的學(xué)習(xí)中我將慢慢補(bǔ)充。
第二篇:云計(jì)算第二章總結(jié)
Google云計(jì)算技術(shù)包括:
Google文件系統(tǒng) GFS、分布式計(jì)算編程模型MapReduce、分布式鎖服務(wù)Chubby、分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable。
簡述谷歌文件系統(tǒng)GFS:
GFS是一個(gè)大型的分布式文件系統(tǒng),它為Goole云計(jì)算提供海量存儲(chǔ),并且與Chubby、MapReduce及Bigtable等技術(shù)結(jié)合十分緊密,處于所有 核心技術(shù)的底層。
GFS將整個(gè)系統(tǒng)的節(jié)點(diǎn)分為哪幾類角色:
Client(客戶端)、Master(主服務(wù)器)、Chunk Server(數(shù)據(jù)塊服務(wù)器)。
Master是GFS的管理節(jié)點(diǎn),在邏輯上只有一個(gè),他保存系統(tǒng)的元數(shù)據(jù),負(fù)責(zé)整個(gè)文件系統(tǒng)的管理,是GFS文件系統(tǒng)中的“大腦”。
Chunk Server負(fù)責(zé)具體的存儲(chǔ)工作。數(shù)據(jù)以文件的形式存儲(chǔ)在Chunk Server 的個(gè)數(shù)可以有多個(gè),他的數(shù)目直接決定了GFS的規(guī)模。GFS將文件按照固定大小進(jìn)行分塊,默認(rèn)是64MB,每一塊稱為一個(gè)Chunk(數(shù)據(jù)塊),每個(gè)Chunk都有一個(gè)對應(yīng)的索引號(hào)(Index)。
GFS具有哪些特點(diǎn):
1、采用中心服務(wù)器模式:GFS采用中心服務(wù)器模式管理整個(gè)文件系統(tǒng),增加新的Chunk Server是一件非常容易的事情。
2、不緩存數(shù)據(jù):緩存機(jī)制是提升文件系統(tǒng)的性能的一個(gè)重要手段,通用文件系統(tǒng)為了提高性能,一般需要實(shí)現(xiàn)復(fù)雜的緩存機(jī)制。GFS文件系統(tǒng)根據(jù)應(yīng)用的特點(diǎn),沒有實(shí)現(xiàn)緩存,因?yàn)镚FS的數(shù)據(jù)在Chunk Server上是以文件的形式存儲(chǔ)。
3、在用戶態(tài)下實(shí)現(xiàn)
4、只提供專用接口
GFS容錯(cuò)機(jī)制包含:
1、Master容錯(cuò): Master上保存了GFS文件系統(tǒng)的三種元數(shù)據(jù)。(1)、命名空間,也就是整個(gè)文件系統(tǒng)的目錄結(jié)構(gòu)。(2)、Chunk與文件名的映射表
(3)、Chunk副本的位置信息,每一個(gè)Chunk默認(rèn)有三個(gè)副本。
前兩種GFS通過操作日志來提供容錯(cuò)功能。第三種直接保存各個(gè)Chunk Server上,當(dāng)master發(fā)生故障時(shí),迅速恢復(fù)以上元數(shù)據(jù)。為了防止master徹底死機(jī),GFS提供了master遠(yuǎn)程的實(shí)時(shí)備份。
2、Chunk Server容錯(cuò): GFS采用副本的方式實(shí)現(xiàn)其容錯(cuò)。如果相關(guān)副本丟失或不可恢復(fù),master自動(dòng)將副本復(fù)制到其他Chunk Server.GFS把每一個(gè)文件劃分成多個(gè)Chunk, GFS系統(tǒng)管理技術(shù):
1、大規(guī)模集群安裝技術(shù)
2、故障檢測技術(shù)
3、節(jié)點(diǎn)動(dòng)態(tài)加入技術(shù)
4、節(jié)能技術(shù)
分布式數(shù)據(jù)處理MapReduce:
什么是MapReduce? Map(映射)Reduce(化簡)是Google提出的一個(gè)軟件架構(gòu),是一種處理海量數(shù)據(jù)的并行編程模式,用于大規(guī)模數(shù)據(jù)集的并行計(jì)算。
MapReduce封裝了并行處理、容錯(cuò)處理、本地化計(jì)算、負(fù)載均衡等細(xì)節(jié),還提供了一個(gè)接口。MapReduce把對數(shù)據(jù)集的大規(guī)模操作,分發(fā)給一個(gè)主節(jié)點(diǎn)管理下的各分節(jié)點(diǎn)共同完成,通過這種方式實(shí)現(xiàn)任務(wù)的可靠執(zhí)行與容錯(cuò)機(jī)制。
MapReduce的容錯(cuò)機(jī)制:通過重新執(zhí)行失效的地方來實(shí)現(xiàn)容錯(cuò)。
1、Master失效:master會(huì)周期性地設(shè)置檢查點(diǎn),并導(dǎo)出Master的數(shù)據(jù)。一旦某個(gè)任務(wù)失效,系統(tǒng)就從最近的一個(gè)檢查點(diǎn)恢復(fù)并重新執(zhí)行。如果master失效終止整個(gè)MapReduce重新開始。
2、Worker失效:
Master會(huì)周期性的給worker發(fā)送Ping命令,如果沒有worker的應(yīng)答,則master認(rèn)為worker失效,終止對這個(gè)worker的任務(wù)調(diào)度,把失效的worker的任務(wù)調(diào)度到其他worker上重新執(zhí)行。
如何利用MapReduce進(jìn)行數(shù)據(jù)排序:
1、對原始數(shù)據(jù)進(jìn)行分割
2、對每個(gè)數(shù)據(jù)分塊都啟動(dòng)一個(gè)Map進(jìn)行處理。
3、對于Map之后得到的中間結(jié)果,啟動(dòng)26各Reduce。
什么是分布式鎖服務(wù)Chubby:
Chubby是
1、Google設(shè)計(jì)的提供粗粒度鎖服務(wù)的一個(gè)文件系統(tǒng),2、它基于松耦合分布式系統(tǒng),3、解決了分布的一致性問題。通過使用Chubby的鎖服務(wù),用戶可以確保數(shù)據(jù)操作過程中的一致性。
4、Chubby鎖是一種建議性的鎖而不是強(qiáng)制性的鎖,這種選擇使系統(tǒng)具有更大的靈活性。
Paxos算法中節(jié)點(diǎn)被分成了三種類型:proposers、acceptors、和learners,其中proposers提出決議,acceptors批準(zhǔn)決議、learners獲取并使用已經(jīng)通過的決議。一個(gè)節(jié)點(diǎn)可以兼有多重類型,滿足三個(gè)條件保持?jǐn)?shù)據(jù)的一致性,(1)、決議只有在被Proposers提出后才能批準(zhǔn)(2)、每次只能批準(zhǔn)一個(gè)決議(3)、只有決議確定被批準(zhǔn)后learners才能獲取這個(gè)決議。
Chubby的設(shè)計(jì)目標(biāo)主要有:
(1)、高可用性(2)、高擴(kuò)展性(3)、支持粗粒度的建議性鎖服務(wù)(4)、服務(wù)信息的直接存儲(chǔ)(5)、支持通報(bào)機(jī)制(6)、支持緩存機(jī)制 Chubby文件系統(tǒng):
Chubby系統(tǒng)本質(zhì)上就是一個(gè)分布式的、存儲(chǔ)大量小文件的文件系統(tǒng),它所有的操作都是在文件的基礎(chǔ)上完成的,系統(tǒng)規(guī)定每個(gè)節(jié)點(diǎn)的元數(shù)據(jù)都應(yīng)包含以下四種單調(diào)遞增的64位編號(hào),(1)、實(shí)例號(hào)(2)、內(nèi)容生成號(hào)(3)、鎖生成號(hào)(4)、ACL生成號(hào)
Chubby采用的是ACL形式的安全保障措施,只要不被覆寫,子節(jié)點(diǎn)都是直接繼承父節(jié)點(diǎn)的ACL名。什么是分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable: Bigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲(chǔ)系統(tǒng),它的設(shè)計(jì)應(yīng)達(dá)到以下幾個(gè)目標(biāo):(1)、廣泛的適用性(2)、很強(qiáng)的可擴(kuò)展性(3)、高可用性(4)、簡單性
Bigtable是一個(gè)分布式多維映射表,表中的數(shù)據(jù)通過一個(gè)行關(guān)鍵字、一個(gè)列關(guān)鍵字以及一個(gè)時(shí)間戳進(jìn)行索引。
在Bigtable中Chubby主要有以下幾個(gè)作用:
(1)、選取并保證同一時(shí)間內(nèi)只有一個(gè)主服務(wù)器(Master Server)(2)獲取子表的位置信息
(3)保存Bigtable的模式信息及訪問控制列表
Bigtable主要由三個(gè)部分組成:客戶端程序庫、一個(gè)主服務(wù)器和多個(gè)子表服務(wù)器
每個(gè)子表都是由多個(gè)SSTable以及日志文件構(gòu)成。
在Bigtable系統(tǒng)的內(nèi)部采用的是一種類似B+樹的三層查詢體系。
所有的子表地址都被記錄在元數(shù)據(jù)表中,元數(shù)據(jù)表也是由一個(gè)個(gè)的元數(shù)據(jù)子表組成的。為了減少訪問開銷,提高客戶訪問效率,Bigtable使用了緩存和預(yù)取技術(shù)。在Bigtable中有三種形式的數(shù)據(jù)壓縮,分別是次壓縮、合并壓縮、主壓縮。Bigtable性能優(yōu)化:
1、局部性群組
2、壓縮
3、布隆過濾器
分布式存儲(chǔ)系統(tǒng)Megastore的設(shè)計(jì)目標(biāo)明確,那就是設(shè)計(jì)一種介于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和NoSQL之間的存儲(chǔ)技術(shù),盡可能達(dá)到高可用性和高可擴(kuò)展性的統(tǒng)一
第三篇:“云計(jì)算”培訓(xùn)總結(jié)
“云計(jì)算”培訓(xùn)總結(jié)
計(jì)算機(jī)自誕生開始,先后經(jīng)歷了四個(gè)階段:
1、第一代計(jì)算機(jī)(1946~1958)
電子管為基本電子器件;使用機(jī)器語言和匯編語言;主要應(yīng)用于國防和科學(xué)計(jì)算;運(yùn)算速度每秒幾千次至幾萬次。
2、第二代計(jì)算機(jī)(1958~1964)
晶體管為主要器件;軟件上出現(xiàn)了操作系統(tǒng)和算法語言;運(yùn)算速度每秒幾萬次至幾十萬次。
3、第三代計(jì)算機(jī)(1964~1971)
普遍采用集成電路;體積縮?。贿\(yùn)算速度每秒幾十萬次至幾百萬次。
4、第四代計(jì)算機(jī)(1971~)
以大規(guī)模集成電路為主要器件;運(yùn)算速度每秒幾百萬次至上億次。
計(jì)算機(jī)的運(yùn)算速度在不斷增加,而成本卻在不斷的降低?,F(xiàn)在已經(jīng)進(jìn)入由第四代衍生出的一個(gè)時(shí)代,云計(jì)算時(shí)代。
云計(jì)算操作系統(tǒng),又稱云計(jì)算中心操作系統(tǒng)、云OS,是云計(jì)算后臺(tái)數(shù)據(jù)中心的整體管理運(yùn)營系統(tǒng),它是指構(gòu)架于服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等基礎(chǔ)硬件資源和單機(jī)操作系統(tǒng)、中間件、數(shù)據(jù)庫等基礎(chǔ)軟件管理的海量的基礎(chǔ)硬件、軟資源之上的云平臺(tái)綜合管理系統(tǒng)。
云計(jì)算(cloud computing,分布式計(jì)算技術(shù)的一種,其最基本的概念,是透過網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無數(shù)個(gè)較小的子程序,再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)搜尋、計(jì)算分析之后將處理結(jié)果回傳給用戶。透過這項(xiàng)技術(shù),網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi),達(dá)成處理數(shù)以千萬計(jì)甚至億計(jì)的信息,達(dá)到和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大效能的網(wǎng)絡(luò)服務(wù)。
云是一種基于互聯(lián)網(wǎng)的計(jì)算新方式,通過互聯(lián)網(wǎng)上異構(gòu)、自治的服務(wù)為個(gè)人和企業(yè)用戶提供按需即取的計(jì)算。由于資源是在互聯(lián)網(wǎng)上,而在電腦流程圖中,互聯(lián)網(wǎng)常以一個(gè)云狀圖案來表示,因此可以形象地類比為云,“云”同時(shí)也是對底層基礎(chǔ)設(shè)施的一種抽象概念。云計(jì)算的資源是動(dòng)態(tài)易擴(kuò)展而且虛擬化的,通過互聯(lián)網(wǎng)提供。終端用戶不需要了解“云”中基礎(chǔ)設(shè)施的細(xì)節(jié),不必具有相應(yīng)的專業(yè)知識(shí),也無需直接進(jìn)行控制,只關(guān)注自己真正需要什么樣的資源以及如何通過網(wǎng)絡(luò)來得到相應(yīng)的服務(wù)。
云共分為公有云、私有云、混合云三種情況。
在實(shí)現(xiàn)面向云計(jì)算的數(shù)據(jù)中心演進(jìn)過程中,隨著數(shù)據(jù)中心的高度虛擬化,在節(jié)約成本及運(yùn)營效率取得顯著成果的同時(shí),存儲(chǔ)、網(wǎng)絡(luò)、電源管理和安全等方面的挑戰(zhàn)仍有待解決。所以云技術(shù)可以很好的解決上面的問題。
最簡單的云計(jì)算技術(shù)在網(wǎng)絡(luò)服務(wù)中已經(jīng)隨處可見,例如搜尋引擎、網(wǎng)絡(luò)信箱等,使用者只要輸入簡單指令即能得到大量信息。未來如手機(jī)、GPS等行動(dòng)裝置都可以透過云計(jì)算技術(shù),發(fā)展出更多的應(yīng)用服務(wù)。
云計(jì)算的特點(diǎn)總結(jié)如下:
1、超大規(guī)模。
“云”具有相當(dāng)?shù)囊?guī)模,Google云計(jì)算已經(jīng)擁有100多萬臺(tái)服務(wù)器,Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺(tái)服務(wù)器。企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器?!霸啤蹦苜x予用戶前所未有的計(jì)算能力。
2、虛擬化。
云計(jì)算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請求的資源來自“云”,而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行,但實(shí)際上用戶無需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置。只需要一臺(tái)筆記本或者一個(gè)手機(jī),就可以通過網(wǎng)絡(luò)服務(wù)來實(shí)現(xiàn)我們需要的一切,甚至包括超級(jí)計(jì)算這樣的任務(wù)。
3、高可靠性。
“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來保障服務(wù)的高可靠性,使用云計(jì)算比使用本地計(jì)算機(jī)可靠。
4、通用性。
云計(jì)算不針對特定的應(yīng)用,在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用,同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行。
5、高可擴(kuò)展性。
“云”的規(guī)??梢詣?dòng)態(tài)伸縮,滿足應(yīng)用和用戶規(guī)模增長的需要。
6、按需服務(wù)。
“云”是一個(gè)龐大的資源池,你按需購買;云可以象自來水,電,煤氣那樣計(jì)費(fèi)。
7、極其廉價(jià)。
由于“云”的特殊容錯(cuò)措施可以采用極其廉價(jià)的節(jié)點(diǎn)來構(gòu)成云,“云”的自動(dòng)化集中式管理使大量企業(yè)無需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本,“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升,因此用戶可以充分享受“云”的低成本優(yōu)勢,經(jīng)常只要花費(fèi)幾百美元、幾天時(shí)間就能完成以前需要數(shù)萬美元、數(shù)月時(shí)間才能完成的任務(wù)。
云計(jì)算可以徹底改變?nèi)藗兾磥淼纳睿瑫r(shí)也要重視環(huán)境問題,這樣才能真正為人類進(jìn)步做貢獻(xiàn),而不是簡單的技術(shù)提升。
8、潛在的危險(xiǎn)性。
云計(jì)算服務(wù)除了提供計(jì)算服務(wù)外,還必然提供了存儲(chǔ)服務(wù)。但是云計(jì)算服務(wù)當(dāng)前壟斷在私人機(jī)構(gòu)(企業(yè))手中,而他們僅僅能夠提供商業(yè)信用。對于政府機(jī)構(gòu)、商業(yè)機(jī)構(gòu)(特別象銀行這樣持有敏感數(shù)據(jù)的商業(yè)機(jī)構(gòu))對于選擇云計(jì)算服務(wù)應(yīng)保持足夠的警惕。一旦商業(yè)用戶大規(guī)模使用私人機(jī)構(gòu)提供的云計(jì)算服務(wù),無論其技術(shù)優(yōu)勢有多強(qiáng),都不可避免地讓這些私人機(jī)構(gòu)以“數(shù)據(jù)(信息)”的重要性挾制整個(gè)社會(huì)。對于信息社會(huì)而言,“信息”是至關(guān)重要的。另一方面,云計(jì)算中的數(shù)據(jù)對于數(shù)據(jù)所有者以外的其他用戶云計(jì)算用戶是保密的,但是對于提供云計(jì)算的商業(yè)機(jī)構(gòu)而言確實(shí)毫無秘密可言。這就象常人不能監(jiān)聽別人的電話,但是在電訊公司內(nèi)部,他們可以隨時(shí)監(jiān)聽任何電話。所有這些潛在的危險(xiǎn),是商業(yè)機(jī)構(gòu)和政府機(jī)構(gòu)選擇云計(jì)算服務(wù)、特別是國外機(jī)構(gòu)提供的云計(jì)算服務(wù)時(shí),不得不考慮的一個(gè)重要的前提。
云計(jì)算的幾大形式:
InfoWorld網(wǎng)站同數(shù)十家公司、分析家和IT用戶討論出了云計(jì)算的幾大形式:
1.SAAS(軟件即服務(wù))
這種類型的云計(jì)算通過瀏覽器把程序傳給成千上萬的用戶。在用戶眼中看來,這樣會(huì)省去在服務(wù)器和軟件授權(quán)上的開支;從供應(yīng)商角度來看,這樣只需要維持一個(gè)程序就夠了,這樣能夠減少成本。Salesforce.com是迄今為止這類服務(wù)最為出名的公司。SAAS在人力資源管理程序和ERP中比較常用。Google Apps和Zoho Office也是類似的服務(wù)
2.實(shí)用計(jì)算(Utility Computing)
這個(gè)主意很早就有了,但是直到最近才在Amazon.com、Sun、IBM和其它提供存儲(chǔ)服務(wù)和虛擬服務(wù)器的公司中新生。這種云計(jì)算是為IT行業(yè)創(chuàng)造虛擬的數(shù)據(jù)中心使得其能夠把內(nèi)存、I/O設(shè)備、存儲(chǔ)和計(jì)算能力集中起來成為一個(gè)虛擬的資源池來為整個(gè)網(wǎng)絡(luò)提供服務(wù)。
3.網(wǎng)絡(luò)服務(wù)
同SAAS關(guān)系密切,網(wǎng)絡(luò)服務(wù)提供者們能夠提供API讓開發(fā)者能夠開發(fā)更多基于互聯(lián)網(wǎng)的應(yīng)用,而不是提供單機(jī)程序。
4.平臺(tái)即服務(wù)
另一種SAAS,這種形式的云計(jì)算把開發(fā)環(huán)境作為一種服務(wù)來提供。你可以使用中間商的設(shè)備來開發(fā)自己的程序并通過互聯(lián)網(wǎng)和其服務(wù)器傳到用戶手中。
5.MSP(管理服務(wù)提供商)
最古老的云計(jì)算運(yùn)用之一。這種應(yīng)用更多的是面向IT行業(yè)而不是終端用戶,常用于郵件病毒掃描、程序監(jiān)控等等。
6.商業(yè)服務(wù)平臺(tái)
SAAS和MSP的混合應(yīng)用,該類云計(jì)算為用戶和提供商之間的互動(dòng)提供了一個(gè)平臺(tái)。比
如用戶個(gè)人開支管理系統(tǒng),能夠根據(jù)用戶的設(shè)置來管理其開支并協(xié)調(diào)其訂購的各種服務(wù)。
7.互聯(lián)網(wǎng)整合將互聯(lián)網(wǎng)上提供類似服務(wù)的公司整合起來,以便用戶能夠更方便的比較和選擇自己的服務(wù)供應(yīng)商。
云計(jì)算主要應(yīng)用:
1、亞馬遜網(wǎng)站Amazon.com
是以在線書店和電子零售業(yè)起家的,如今已在業(yè)界享有盛譽(yù),不過它最新的業(yè)務(wù)卻與云計(jì)算有關(guān)。兩年多以前,亞馬遜作為首批進(jìn)軍云計(jì)算新興市場的廠商之一,為嘗試進(jìn)入該領(lǐng)域的企業(yè)開創(chuàng)了良好的開端。
2、谷歌公司Google
圍繞因特網(wǎng)搜索創(chuàng)建了一種超動(dòng)力商業(yè)模式。如今,他們又以應(yīng)用托管、企業(yè)搜索以及其他更多形式向企業(yè)開放了他們的“云”。
3、Salesforce
是軟件即服務(wù)廠商的先驅(qū),它一開始提供的是可通過網(wǎng)絡(luò)訪問的銷售力量自動(dòng)化應(yīng)用軟件。在該公司的帶動(dòng)下,其他軟件即服務(wù)廠商已如雨后春筍般蓬勃而起。Salesforce的下一目標(biāo)是:平臺(tái)即服務(wù)。
4、微軟公司
在云計(jì)算的起步階段,微軟曾經(jīng)歷過不少周折。經(jīng)過幾年的磨合調(diào)整之后,這個(gè)軟件巨頭的云計(jì)算戰(zhàn)略終于走上了正軌。
培訓(xùn)總結(jié):
云計(jì)算現(xiàn)由于在法律方面存在問題,待相關(guān)部門出臺(tái)法律之后,對云相關(guān)數(shù)據(jù)進(jìn)行法律保護(hù),云系統(tǒng)會(huì)得到全面的推廣,下一步云計(jì)算是信息化發(fā)展的方向,云計(jì)算在節(jié)省成本合理優(yōu)化企業(yè)資源都有很大的優(yōu)勢。到時(shí)企業(yè)可以建立自己的私有云來提供服務(wù),更加方便、快捷、節(jié)約成本。
2011年11月
第四篇:云計(jì)算期末考試總結(jié)【強(qiáng)烈推薦】
第一章
什么是“新摩爾定律”:
每18個(gè)月全球新增信息量是計(jì)算機(jī)有史以來全部信息量的總和。
云計(jì)算具有哪些特點(diǎn):
(1)、超大規(guī)模(2)、虛擬化(3)、高可靠性(4)、通用性(5)、高可伸縮性、(6)、按需服務(wù)(7)、極其廉價(jià)
云計(jì)算按照服務(wù)類型大致分為三類:
將基礎(chǔ)設(shè)施作為服務(wù)(Iaas)、將平臺(tái)作為服務(wù)(Paas)、將軟件作為服務(wù)(SaaS)什么是Iaas? 將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用,如AWS的彈性計(jì)算云EC2和簡單存儲(chǔ)服務(wù)S3。
什么是Paas?
對資源的抽象層次更進(jìn)一步,它提供用戶應(yīng)用程序的運(yùn)行環(huán)境,典型的如Google App Engine。
什么是SaaS?
它的針對性更強(qiáng),它將某些特定應(yīng)用軟件功能封裝成服務(wù),如Salesforce公司提供的在線客戶關(guān)系管理CRM服務(wù)。
云計(jì)算技術(shù)體系結(jié)構(gòu)分為四層:
物理資源層、資源池層、管理中間件層和SOA構(gòu)建層
(管理中間件層和資源池層是云計(jì)算技術(shù)的最關(guān)鍵部分)
物理資源層包括計(jì)算機(jī)、存儲(chǔ)器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件。資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池,如計(jì)算資源池、數(shù)據(jù)資源池。構(gòu)建資源池更多的是物理資源的集成和管理工作。
管理中間件層負(fù)責(zé)對云計(jì)算的資源進(jìn)行管理,并對眾多應(yīng)用任務(wù)進(jìn)行調(diào)度,使資源能夠高效、安全地為應(yīng)用服務(wù)。
大數(shù)據(jù)具有4V+1C的特征:
(1)、數(shù)據(jù)量大(2)、多樣(3)、快速(4)、價(jià)值密度低(5)、復(fù)雜度
全球企業(yè)的IT開銷分為三部分:硬件開銷、能耗和管理成本。云計(jì)算的優(yōu)勢:
云計(jì)算有更低的硬件和網(wǎng)絡(luò)成本、更低管理成本和電力成本以及更高的資源利用率。
云計(jì)算與大數(shù)據(jù)之間的關(guān)系:
大數(shù)據(jù)是需求,云計(jì)算是手段。沒有大數(shù)據(jù),就不需要云計(jì)算。沒有云計(jì)算就無法處理大數(shù)據(jù)。
什么是云計(jì)算:
長定義:云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。短定義:云計(jì)算是通過網(wǎng)絡(luò)按需提供可動(dòng)態(tài)伸縮的廉價(jià)計(jì)算服務(wù)。
云計(jì)算的管理中間件層:負(fù)責(zé)資源管理、任務(wù)管理、用戶管理、和安全管理等工作。資源管理:負(fù)責(zé)均衡地使用云資源節(jié)點(diǎn),檢測節(jié)點(diǎn)的故障并試圖恢復(fù)或屏蔽它,并對資源的使用情況進(jìn)行監(jiān)視統(tǒng)計(jì);
任務(wù)管理:負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù),包括完成用戶任務(wù)映像部署和管理、任務(wù)調(diào)度、任務(wù)管理、生命周期管理。簡述亞馬遜的云計(jì)算:
AWS率先在全球提供了彈性計(jì)算云EC2和簡單服務(wù)存儲(chǔ)服務(wù)S3,為企業(yè)提供計(jì)算和存儲(chǔ)服務(wù)。
亞馬遜是最大的服務(wù)商,谷歌是最大的云計(jì)算技術(shù)的使用者。
第二章
Google云計(jì)算技術(shù)包括:
Google文件系統(tǒng) GFS、分布式計(jì)算編程模型MapReduce、分布式鎖服務(wù)Chubby、分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable。
當(dāng)前主流分布式文件系統(tǒng)有哪些?各有什么優(yōu)缺點(diǎn)?
答:RedHat的GFS(Global File System)、IBM的GPFS、Sun的Lustre等。優(yōu)缺點(diǎn):①GFS采用廉價(jià)的商品機(jī)器構(gòu)建分布式文件系統(tǒng),同時(shí)將GFS的設(shè)計(jì)與Google應(yīng)用的特點(diǎn)緊密結(jié)合,簡化實(shí)現(xiàn),GFS將容錯(cuò)的任務(wù)交給文件系統(tǒng)完成,利用軟件的方法解決系統(tǒng)可靠性問題,使存儲(chǔ)成本下降;GFS將服務(wù)器故障視為正?,F(xiàn)象,并采用多種方法、從多個(gè)角度,使用不同的容錯(cuò)措施,確保數(shù)據(jù)存儲(chǔ)的安全、保證提供不間斷的數(shù)據(jù)存儲(chǔ)服務(wù)。
②IBM GPFS并行文件系統(tǒng)軟件在設(shè)計(jì)上不存在任何性能瓶頸,因此GPFS并行文件系統(tǒng)可以充分發(fā)揮硬件系統(tǒng)的性能。換句話說,GPFS并行文件系統(tǒng)的性能完全取決于硬件配置的好壞,而文件系統(tǒng)軟件本身對性能的影響微乎其微。IBM GPFS并行文件系統(tǒng)與其它并行文件系統(tǒng)之間最大的區(qū)別在于GPFS不需要專用的元數(shù)據(jù)(Meta Data)管理服務(wù)器,所有元數(shù)據(jù)分散在磁盤陣列中,并可以由任何I/O節(jié)點(diǎn)管理。這樣的設(shè)計(jì)避免了并行文件系統(tǒng)中最可能產(chǎn)生性能瓶頸的因素——Meta Data Server。
③Lustre文件系統(tǒng)為例,它只對元數(shù)據(jù)管理器MDS提供容錯(cuò)解決方案,而對于具體的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)OST來說,則依賴其自身來解決容錯(cuò)的問題。例如,Lustre推薦OST節(jié)點(diǎn)采用RAID技術(shù)或SAN存儲(chǔ)區(qū)域網(wǎng)來容錯(cuò),但由于Lustre自身能提供數(shù)據(jù)存儲(chǔ)的容錯(cuò),一旦OST發(fā)生故障就無法恢復(fù),因此對OST的穩(wěn)定性就提出了相當(dāng)高的要求,從而大大增加了存儲(chǔ)的成本,而且成本會(huì)隨著規(guī)模的擴(kuò)大線性增長
GFS容錯(cuò)機(jī)制包含:
1、Master容錯(cuò): Master上保存了GFS文件系統(tǒng)的三種元數(shù)據(jù)。(1)、命名空間,也就是整個(gè)文件系統(tǒng)的目錄結(jié)構(gòu)。(2)、Chunk與文件名的映射表
(3)、Chunk副本的位置信息,每一個(gè)Chunk默認(rèn)有三個(gè)副本。
前兩種GFS通過操作日志來提供容錯(cuò)功能。第三種直接保存各個(gè)Chunk Server上,當(dāng)master發(fā)生故障時(shí),迅速恢復(fù)以上元數(shù)據(jù)。為了防止master徹底死機(jī),GFS提供了master遠(yuǎn)程的實(shí)時(shí)備份。
2、Chunk Server容錯(cuò): GFS采用副本的方式實(shí)現(xiàn)其容錯(cuò)。如果相關(guān)副本丟失或不可恢復(fù),master自動(dòng)將副本復(fù)制到其他Chunk Server.GFS把每一個(gè)文件劃分成多個(gè)Chunk, MapReduce與傳統(tǒng)的分布式程序設(shè)計(jì)相比的優(yōu)點(diǎn)
答:與傳統(tǒng)的分布式程序設(shè)計(jì)相比,MapReduce封裝了并行處理、容錯(cuò)處理、本地化計(jì)算、負(fù)載均衡等細(xì)節(jié),還提供了一個(gè)簡單而強(qiáng)大的接口。Chubby的設(shè)計(jì)目標(biāo)主要有?Paxos算法在Chubby中起什么作用?(1)、高可用性(2)、高擴(kuò)展性(3)、支持粗粒度的建議性鎖服務(wù)(4)、服務(wù)信息的直接存儲(chǔ)(5)、支持通報(bào)機(jī)制(6)、支持緩存機(jī)制。Chubby內(nèi)部一致性問題的實(shí)現(xiàn)用到Paxos算法
什么是分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable?
Bigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲(chǔ)系統(tǒng),它的設(shè)計(jì)應(yīng)達(dá)到以下幾個(gè)目標(biāo):(1)、廣泛的適用性(2)、很強(qiáng)的可擴(kuò)展性(3)、高可用性(4)、簡單性 Bigtable是:一個(gè)分布式多維映射表,表中的數(shù)據(jù)通過一個(gè)行關(guān)鍵字、一個(gè)列關(guān)鍵字以及一個(gè)時(shí)間戳進(jìn)行索引。
在Bigtable中Chubby主要有以下幾個(gè)作用:
(1)選取并保證同一時(shí)間內(nèi)只有一個(gè)主服務(wù)器(Master Server)(2)獲取子表的位置信息
(3)保存Bigtable的模式信息及訪問控制列表
Bigtable主要由三個(gè)部分組成:客戶端程序庫、一個(gè)主服務(wù)器和多個(gè)子表服務(wù)器
Paxos算法中節(jié)點(diǎn)被分成了三種類型:
proposers、acceptors、和learners,其中proposers提出決議,acceptors批準(zhǔn)決議、learners獲取并使用已經(jīng)通過的決議。一個(gè)節(jié)點(diǎn)可以兼有多重類型,滿足三個(gè)條件保持?jǐn)?shù)據(jù)的一致性,(1)、決議只有在被Proposers提出后才能批準(zhǔn)(2)、每次只能批準(zhǔn)一個(gè)決議(3)、只有決議確定被批準(zhǔn)后learners才能獲取這個(gè)決議。
Bigtable性能優(yōu)化:
1、局部性群組
2、壓縮
3、布隆過濾器 GFS將整個(gè)系統(tǒng)的節(jié)點(diǎn)分為哪幾類角色: Client(客戶端)、Master(主服務(wù)器)、Chunk Server(數(shù)據(jù)塊服務(wù)器)。
Master是GFS的管理節(jié)點(diǎn),在邏輯上只有一個(gè),他保存系統(tǒng)的元數(shù)據(jù),負(fù)責(zé)整個(gè)文件系統(tǒng)的管理,是GFS文件系統(tǒng)中的“大腦”。
Chunk Server負(fù)責(zé)具體的存儲(chǔ)工作。數(shù)據(jù)以文件的形式存儲(chǔ)在Chunk Server 的個(gè)數(shù)可以有多個(gè),他的數(shù)目直接決定了GFS的規(guī)模。GFS將文件按照固定大小進(jìn)行分塊,默認(rèn)是64MB,每一塊稱為一個(gè)Chunk(數(shù)據(jù)塊),每個(gè)Chunk都有一個(gè)對應(yīng)的索引號(hào)(Index)。GFS具有哪些特點(diǎn):
1、采用中心服務(wù)器模式:GFS采用中心服務(wù)器模式管理整個(gè)文件系統(tǒng),增加新的Chunk Server是一件非常容易的事情。
2、不緩存數(shù)據(jù):緩存機(jī)制是提升文件系統(tǒng)的性能的一個(gè)重要手段,通用文件系統(tǒng)為了提高性能,一般需要實(shí)現(xiàn)復(fù)雜的緩存機(jī)制。GFS文件系統(tǒng)根據(jù)應(yīng)用的特點(diǎn),沒有實(shí)現(xiàn)緩存,因?yàn)镚FS的數(shù)據(jù)在Chunk Server上是以文件的形式存儲(chǔ)。
3、在用戶態(tài)下實(shí)現(xiàn)
4、只提供專用接口
什么是MapReduce? Map(映射)Reduce(化簡)是Google提出的一個(gè)軟件架構(gòu),是一種處理海量數(shù)據(jù)的并行編程模式,用于大規(guī)模數(shù)據(jù)集的并行計(jì)算。
第三章
AWS提供的服務(wù)包括:
彈性計(jì)算云EC2、簡單存儲(chǔ)服務(wù)S3、簡單數(shù)據(jù)庫服務(wù)Simple DB、簡單隊(duì)列服務(wù)SQS、彈性MapReduce服務(wù)、內(nèi)容推送服務(wù)、電子商務(wù)服務(wù)、FPS。改進(jìn)的一致性哈希算法優(yōu)點(diǎn):
可以減小數(shù)據(jù)分布不均衡的可能性。
采用數(shù)據(jù)分區(qū)后,在添加或刪除設(shè)備節(jié)點(diǎn)時(shí),會(huì)引起嬌小的數(shù)據(jù)傳輸??梢栽诤苄〉臄?shù)據(jù)傳輸代價(jià)下,保證整個(gè)系統(tǒng)數(shù)據(jù)分布的均衡性。
在Dynamo中添加一個(gè)新的節(jié)點(diǎn)時(shí),原先各節(jié)點(diǎn)保存的數(shù)據(jù)是否需要改變?如果改變,應(yīng)該如何變化?
需要改變;原存儲(chǔ)在前驅(qū)節(jié)點(diǎn)上的那部分?jǐn)?shù)據(jù)會(huì)遷移到新的節(jié)點(diǎn)上。而其他節(jié)點(diǎn)保存的數(shù)據(jù)不變。同樣,在刪除節(jié)點(diǎn)時(shí),被刪除節(jié)點(diǎn)的數(shù)據(jù)會(huì)遷移到其前驅(qū)節(jié)點(diǎn)上,而對其他節(jié)點(diǎn)沒有影響。
私有IP、公有IP和彈性IP的區(qū)別在哪里?
EC2的IP地址包括三大類:私有IP、公有IP和彈性IP。
EC2的實(shí)例一旦被創(chuàng)建,就會(huì)動(dòng)態(tài)地分配兩個(gè)IP地址,即私有IP和公有IP。私有IP地址與實(shí)例相對應(yīng),由動(dòng)態(tài)主機(jī)配置協(xié)議(DHCP)分配產(chǎn)生。公有IP地址和私有IP地址之間通過網(wǎng)絡(luò)地址轉(zhuǎn)換(NAT)技術(shù)實(shí)現(xiàn)相互之間的轉(zhuǎn)換。公共IP和特定的實(shí)例相對應(yīng),在某個(gè)實(shí)例終結(jié)或被彈性IP地址替代之前,公共IP地址會(huì)一直存在,實(shí)例通過這個(gè)公有IP地址和外界通信。實(shí)例每次啟動(dòng)時(shí),公有IP都會(huì)發(fā)生變化。彈性IP則是與用戶賬號(hào)綁定,使用時(shí)可以代替公有IP通過NAT的方式實(shí)現(xiàn)與私有IP轉(zhuǎn)換,從而連接到EC2實(shí)例。
地理區(qū)域和可用區(qū)域有哪些區(qū)別?
AWS中采用了兩種區(qū)域(Zone),地理區(qū)域(Region Zone)和可用區(qū)域(Availability Zone)。地理區(qū)域是按實(shí)際的地理位置劃分的??捎脜^(qū)域是根據(jù)是否有獨(dú)立的供電系統(tǒng)和冷卻系統(tǒng)劃分,通常將每個(gè)數(shù)據(jù)中心看作一個(gè)可用區(qū)域。EC2系統(tǒng)中包含多個(gè)地理區(qū)域,而每個(gè)地理區(qū)域又包含多個(gè)可用區(qū)域。Amazom云平臺(tái)中,SQS的目的及組成部分,其中“消息”的格式是什么?
簡單隊(duì)列服務(wù)(SQS)是Amazon為了解決其云計(jì)算平臺(tái)之間不同組件的通信而設(shè)計(jì)開發(fā)的。SQS由三個(gè)基本部分組成:系統(tǒng)組件、隊(duì)列、消息。系統(tǒng)組件是SQS的服務(wù)對象,而SQS則是組件之間溝通的橋梁。組件有雙重角色,既是消息的發(fā)送者,也可以是消息的接受者。
“消息”格式:消息由以下四部分組成:
消息ID:由系統(tǒng)返回給用戶,用來標(biāo)識(shí)隊(duì)列中的不同消息。
接收句柄:當(dāng) 從隊(duì)列中接收消息時(shí)就會(huì)從消息那里得到一個(gè)接收句柄,這個(gè)句柄可以用來對消息進(jìn)行刪除等操作。
消息體:消息的正文部分,需要注意的是消息存放的是文本數(shù)據(jù)并且不能是URL編碼方式。消息體摘要:消息體字符串的MD5校驗(yàn)和。
非關(guān)系型數(shù)據(jù)庫和傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別
1.數(shù)據(jù)模型
關(guān)系數(shù)據(jù)庫對數(shù)據(jù)有嚴(yán)格的約束,包括數(shù)據(jù)之間的關(guān)系和數(shù)據(jù)的完整性。非關(guān)系數(shù)據(jù)庫的key-value存儲(chǔ)形式中,key和value可以使用任意的數(shù)據(jù)類型。2.數(shù)據(jù)處理:
關(guān)系數(shù)據(jù)庫滿足CAP原則的C和A,在P方面很弱,所以在可擴(kuò)展性方面弱,所以導(dǎo)致其在可擴(kuò)展性方面面臨很多問題。非關(guān)系型數(shù)據(jù)庫滿足CAP原則的A和P,而在C方面較弱,所以使得其無法滿足ACID要求。3.接口層
關(guān)系型數(shù)據(jù)庫都是以SQL語言對數(shù)據(jù)進(jìn)行訪問的,提供了強(qiáng)大的查詢功能,并便于在各種關(guān)系數(shù)據(jù)庫間移植。非關(guān)系型數(shù)據(jù)庫對數(shù)據(jù)庫的操作大多通過API來實(shí)現(xiàn),支持簡單的查詢功能,且由于不同數(shù)據(jù)庫之間API的不同而造成移植性較差。
綜上所述,關(guān)系數(shù)據(jù)庫具有高一致性,在ACID方面很強(qiáng),移植性很高;但在可擴(kuò)展性方面能力較弱,只能通過提高服務(wù)的配置來提高處理能力。非關(guān)系型數(shù)據(jù)庫具有很高的可擴(kuò)展性,可以通過增加服務(wù)器數(shù)量來不斷提高存儲(chǔ)規(guī)模,具有很好的并發(fā)處理能力;但由于缺乏數(shù)據(jù)的一致性保證,所以處理事務(wù)性問題能力較弱,并且難以處理跨表,跨服務(wù)器的查詢。
第四章
微軟云計(jì)算平臺(tái)包括幾部分?每部分的作用是什么?
當(dāng)前版本的Windows Azure平臺(tái)包括4 個(gè)組成部分:
(1)Windows Azure。位于云計(jì)算平臺(tái)最底層,是微軟云計(jì)算技術(shù)的核心。它作為微軟云計(jì)算操作系統(tǒng),提供了一個(gè)在微軟數(shù)據(jù)中心服務(wù)器上運(yùn)行應(yīng)用程序 和存儲(chǔ)數(shù)據(jù)的Windows 環(huán)境。
(2)SQL Azure。它是云中的關(guān)系數(shù)據(jù)庫,為云中基于SQL Azure 的關(guān)系型 數(shù)據(jù)提供服務(wù)。
(3)Windows Azure AppFabric。為在云中或本地系統(tǒng)中的應(yīng)用提供基于云 的基礎(chǔ)架構(gòu)服務(wù)。部署和管理云基礎(chǔ)架構(gòu)的工作均由AppFabric 完成,開發(fā)者只 需關(guān)心應(yīng)用邏輯。
(4)Windows Azure Marketplace。為購買云計(jì)算環(huán)境下的數(shù)據(jù)和應(yīng)用提供 在線服務(wù)。
Windows Azure 存儲(chǔ)服務(wù)提供了幾種類型的存儲(chǔ)方式?闡述每種存儲(chǔ)方式主要的存儲(chǔ)對象。答:Windows Azure 存儲(chǔ)服務(wù)目前主要提供了4 種主要的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu):
(1)Blob 類型。Blob 數(shù)據(jù)類型存儲(chǔ)二進(jìn)制數(shù)據(jù),可以存儲(chǔ)大型的無結(jié)構(gòu)數(shù)據(jù),容量巨大,能夠滿足海量數(shù)據(jù)存儲(chǔ)需求
(2)Table 類型。Table 數(shù)據(jù)類型能夠提供更加結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ),但是它不同于關(guān)系型數(shù)據(jù)庫管理系統(tǒng)中的二維關(guān)系表,查詢語言也不是大家熟悉的關(guān)系查詢語言SQL。(3)Queue 類型。Queue 類型的作用和微軟消息隊(duì)列(MSMQ)相近,用來支持在Windows Azure 應(yīng)用程序組件之間進(jìn)行通信。
(4)File 類型。File 類型使用標(biāo)準(zhǔn)SMB2.1 協(xié)議支持Windows Azure 虛擬機(jī)和云服務(wù),可通過裝載的共享在應(yīng)用程序組件之間共享文件數(shù)據(jù),本地應(yīng)用程序可通過文件存儲(chǔ)API 來訪問共享中的文件數(shù)據(jù)。
SQL Azure 數(shù)據(jù)同步技術(shù)主要有幾種?分別如何實(shí)現(xiàn)?
答:(1)SQL Azure 數(shù)據(jù)庫與SQL Server 數(shù)據(jù)庫之間的數(shù)據(jù)同步。用戶選擇這類同步的原因有很多,除了網(wǎng)絡(luò)故障等因素外,數(shù)據(jù)調(diào)度也需要數(shù)據(jù)副本在某一區(qū)域范圍內(nèi)進(jìn)行,同時(shí)需要防止某些操作失誤所帶來的數(shù)據(jù)丟失。這時(shí)用戶可以通過SQL Azure 數(shù)據(jù)庫和SQL Server 數(shù)據(jù)庫的信息同步在本地?cái)?shù)據(jù)庫保存副本。
(2)SQL Azure 數(shù)據(jù)庫之間的同步。某些ISVs(獨(dú)立的軟件開發(fā)商)或全球化的企業(yè)需要?jiǎng)?chuàng)建一個(gè)應(yīng)用,為了滿足高性能的需求,應(yīng)用的創(chuàng)建者也許會(huì)選擇在三個(gè)不同的Windows Azure 數(shù)據(jù)中心運(yùn)行這個(gè)應(yīng)用。如果這個(gè)應(yīng)用將數(shù)據(jù)存放在SQL Azure 數(shù)據(jù)中,需要使用SQL Azure 數(shù)據(jù)同步服務(wù)保持三個(gè)數(shù)據(jù)中心之間的信息同步。SQL Azure 數(shù)據(jù)同步服務(wù)使用“輪輻式”模型,所有的變化將會(huì)首先被復(fù)制到SQL Azure 數(shù)據(jù)庫“hub”上,然后再傳送到其他“spoke”以上。這些“spoke”成員可以是一個(gè)SQL Azure 數(shù)據(jù)庫,也可以是本地SQL Server 數(shù)據(jù)庫。上述的同步過程可以同步整個(gè)數(shù)據(jù)庫,也可以只同步有更新的數(shù)據(jù)庫表格。SQL Azure 和SQL Server 的相同點(diǎn)和不同點(diǎn)
相同點(diǎn):SQL Azure是云中的關(guān)系數(shù)據(jù)庫,和本地的SQL Server數(shù)據(jù)庫有很多相識(shí)的地方。比如SQL Azure 提供了一個(gè)表格數(shù)據(jù)流(TDS)接口供基于Transact-SQL的數(shù)據(jù)庫進(jìn)行訪問,這和SQL Server 中的實(shí)例訪問數(shù)據(jù)庫情況是相似的。
不同點(diǎn):在SQL Azure中,由于物理管理工作是由微軟進(jìn)行的,所以在管理、服務(wù)提供、Transact-SQL支持和編程方式等方面,與SQL Server有所不同。
Windows Azure最新版本包含5個(gè)部分:1.計(jì)算服務(wù),2.存儲(chǔ)服務(wù),3.Fabric控制器,4.內(nèi)容分發(fā)網(wǎng)絡(luò)CDN,5.Windows Azure Connect.存儲(chǔ)名空間被劃分為三部分:賬戶名,分區(qū)名和對象名
SQL Azure關(guān)鍵技術(shù):1.SQL Azure數(shù)據(jù)庫,2.SQL Azure報(bào)表服務(wù),3.SQL Azure數(shù)據(jù)同步
AppFabric關(guān)鍵技術(shù):1.服務(wù)總線,2.訪問控制,3.高速緩存。Windows Azure是微軟云計(jì)算戰(zhàn)略的核心:云計(jì)算操作系統(tǒng)
WAS的一個(gè)重要特征是能夠存儲(chǔ)和訪問達(dá)到甚至超過EB級(jí)的海量數(shù)據(jù),其產(chǎn)品系統(tǒng)由存儲(chǔ)域和位置服務(wù)構(gòu)成
存儲(chǔ)域的層次結(jié)構(gòu)包括哪三層:
1、文件流層,2、分區(qū)層,3、前段 文件流層包括流管理器和區(qū)塊節(jié)點(diǎn)兩大部分。
分區(qū)層包括一個(gè)分區(qū)管理器、多個(gè)分區(qū)服務(wù)器和一個(gè)鎖服務(wù)三個(gè)主要的體系結(jié)構(gòu)模塊。分區(qū)管理器:負(fù)責(zé)保存對象表到分區(qū)段的劃分和每個(gè)分區(qū)段到相應(yīng)分區(qū)服務(wù)器的分配情況。分區(qū)服務(wù)器:負(fù)責(zé)處理由分區(qū)管理器分配給它的一組分區(qū)段的請求。鎖服務(wù):Paxos鎖服務(wù)用于分區(qū)服務(wù)器的主服務(wù)器選舉。WAS 將分區(qū)B 拆成新的分區(qū)段C 和D 如何實(shí)現(xiàn)? 步驟1:分區(qū)管理器通知分區(qū)服務(wù)器將段B 拆分為C 和D。步驟2:分區(qū)服務(wù)器處理B 的檢查點(diǎn),再暫停相應(yīng)的服務(wù)請求。
步驟3:分區(qū)服務(wù)器使用一種“MultiModify”的特殊流操作處理B 的每個(gè)流,并分別生成與B 中區(qū)塊順序相同的C 和D 流子集,再追加C 和D 的新分區(qū)鍵值范圍到他們的元數(shù)據(jù)流。
步驟4:分區(qū)服務(wù)器開始將服務(wù)請求發(fā)送至新的分區(qū)C 和D。
步驟5:分區(qū)服務(wù)器通知分區(qū)管理器拆分操作完成,并且分區(qū)管理器更新分區(qū)映射表和相應(yīng)的元數(shù)據(jù)信息,分區(qū)管理器將其中一個(gè)拆分的分區(qū)遷移到一個(gè)不同的分區(qū)服務(wù)器。
第七章
虛擬機(jī)遷移的步驟
步驟1:預(yù)遷移。步驟2:預(yù)定資源。步驟3:預(yù)復(fù)制。步驟4:停機(jī)復(fù)制。步驟5:提交。步驟6:啟動(dòng)。
存儲(chǔ)虛擬化的三種實(shí)現(xiàn)方式?
(1)基于主機(jī)的存儲(chǔ)虛擬化:基于主機(jī)的存儲(chǔ)虛擬化,也稱基于服務(wù)器的存儲(chǔ)虛擬化或者基于系統(tǒng)卷管理器的存儲(chǔ)虛擬化,其一般是通過邏輯卷管理來實(shí)現(xiàn)的。
(2)基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化:基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化,也稱基于存儲(chǔ)控制器的存儲(chǔ)虛擬化。它主要是在存儲(chǔ)設(shè)備的磁盤、適配器或者控制器上實(shí)現(xiàn)虛擬化功能。
(3)基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化:基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化方法是在網(wǎng)絡(luò)設(shè)備上實(shí)現(xiàn)存儲(chǔ)虛擬化功能,它包括基于互聯(lián)設(shè)備和基于路由器兩種方式。
服務(wù)器虛擬化的底層實(shí)現(xiàn):1.CPU虛擬化,2.內(nèi)存虛擬化,3.I/O設(shè)備虛擬化 主流X86虛擬技術(shù):1.VMware威睿(VMware vSphere 5)2.Microsoft微軟(Windows2008 R2 Hyper-V)3.Citrix思杰(XenServer 6)4.Oracle甲骨文(Oracle VM 3.0)5.RedHat紅帽(Red Hat Enterprise Virtualization 3)
X86虛擬化基本功能:1.快照,2.創(chuàng)建和部署虛擬機(jī),3.創(chuàng)建模板,4.克隆虛擬機(jī),5.部署模板,6.配置虛擬機(jī)硬件、選項(xiàng)和資源
數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化劃分為:核心層(主要指數(shù)據(jù)中心核心網(wǎng)絡(luò)設(shè)備的虛擬化),接入層(可以實(shí)現(xiàn)數(shù)據(jù)中心接入層的分級(jí)設(shè)計(jì)),虛擬機(jī)網(wǎng)絡(luò)虛擬化(虛擬機(jī)網(wǎng)絡(luò)交互包括物理網(wǎng)卡虛擬化和虛擬網(wǎng)絡(luò)交換機(jī))
云計(jì)算中運(yùn)用虛擬化技術(shù)主要體現(xiàn)在對數(shù)據(jù)中心的虛擬化上。
數(shù)據(jù)中心的虛擬化是通過服務(wù)器虛擬化,存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化實(shí)現(xiàn)的。服務(wù)器虛擬化分為:寄居虛擬化和裸機(jī)虛擬化
第五篇:高校云計(jì)算研究情況總結(jié)
目前,正在積極投身于云計(jì)算相關(guān)基礎(chǔ)理論與技術(shù)研究工作的高校和科研院所包括以清華大學(xué)、北京大學(xué)、武漢大學(xué)、中國科學(xué)技術(shù)大學(xué)、華中科技大學(xué)、上海交通大學(xué)、合肥工業(yè)大學(xué)、北京航空航天大學(xué)、解放軍理工大學(xué)、中科院、北京郵電大學(xué)、北京交通大學(xué)、東北大學(xué)、山東大學(xué)等為代表的諸多科研單位。另外,在工業(yè)界從事云計(jì)算相關(guān)研究的單位包括華為、百度、新浪、騰訊、金蝶軟件、中國電信、中國移動(dòng)等諸多企業(yè)。
國內(nèi)高校與科研院所針對云計(jì)算的不同領(lǐng)域開展了深入的研究。例如,清華大學(xué)的云存儲(chǔ)平臺(tái)著力于構(gòu)建存儲(chǔ)云,武漢大學(xué)側(cè)重于面向云計(jì)算的互操作國際標(biāo)準(zhǔn),中科院計(jì)算所利用云計(jì)算開展數(shù)據(jù)挖掘與云安全工作,華中科技大學(xué)關(guān)注虛擬化技術(shù)與云安全,上海交通大學(xué)注重于數(shù)據(jù)的安全和隱私關(guān)鍵性技術(shù)研究,合肥工業(yè)大學(xué)側(cè)重將人工智能和信息管理研究成果遷移到云計(jì)算環(huán)境中,北京航天航空大學(xué)致力于云計(jì)算的數(shù)據(jù)安全控制理論與方法的研究,解放軍理工大學(xué)側(cè)重于云存儲(chǔ)研發(fā)與應(yīng)用,東北大學(xué)側(cè)重于利用云計(jì)算技術(shù)解決大規(guī)模圖數(shù)據(jù)處理問題,山東大學(xué)側(cè)重于研究SaaS軟件交付平臺(tái)的問題。
清華大學(xué)在云存儲(chǔ)研究方面,以分布式文件系統(tǒng)為基礎(chǔ)的云存儲(chǔ)平臺(tái),為校園網(wǎng)用戶設(shè)計(jì)開發(fā)了用于數(shù)據(jù)存儲(chǔ)與共享的云存儲(chǔ)服務(wù),利用底層云存儲(chǔ)平臺(tái)所提供的基礎(chǔ)存儲(chǔ)服務(wù),提供用戶管理與目錄管理的功能,增加了文件檢索功能,并對數(shù)據(jù)傳輸進(jìn)行了優(yōu)化,為用戶提供簡單實(shí)用的云存儲(chǔ)訪問接口。針對于越來越多的移動(dòng)計(jì)算需求,基于云存儲(chǔ)平臺(tái)設(shè)計(jì)開發(fā)了多種手機(jī)云存儲(chǔ)應(yīng)用,包括基于云存儲(chǔ)服務(wù)的電話號(hào)碼簿應(yīng)用、可在手機(jī)上進(jìn)行文件存儲(chǔ)與共享的文件管理應(yīng)用、基于云存儲(chǔ)服務(wù)的視頻點(diǎn)播應(yīng)用以及基于云存儲(chǔ)服務(wù)的相片管理應(yīng)用。在海量數(shù)據(jù)挖掘研究方面,結(jié)合云計(jì)算架構(gòu)和海量數(shù)據(jù)對象,開展基于云計(jì)算的海量數(shù)據(jù)挖掘研究,設(shè)計(jì)并實(shí)現(xiàn)面向海量數(shù)據(jù)挖掘的分布存儲(chǔ)和并行編程模型框架,提出基于群體智能的海量數(shù)據(jù)挖掘算法,以維基百科為載體,對維基百科及其形成的復(fù)雜社會(huì)網(wǎng)絡(luò)進(jìn)行深入的分析和挖掘,提供基于維基百科的深層次知識(shí)服務(wù)。
武漢大學(xué)在面向云計(jì)算的互操作標(biāo)準(zhǔn)方面開展了一定的工作。在云計(jì)算環(huán)境中,信息資源和服務(wù)是通過即用即付的方式提供給用戶的,需要對不同的信息資源和服務(wù)進(jìn)行統(tǒng)一的管理。同時(shí),用戶需求正逐漸呈現(xiàn)出多樣性和個(gè)性化的特征,使得滿足大眾用戶需求的服務(wù)定制也需要跨領(lǐng)域/組織的資源和服務(wù)通過共享、交互、互操作等方式共同完成。隨著云計(jì)算的發(fā)展,許多企業(yè)或組織已經(jīng)構(gòu)建了云計(jì)算平臺(tái),并提供了大量的內(nèi)部數(shù)據(jù)和服務(wù),但這些云計(jì)算平臺(tái)之間難以進(jìn)行有效的信息共享和交換,造成了“孤立云”的產(chǎn)生,如何利用開放的互操作性標(biāo)準(zhǔn)實(shí)現(xiàn)云-端以及云-云之間的互操作顯得十分重要。針對這一現(xiàn)狀,國際標(biāo)準(zhǔn)化組織ISO/IEC正在研制“互操作性元模型框架”的國際標(biāo)準(zhǔn)-ISO/IEC 19763: Information
Technology-Metamodel Framework for Interoperability(簡稱MFI)。其主要目標(biāo)是為已注冊的異構(gòu)信息資源和服務(wù)提供統(tǒng)一的注冊和管理機(jī)制,促進(jìn)它們之間的互操作。MFI標(biāo)準(zhǔn)從模型注冊、本體注冊、模型映射的角度對注冊信息資源的基本管理信息提供了參考,促進(jìn)信息系統(tǒng)之間的互操作。武漢大學(xué)代表中國參加了該標(biāo)準(zhǔn)的研制工作,并主持了其中5項(xiàng)標(biāo)準(zhǔn)的研制任務(wù)。
中國科學(xué)院計(jì)算技術(shù)研究所在Hadoop基礎(chǔ)上開發(fā)實(shí)現(xiàn)了并行數(shù)據(jù)挖掘工具平臺(tái)。該平臺(tái)已經(jīng)用于中國移動(dòng)TB級(jí)電信數(shù)據(jù)的挖掘,其數(shù)據(jù)處理規(guī)模遠(yuǎn)遠(yuǎn)超出商用軟件,在商用軟件能承受的相同數(shù)據(jù)規(guī)模下,采用相同方法和相同參數(shù)設(shè)置、獲得了一致的挖掘結(jié)果,實(shí)現(xiàn)了高性能、低成本的海量數(shù)據(jù)挖掘。中國科學(xué)院計(jì)算技術(shù)研究所在基于虛擬機(jī)架構(gòu)的可信計(jì)算環(huán)境與可信軟件設(shè)計(jì)方面也取得了一些成果,包括:基于虛擬機(jī)的可信計(jì)算平臺(tái)研究與設(shè)計(jì)(TRainbow);面向管理域虛擬機(jī)完整性的實(shí)時(shí)檢測技術(shù)(VMGuard);可信可控用戶虛擬計(jì)算環(huán)境構(gòu)建方法研究(TRIOB);面向虛擬存儲(chǔ)數(shù)據(jù)完整性的透明檢測技術(shù)(Tapwire);虛擬化全局內(nèi)存優(yōu)化技術(shù)(TMemCanal);分布化IO資源的全局可見與共享技術(shù);Xen虛擬計(jì)算環(huán)境下的可信接入控制技術(shù)。中國科學(xué)院軟件技術(shù)研究所圍繞云計(jì)算的安全問題也進(jìn)行了一系列的研究,包括針對云存儲(chǔ)中敏感數(shù)據(jù)的機(jī)密性保護(hù)問題,在基于屬性的加密基礎(chǔ)上提出了一種密文訪問控制方法HCRE;在基于密文策略的屬性加密應(yīng)用場景下,實(shí)現(xiàn)了云存儲(chǔ)中高效、精細(xì)、靈活的密文訪問控制方案等。
華中科技大學(xué)也在云計(jì)算方面進(jìn)行了很多實(shí)踐,包括:設(shè)計(jì)出了一個(gè)面向科學(xué)計(jì)算與企業(yè)信息化的云計(jì)算平臺(tái)GRANE;實(shí)現(xiàn)了一個(gè)面向云環(huán)境的虛擬化桌面CloudDesk,它能動(dòng)態(tài)適應(yīng)用戶的需求變化,為用戶提供高效、安全、易用的云資源訪問的桌面環(huán)境;從任務(wù)并行調(diào)度,數(shù)據(jù)組織與壓縮,備份服務(wù)可信及容錯(cuò)模型三方面著手,研究出了一個(gè)云備份系統(tǒng)B-Cloud;基于云模式的大規(guī)模主動(dòng)安全防御系統(tǒng)CloudFence,它是采用安全檢測與防御相分離的原則,充分利用云端強(qiáng)大的處理能力和存儲(chǔ)能力。
上海交通大學(xué)針對云計(jì)算中存在的數(shù)據(jù)安全問題,利用密碼理論與技術(shù)、網(wǎng)絡(luò)與信息安全技術(shù)、編碼理論等方向所取得的成果,解決數(shù)據(jù)安全存在的一基礎(chǔ)問題,提高云計(jì)算的安全性,并開展了下一代互聯(lián)網(wǎng)安全與隱私關(guān)鍵性技術(shù)研究。另外,上海交通大學(xué)與微軟合作,共同搭建國內(nèi)高校第一個(gè)基于最新虛擬化技術(shù)和System Center的私有云,為教學(xué)與科研項(xiàng)目提供可伸縮的計(jì)算資源。
北京航空航天大學(xué)利用分布式環(huán)境下的訪問控制方法和可信計(jì)算信任模型方面的研究基礎(chǔ),致力于面向云計(jì)算的自含式數(shù)據(jù)安全控制理論與方法的研究,來提高云安全性。
解放軍理工大學(xué)在云計(jì)算存儲(chǔ)應(yīng)用方面,研發(fā)MassCloud云存儲(chǔ)平臺(tái)在節(jié)能與集成度上取得了階段性的突破,并在實(shí)際應(yīng)用中獲得巨大成效。目前,360公司在解放軍理工大學(xué)成立了云計(jì)算聯(lián)合實(shí)驗(yàn)室。
東北大學(xué)基于BSP處理模型和系統(tǒng)實(shí)現(xiàn)了社會(huì)網(wǎng)絡(luò)中的大規(guī)模圖數(shù)據(jù)查詢與分析,研究了大規(guī)模圖數(shù)據(jù)的劃分與定位問題、大規(guī)模圖數(shù)據(jù)的磁盤存儲(chǔ)問題、大規(guī)模圖的分布并行查詢處理和查詢優(yōu)化問題以及云環(huán)境下的執(zhí)行保障問題,設(shè)計(jì)并實(shí)現(xiàn)了BeeGraph系統(tǒng),支持大規(guī)模圖數(shù)據(jù)的處理。
山東大學(xué)對面向多租戶的SaaS平臺(tái)開展了研究,包括支持多租戶數(shù)據(jù)隔離的存儲(chǔ)與索引機(jī)制,基于Chunk Folding的自適應(yīng)多租戶緩存管理機(jī)制,支持租戶業(yè)務(wù)流程定制行為建模及驗(yàn)證的框架,以及面向SaaS應(yīng)用的數(shù)據(jù)組合隱私保護(hù)機(jī)制,為面向多租戶的SaaS平臺(tái)提供技術(shù)支撐。
中國科學(xué)技術(shù)大學(xué)在云計(jì)算環(huán)境下遠(yuǎn)程數(shù)據(jù)完整性和認(rèn)證技術(shù)方面,結(jié)合數(shù)論中的同態(tài)RSA驗(yàn)證標(biāo)識(shí),設(shè)計(jì)了保護(hù)用戶隱私的數(shù)據(jù)完整性驗(yàn)證協(xié)議,能夠支持?jǐn)?shù)據(jù)動(dòng)態(tài)更新和公開的多副本驗(yàn)證,而無需第三方審計(jì)。針對已有遠(yuǎn)程身份認(rèn)證方案存在的缺陷和安全漏洞,提出了新的身份認(rèn)證方案。認(rèn)證方案結(jié)合使用智能卡、口令和電子票據(jù),既能夠?yàn)橛脩艉头?wù)器提供雙向身份認(rèn)證,也通過電子票據(jù)的發(fā)放解決了限制用戶訪問次數(shù)的問題。