第一篇:云計算第二章總結
Google云計算技術包括:
Google文件系統(tǒng) GFS、分布式計算編程模型MapReduce、分布式鎖服務Chubby、分布式結構化數(shù)據(jù)表Bigtable。
簡述谷歌文件系統(tǒng)GFS:
GFS是一個大型的分布式文件系統(tǒng),它為Goole云計算提供海量存儲,并且與Chubby、MapReduce及Bigtable等技術結合十分緊密,處于所有 核心技術的底層。
GFS將整個系統(tǒng)的節(jié)點分為哪幾類角色:
Client(客戶端)、Master(主服務器)、Chunk Server(數(shù)據(jù)塊服務器)。
Master是GFS的管理節(jié)點,在邏輯上只有一個,他保存系統(tǒng)的元數(shù)據(jù),負責整個文件系統(tǒng)的管理,是GFS文件系統(tǒng)中的“大腦”。
Chunk Server負責具體的存儲工作。數(shù)據(jù)以文件的形式存儲在Chunk Server 的個數(shù)可以有多個,他的數(shù)目直接決定了GFS的規(guī)模。GFS將文件按照固定大小進行分塊,默認是64MB,每一塊稱為一個Chunk(數(shù)據(jù)塊),每個Chunk都有一個對應的索引號(Index)。
GFS具有哪些特點:
1、采用中心服務器模式:GFS采用中心服務器模式管理整個文件系統(tǒng),增加新的Chunk Server是一件非常容易的事情。
2、不緩存數(shù)據(jù):緩存機制是提升文件系統(tǒng)的性能的一個重要手段,通用文件系統(tǒng)為了提高性能,一般需要實現(xiàn)復雜的緩存機制。GFS文件系統(tǒng)根據(jù)應用的特點,沒有實現(xiàn)緩存,因為GFS的數(shù)據(jù)在Chunk Server上是以文件的形式存儲。
3、在用戶態(tài)下實現(xiàn)
4、只提供專用接口
GFS容錯機制包含:
1、Master容錯: Master上保存了GFS文件系統(tǒng)的三種元數(shù)據(jù)。(1)、命名空間,也就是整個文件系統(tǒng)的目錄結構。(2)、Chunk與文件名的映射表
(3)、Chunk副本的位置信息,每一個Chunk默認有三個副本。
前兩種GFS通過操作日志來提供容錯功能。第三種直接保存各個Chunk Server上,當master發(fā)生故障時,迅速恢復以上元數(shù)據(jù)。為了防止master徹底死機,GFS提供了master遠程的實時備份。
2、Chunk Server容錯: GFS采用副本的方式實現(xiàn)其容錯。如果相關副本丟失或不可恢復,master自動將副本復制到其他Chunk Server.GFS把每一個文件劃分成多個Chunk, GFS系統(tǒng)管理技術:
1、大規(guī)模集群安裝技術
2、故障檢測技術
3、節(jié)點動態(tài)加入技術
4、節(jié)能技術
分布式數(shù)據(jù)處理MapReduce:
什么是MapReduce? Map(映射)Reduce(化簡)是Google提出的一個軟件架構,是一種處理海量數(shù)據(jù)的并行編程模式,用于大規(guī)模數(shù)據(jù)集的并行計算。
MapReduce封裝了并行處理、容錯處理、本地化計算、負載均衡等細節(jié),還提供了一個接口。MapReduce把對數(shù)據(jù)集的大規(guī)模操作,分發(fā)給一個主節(jié)點管理下的各分節(jié)點共同完成,通過這種方式實現(xiàn)任務的可靠執(zhí)行與容錯機制。
MapReduce的容錯機制:通過重新執(zhí)行失效的地方來實現(xiàn)容錯。
1、Master失效:master會周期性地設置檢查點,并導出Master的數(shù)據(jù)。一旦某個任務失效,系統(tǒng)就從最近的一個檢查點恢復并重新執(zhí)行。如果master失效終止整個MapReduce重新開始。
2、Worker失效:
Master會周期性的給worker發(fā)送Ping命令,如果沒有worker的應答,則master認為worker失效,終止對這個worker的任務調(diào)度,把失效的worker的任務調(diào)度到其他worker上重新執(zhí)行。
如何利用MapReduce進行數(shù)據(jù)排序:
1、對原始數(shù)據(jù)進行分割
2、對每個數(shù)據(jù)分塊都啟動一個Map進行處理。
3、對于Map之后得到的中間結果,啟動26各Reduce。
什么是分布式鎖服務Chubby:
Chubby是
1、Google設計的提供粗粒度鎖服務的一個文件系統(tǒng),2、它基于松耦合分布式系統(tǒng),3、解決了分布的一致性問題。通過使用Chubby的鎖服務,用戶可以確保數(shù)據(jù)操作過程中的一致性。
4、Chubby鎖是一種建議性的鎖而不是強制性的鎖,這種選擇使系統(tǒng)具有更大的靈活性。
Paxos算法中節(jié)點被分成了三種類型:proposers、acceptors、和learners,其中proposers提出決議,acceptors批準決議、learners獲取并使用已經(jīng)通過的決議。一個節(jié)點可以兼有多重類型,滿足三個條件保持數(shù)據(jù)的一致性,(1)、決議只有在被Proposers提出后才能批準(2)、每次只能批準一個決議(3)、只有決議確定被批準后learners才能獲取這個決議。
Chubby的設計目標主要有:
(1)、高可用性(2)、高擴展性(3)、支持粗粒度的建議性鎖服務(4)、服務信息的直接存儲(5)、支持通報機制(6)、支持緩存機制 Chubby文件系統(tǒng):
Chubby系統(tǒng)本質(zhì)上就是一個分布式的、存儲大量小文件的文件系統(tǒng),它所有的操作都是在文件的基礎上完成的,系統(tǒng)規(guī)定每個節(jié)點的元數(shù)據(jù)都應包含以下四種單調(diào)遞增的64位編號,(1)、實例號(2)、內(nèi)容生成號(3)、鎖生成號(4)、ACL生成號
Chubby采用的是ACL形式的安全保障措施,只要不被覆寫,子節(jié)點都是直接繼承父節(jié)點的ACL名。什么是分布式結構化數(shù)據(jù)表Bigtable: Bigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲系統(tǒng),它的設計應達到以下幾個目標:(1)、廣泛的適用性(2)、很強的可擴展性(3)、高可用性(4)、簡單性
Bigtable是一個分布式多維映射表,表中的數(shù)據(jù)通過一個行關鍵字、一個列關鍵字以及一個時間戳進行索引。
在Bigtable中Chubby主要有以下幾個作用:
(1)、選取并保證同一時間內(nèi)只有一個主服務器(Master Server)(2)獲取子表的位置信息
(3)保存Bigtable的模式信息及訪問控制列表
Bigtable主要由三個部分組成:客戶端程序庫、一個主服務器和多個子表服務器
每個子表都是由多個SSTable以及日志文件構成。
在Bigtable系統(tǒng)的內(nèi)部采用的是一種類似B+樹的三層查詢體系。
所有的子表地址都被記錄在元數(shù)據(jù)表中,元數(shù)據(jù)表也是由一個個的元數(shù)據(jù)子表組成的。為了減少訪問開銷,提高客戶訪問效率,Bigtable使用了緩存和預取技術。在Bigtable中有三種形式的數(shù)據(jù)壓縮,分別是次壓縮、合并壓縮、主壓縮。Bigtable性能優(yōu)化:
1、局部性群組
2、壓縮
3、布隆過濾器
分布式存儲系統(tǒng)Megastore的設計目標明確,那就是設計一種介于傳統(tǒng)的關系型數(shù)據(jù)庫和NoSQL之間的存儲技術,盡可能達到高可用性和高可擴展性的統(tǒng)一
第二篇:云計算總結
云計算總結
(2009-10-22 00:02:46)轉(zhuǎn)載▼
標簽: 分類: 教育技術學基礎云計算 理論
云計算是在網(wǎng)格計算之后06年開始流行起來的一個名詞,以下是我針對云計算的基本內(nèi)容做一個總結:
一、云計算的概念:
到目前為止,云計算還沒有一個統(tǒng)一的定義。IBM,Google,Microsoft,SUN,Amazon等研究組織和相關廠家,依據(jù)各自的利益和各自不同個的研究視角都給出了對云計算的定義和理解。
IBM公司于2007年宣布了藍云計劃,在IBM的技術白皮書中“Cloud Computing”中云計算的定義如下:“云計算一詞用來同時描述一個系統(tǒng)平臺或者一種類型的應用程序。一個云計算的平臺按需進行動態(tài)的部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服務(deprovision)等。在云計算平臺中的服務器可以是物理的服務器或者虛擬的服務器。高級的計算云通常包含一些其他的計算資源,例如存儲區(qū)域網(wǎng)絡(SANs),網(wǎng)絡設備,防火墻以及其他安全設備等。云計算在描述應用方面,它描述了一種可以通過互聯(lián)網(wǎng)Internet進行訪問的高擴展的應用程序。
“云使用”是大規(guī)模的數(shù)據(jù)中心以及功能強勁的服務器來運行網(wǎng)絡應用程序與網(wǎng)絡服務。任何一個用戶可以通過合適的互聯(lián)網(wǎng)接入設備以及一個標準的瀏覽器就能夠訪問一個云計算應用程序?!?/p>
上面的定義給出了云計算的兩個方面的含義:一方面描述了基礎設施,用來構造應用程序,其地位相當于PC機上的操作系統(tǒng);另一方面描述了建立在這種基礎設施之上的云計算應用。
還有以下分別從模型、模式等方面對云計算的定義
云計算是一種新興的計算模型:用戶可以利用該模型在任何地方通過連接的設備訪問應用程序,應用程序位于可大規(guī)模伸縮的數(shù)據(jù)中心,計算資源可在其中動態(tài)部署并進行共享;或是脫離了本地計算且計算任務分配到遠端大型的統(tǒng)一的計算平臺上的模型
云是由一系列相互聯(lián)系并且虛擬化的計算機組成的并行和分布式系統(tǒng)模式。基于這樣云的計算稱為云計算。簡單地說,云計算就是指基于互聯(lián)網(wǎng)絡的超級計算模式。即把存儲于個人電腦、服務器和其他設備上的大量存儲器容量和處理器資源集中在一起,統(tǒng)一管理并且協(xié)同工作。
云計算(Cloud Computing)是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計算(Grid
Computing)的發(fā)展,或者說是這些計算機科學概念的商業(yè)實現(xiàn)。
根據(jù)上面的引用內(nèi)容,我認為云計算的功能類似于Telenet,只是Telenet中的遠程計算機變成了云計算服務器,用戶只需通過PC機、筆記本或智能手機聯(lián)通網(wǎng)絡,在云計算平臺上實現(xiàn)自己的要求即可。而且用戶端口只需要有基本的輸入輸出界面,網(wǎng)絡連接設備即可,不需用安裝各種各樣的軟件;用戶的數(shù)據(jù)存儲在云計算數(shù)據(jù)中心,不用再擔心如果硬盤出問題數(shù)據(jù)丟失的問題。即隨時隨地只要能上網(wǎng)就能應用各種各樣的服務,如同錢莊、銀行、發(fā)電廠等。用一個圖片來解釋如下:
二、云計算的特征
要想成為云計算,必須具備以下五個方面的特征:1)水平可擴展性,即將多片云連接并整合為一片云來工作的能力。
2)垂直可擴展性,即通過增強云中單個或多個節(jié)點的性能來提升整個云性能的能力。3)以互聯(lián)網(wǎng)為中心。云平臺運營商一互聯(lián)網(wǎng)為中心,將存儲和運算能力分布在網(wǎng)絡所連接的各個節(jié)點之中,從而弱化終端的計算能力,使互聯(lián)網(wǎng)的架構由“服務器+客戶端”向“云服務平臺+客戶端”演進。4)虛擬化,將底層的硬件,包括服務器、存儲于網(wǎng)絡設備全面虛擬化,建立起一個共享的可以按需分配的基礎資源池。5)用戶透明,包括操作透明和技術透明。操作透明,即對處在云計算環(huán)境下的用戶來說,在云中進行計算操作或數(shù)據(jù)存儲操作與其在本機上進行相應的操作是沒有區(qū)別的;技術透明,指用戶不用關心云中的節(jié)點是如何協(xié)同工作的以及怎樣擴展的。
三、云計算的應用類型
Saas(軟件即服務)——通過瀏覽器把程序傳給成千上萬的用戶。
Paas(平臺即服務)——把開發(fā)環(huán)境作為一種服務來提供。Iaas(基礎設施即服務)
1、SaaS軟件即服務
這類云計算是通過WEB瀏覽器來向成千上萬個用戶提供某種單一的軟件應用。在用戶看來,這樣他們不需要事先購買服務器設備或是軟件授權;而對于廠商來說,與常規(guī)的軟件
服務模式相比,僅提供一項應用的成本也要低得多。一個典型的針對企業(yè)級應用的例子就是Salesforce.com的CRM。另外,SaaS在人力資源軟件應用中也比較普遍,甚至它已經(jīng)開始向ERP領域拓展,如Workday。而且,誰又能料到,GoogleApps和Zoho Office這種同樣基于SaaS的“桌面”應用會突然火爆起來呢?
2、公用/效用計算
公用/效用計算雖已不是新穎的概念了,但如今它正被付予新的含義。Amazon的AWS、Sun的存儲云、IBM的“藍云”以及其他廠商所共同倡導的的云計算,正在為整個業(yè)界提供所需要的存儲資源和虛擬化服務器等應用。早期的企業(yè)主要將公用/效用計算作為一種補充手段,不會應用在關鍵性任務需求上。但是時至今日公用/效用計算逐漸在數(shù)據(jù)中心開始占據(jù)一席之地。一些廠商開始幫助企業(yè)用戶創(chuàng)建虛擬的數(shù)據(jù)中心,諸如3Tera的AppLogic,Cohesive Flexible Technologies的Elastic Server on Demand(可按需實現(xiàn)彈性擴展的服務器)。Liquid Computing公司的LiquidQ也有類似的服務,能幫助企業(yè)將內(nèi)存、I/0、存儲和計算容量通過網(wǎng)絡集成為一個虛擬的資源池來使用。
云計算如今已成為又一風靡的概念。與很多同行一樣,Gartner資深分析師Ben Pring認為:“云計算就像法國大餐一
樣正被人們津津樂道?!比欢?,問題在于(類似Web 2.0一樣),似乎每個人對云計算的定義都有不同之處。
3、云計算領域的WEB服務
與SaaS有些類似,WEB服務廠商也是通過提供API讓開發(fā)人員來開發(fā)互聯(lián)網(wǎng)應用,而不是自己來提供功能全面的應用軟件。這種云計算的服務范圍非常廣泛,從分散的商業(yè)服務(諸如Strike Iron和Xignite),到GoogleMaps、ADP薪資處理、美國郵政服務、Bloomberg和常規(guī)信用卡處理服務等的全套API服務。
4、平臺即服務
平臺即服務(Platform as a service)是軟件即服務(SaaS)的變種,這種形式的云計算將開發(fā)環(huán)境作為服務來提供給用戶。也就是說,用戶可以在供應商的基礎架構上創(chuàng)建自己的應用軟件來運行,然后通過網(wǎng)絡直接從供應商的服務器上傳遞給其他用戶(例如Legos)。然而,這類服務會受到廠商的設計規(guī)定與容量限制,用戶也因此沒有足夠的自由。這類云計算服務包括Salesforce.com的Force.com、Coghead和全新的GoogleApp Engine。
5、管理服務供應商(MSP)
管理服務(managed service)是云計算最古老的形式之一,它面向的IT管理人員而不是最終用戶,例如用于電子郵件的病
毒掃描服務,還有應用軟件監(jiān)控服務等。由SecureWorks、IBM和Verizon公司提供的管理安全服務就可歸為此類,還包括目前被Google收購的Postini以云為基礎的反垃圾郵件服務。MSP的其他產(chǎn)品還包含桌面管理服務,諸如CenterBeam和Everdream提供的產(chǎn)品。
6、服務商業(yè)平臺
這種云計算服務融合了SaaS和MSP,它實際上為用戶提供了一種交互性服務平臺。這在日常的商業(yè)貿(mào)易領域是非常普遍的,比如,某種消費管理系統(tǒng)可以讓用戶從一個網(wǎng)絡平臺上訂購旅行或秘書類服務,而且服務的配送實現(xiàn)方式和價格也都是由用戶事先設定好的。其非常典型的例子是Rearden Commerce和Ariba。
7、云計算集成
云計算服務的整合還只是剛剛開始。SaaS供應商OpSource最近就推出了OpSource Services Bus,它使用了一家叫Boomi的小公司的云計算集成技術。另一家SaaS 供應商Workday最近也收購了該領域的另一家公司CapeClear。CapeClear提供的是針對B2B集成的ESB(enterprise service bus,企業(yè)服務總線)。另外,2005開始興起的Grand Central,則想成為一種通用的“云計算總線”(bus in the cloud),通過把多家SaaS供應商聯(lián)合在一起來為客戶提供完整的服務。
四、技術挑戰(zhàn)
1、高可靠的系統(tǒng)技術——大規(guī)模的集成計算機系統(tǒng);容錯技術,即單節(jié)點的錯誤不應影響系統(tǒng)運行,能夠檢查錯點,具有重啟技術。
2、可擴展的并行計算技術——云計算的核心技術
3、海量的數(shù)據(jù)挖掘存儲和管理技術——并行計算,加速數(shù)據(jù)處理,需要新的思路、方法、算法;將集群數(shù)據(jù)庫擴展到成千上萬個節(jié)點還是被類似于google文件系統(tǒng)的新技術替代?
4、數(shù)據(jù)安全技術——數(shù)據(jù)銀行;安全性,保密性,訪問權限的風險性;隱私和可靠性。
關于云計算還有很多內(nèi)容,在以后的學習中我將慢慢補充。
第三篇:“云計算”培訓總結
“云計算”培訓總結
計算機自誕生開始,先后經(jīng)歷了四個階段:
1、第一代計算機(1946~1958)
電子管為基本電子器件;使用機器語言和匯編語言;主要應用于國防和科學計算;運算速度每秒幾千次至幾萬次。
2、第二代計算機(1958~1964)
晶體管為主要器件;軟件上出現(xiàn)了操作系統(tǒng)和算法語言;運算速度每秒幾萬次至幾十萬次。
3、第三代計算機(1964~1971)
普遍采用集成電路;體積縮小;運算速度每秒幾十萬次至幾百萬次。
4、第四代計算機(1971~)
以大規(guī)模集成電路為主要器件;運算速度每秒幾百萬次至上億次。
計算機的運算速度在不斷增加,而成本卻在不斷的降低?,F(xiàn)在已經(jīng)進入由第四代衍生出的一個時代,云計算時代。
云計算操作系統(tǒng),又稱云計算中心操作系統(tǒng)、云OS,是云計算后臺數(shù)據(jù)中心的整體管理運營系統(tǒng),它是指構架于服務器、存儲、網(wǎng)絡等基礎硬件資源和單機操作系統(tǒng)、中間件、數(shù)據(jù)庫等基礎軟件管理的海量的基礎硬件、軟資源之上的云平臺綜合管理系統(tǒng)。
云計算(cloud computing,分布式計算技術的一種,其最基本的概念,是透過網(wǎng)絡將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序,再交由多部服務器所組成的龐大系統(tǒng)經(jīng)搜尋、計算分析之后將處理結果回傳給用戶。透過這項技術,網(wǎng)絡服務提供者可以在數(shù)秒之內(nèi),達成處理數(shù)以千萬計甚至億計的信息,達到和“超級計算機”同樣強大效能的網(wǎng)絡服務。
云是一種基于互聯(lián)網(wǎng)的計算新方式,通過互聯(lián)網(wǎng)上異構、自治的服務為個人和企業(yè)用戶提供按需即取的計算。由于資源是在互聯(lián)網(wǎng)上,而在電腦流程圖中,互聯(lián)網(wǎng)常以一個云狀圖案來表示,因此可以形象地類比為云,“云”同時也是對底層基礎設施的一種抽象概念。云計算的資源是動態(tài)易擴展而且虛擬化的,通過互聯(lián)網(wǎng)提供。終端用戶不需要了解“云”中基礎設施的細節(jié),不必具有相應的專業(yè)知識,也無需直接進行控制,只關注自己真正需要什么樣的資源以及如何通過網(wǎng)絡來得到相應的服務。
云共分為公有云、私有云、混合云三種情況。
在實現(xiàn)面向云計算的數(shù)據(jù)中心演進過程中,隨著數(shù)據(jù)中心的高度虛擬化,在節(jié)約成本及運營效率取得顯著成果的同時,存儲、網(wǎng)絡、電源管理和安全等方面的挑戰(zhàn)仍有待解決。所以云技術可以很好的解決上面的問題。
最簡單的云計算技術在網(wǎng)絡服務中已經(jīng)隨處可見,例如搜尋引擎、網(wǎng)絡信箱等,使用者只要輸入簡單指令即能得到大量信息。未來如手機、GPS等行動裝置都可以透過云計算技術,發(fā)展出更多的應用服務。
云計算的特點總結如下:
1、超大規(guī)模。
“云”具有相當?shù)囊?guī)模,Google云計算已經(jīng)擁有100多萬臺服務器,Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務器。企業(yè)私有云一般擁有數(shù)百上千臺服務器?!霸啤蹦苜x予用戶前所未有的計算能力。
2、虛擬化。
云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”,而不是固定的有形的實體。應用在“云”中某處運行,但實際上用戶無需了解、也不用擔心應用運行的具體位置。只需要一臺筆記本或者一個手機,就可以通過網(wǎng)絡服務來實現(xiàn)我們需要的一切,甚至包括超級計算這樣的任務。
3、高可靠性。
“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構可互換等措施來保障服務的高可靠性,使用云計算比使用本地計算機可靠。
4、通用性。
云計算不針對特定的應用,在“云”的支撐下可以構造出千變?nèi)f化的應用,同一個“云”可以同時支撐不同的應用運行。
5、高可擴展性。
“云”的規(guī)??梢詣討B(tài)伸縮,滿足應用和用戶規(guī)模增長的需要。
6、按需服務。
“云”是一個龐大的資源池,你按需購買;云可以象自來水,電,煤氣那樣計費。
7、極其廉價。
由于“云”的特殊容錯措施可以采用極其廉價的節(jié)點來構成云,“云”的自動化集中式管理使大量企業(yè)無需負擔日益高昂的數(shù)據(jù)中心管理成本,“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升,因此用戶可以充分享受“云”的低成本優(yōu)勢,經(jīng)常只要花費幾百美元、幾天時間就能完成以前需要數(shù)萬美元、數(shù)月時間才能完成的任務。
云計算可以徹底改變?nèi)藗兾磥淼纳?,但同時也要重視環(huán)境問題,這樣才能真正為人類進步做貢獻,而不是簡單的技術提升。
8、潛在的危險性。
云計算服務除了提供計算服務外,還必然提供了存儲服務。但是云計算服務當前壟斷在私人機構(企業(yè))手中,而他們僅僅能夠提供商業(yè)信用。對于政府機構、商業(yè)機構(特別象銀行這樣持有敏感數(shù)據(jù)的商業(yè)機構)對于選擇云計算服務應保持足夠的警惕。一旦商業(yè)用戶大規(guī)模使用私人機構提供的云計算服務,無論其技術優(yōu)勢有多強,都不可避免地讓這些私人機構以“數(shù)據(jù)(信息)”的重要性挾制整個社會。對于信息社會而言,“信息”是至關重要的。另一方面,云計算中的數(shù)據(jù)對于數(shù)據(jù)所有者以外的其他用戶云計算用戶是保密的,但是對于提供云計算的商業(yè)機構而言確實毫無秘密可言。這就象常人不能監(jiān)聽別人的電話,但是在電訊公司內(nèi)部,他們可以隨時監(jiān)聽任何電話。所有這些潛在的危險,是商業(yè)機構和政府機構選擇云計算服務、特別是國外機構提供的云計算服務時,不得不考慮的一個重要的前提。
云計算的幾大形式:
InfoWorld網(wǎng)站同數(shù)十家公司、分析家和IT用戶討論出了云計算的幾大形式:
1.SAAS(軟件即服務)
這種類型的云計算通過瀏覽器把程序傳給成千上萬的用戶。在用戶眼中看來,這樣會省去在服務器和軟件授權上的開支;從供應商角度來看,這樣只需要維持一個程序就夠了,這樣能夠減少成本。Salesforce.com是迄今為止這類服務最為出名的公司。SAAS在人力資源管理程序和ERP中比較常用。Google Apps和Zoho Office也是類似的服務
2.實用計算(Utility Computing)
這個主意很早就有了,但是直到最近才在Amazon.com、Sun、IBM和其它提供存儲服務和虛擬服務器的公司中新生。這種云計算是為IT行業(yè)創(chuàng)造虛擬的數(shù)據(jù)中心使得其能夠把內(nèi)存、I/O設備、存儲和計算能力集中起來成為一個虛擬的資源池來為整個網(wǎng)絡提供服務。
3.網(wǎng)絡服務
同SAAS關系密切,網(wǎng)絡服務提供者們能夠提供API讓開發(fā)者能夠開發(fā)更多基于互聯(lián)網(wǎng)的應用,而不是提供單機程序。
4.平臺即服務
另一種SAAS,這種形式的云計算把開發(fā)環(huán)境作為一種服務來提供。你可以使用中間商的設備來開發(fā)自己的程序并通過互聯(lián)網(wǎng)和其服務器傳到用戶手中。
5.MSP(管理服務提供商)
最古老的云計算運用之一。這種應用更多的是面向IT行業(yè)而不是終端用戶,常用于郵件病毒掃描、程序監(jiān)控等等。
6.商業(yè)服務平臺
SAAS和MSP的混合應用,該類云計算為用戶和提供商之間的互動提供了一個平臺。比
如用戶個人開支管理系統(tǒng),能夠根據(jù)用戶的設置來管理其開支并協(xié)調(diào)其訂購的各種服務。
7.互聯(lián)網(wǎng)整合將互聯(lián)網(wǎng)上提供類似服務的公司整合起來,以便用戶能夠更方便的比較和選擇自己的服務供應商。
云計算主要應用:
1、亞馬遜網(wǎng)站Amazon.com
是以在線書店和電子零售業(yè)起家的,如今已在業(yè)界享有盛譽,不過它最新的業(yè)務卻與云計算有關。兩年多以前,亞馬遜作為首批進軍云計算新興市場的廠商之一,為嘗試進入該領域的企業(yè)開創(chuàng)了良好的開端。
2、谷歌公司Google
圍繞因特網(wǎng)搜索創(chuàng)建了一種超動力商業(yè)模式。如今,他們又以應用托管、企業(yè)搜索以及其他更多形式向企業(yè)開放了他們的“云”。
3、Salesforce
是軟件即服務廠商的先驅(qū),它一開始提供的是可通過網(wǎng)絡訪問的銷售力量自動化應用軟件。在該公司的帶動下,其他軟件即服務廠商已如雨后春筍般蓬勃而起。Salesforce的下一目標是:平臺即服務。
4、微軟公司
在云計算的起步階段,微軟曾經(jīng)歷過不少周折。經(jīng)過幾年的磨合調(diào)整之后,這個軟件巨頭的云計算戰(zhàn)略終于走上了正軌。
培訓總結:
云計算現(xiàn)由于在法律方面存在問題,待相關部門出臺法律之后,對云相關數(shù)據(jù)進行法律保護,云系統(tǒng)會得到全面的推廣,下一步云計算是信息化發(fā)展的方向,云計算在節(jié)省成本合理優(yōu)化企業(yè)資源都有很大的優(yōu)勢。到時企業(yè)可以建立自己的私有云來提供服務,更加方便、快捷、節(jié)約成本。
2011年11月
第四篇:云計算期末考試總結【強烈推薦】
第一章
什么是“新摩爾定律”:
每18個月全球新增信息量是計算機有史以來全部信息量的總和。
云計算具有哪些特點:
(1)、超大規(guī)模(2)、虛擬化(3)、高可靠性(4)、通用性(5)、高可伸縮性、(6)、按需服務(7)、極其廉價
云計算按照服務類型大致分為三類:
將基礎設施作為服務(Iaas)、將平臺作為服務(Paas)、將軟件作為服務(SaaS)什么是Iaas? 將硬件設備等基礎資源封裝成服務供用戶使用,如AWS的彈性計算云EC2和簡單存儲服務S3。
什么是Paas?
對資源的抽象層次更進一步,它提供用戶應用程序的運行環(huán)境,典型的如Google App Engine。
什么是SaaS?
它的針對性更強,它將某些特定應用軟件功能封裝成服務,如Salesforce公司提供的在線客戶關系管理CRM服務。
云計算技術體系結構分為四層:
物理資源層、資源池層、管理中間件層和SOA構建層
(管理中間件層和資源池層是云計算技術的最關鍵部分)
物理資源層包括計算機、存儲器、網(wǎng)絡設施、數(shù)據(jù)庫和軟件。資源池層是將大量相同類型的資源構成同構或接近同構的資源池,如計算資源池、數(shù)據(jù)資源池。構建資源池更多的是物理資源的集成和管理工作。
管理中間件層負責對云計算的資源進行管理,并對眾多應用任務進行調(diào)度,使資源能夠高效、安全地為應用服務。
大數(shù)據(jù)具有4V+1C的特征:
(1)、數(shù)據(jù)量大(2)、多樣(3)、快速(4)、價值密度低(5)、復雜度
全球企業(yè)的IT開銷分為三部分:硬件開銷、能耗和管理成本。云計算的優(yōu)勢:
云計算有更低的硬件和網(wǎng)絡成本、更低管理成本和電力成本以及更高的資源利用率。
云計算與大數(shù)據(jù)之間的關系:
大數(shù)據(jù)是需求,云計算是手段。沒有大數(shù)據(jù),就不需要云計算。沒有云計算就無法處理大數(shù)據(jù)。
什么是云計算:
長定義:云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源池上,使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務。短定義:云計算是通過網(wǎng)絡按需提供可動態(tài)伸縮的廉價計算服務。
云計算的管理中間件層:負責資源管理、任務管理、用戶管理、和安全管理等工作。資源管理:負責均衡地使用云資源節(jié)點,檢測節(jié)點的故障并試圖恢復或屏蔽它,并對資源的使用情況進行監(jiān)視統(tǒng)計;
任務管理:負責執(zhí)行用戶或應用提交的任務,包括完成用戶任務映像部署和管理、任務調(diào)度、任務管理、生命周期管理。簡述亞馬遜的云計算:
AWS率先在全球提供了彈性計算云EC2和簡單服務存儲服務S3,為企業(yè)提供計算和存儲服務。
亞馬遜是最大的服務商,谷歌是最大的云計算技術的使用者。
第二章
Google云計算技術包括:
Google文件系統(tǒng) GFS、分布式計算編程模型MapReduce、分布式鎖服務Chubby、分布式結構化數(shù)據(jù)表Bigtable。
當前主流分布式文件系統(tǒng)有哪些?各有什么優(yōu)缺點?
答:RedHat的GFS(Global File System)、IBM的GPFS、Sun的Lustre等。優(yōu)缺點:①GFS采用廉價的商品機器構建分布式文件系統(tǒng),同時將GFS的設計與Google應用的特點緊密結合,簡化實現(xiàn),GFS將容錯的任務交給文件系統(tǒng)完成,利用軟件的方法解決系統(tǒng)可靠性問題,使存儲成本下降;GFS將服務器故障視為正?,F(xiàn)象,并采用多種方法、從多個角度,使用不同的容錯措施,確保數(shù)據(jù)存儲的安全、保證提供不間斷的數(shù)據(jù)存儲服務。
②IBM GPFS并行文件系統(tǒng)軟件在設計上不存在任何性能瓶頸,因此GPFS并行文件系統(tǒng)可以充分發(fā)揮硬件系統(tǒng)的性能。換句話說,GPFS并行文件系統(tǒng)的性能完全取決于硬件配置的好壞,而文件系統(tǒng)軟件本身對性能的影響微乎其微。IBM GPFS并行文件系統(tǒng)與其它并行文件系統(tǒng)之間最大的區(qū)別在于GPFS不需要專用的元數(shù)據(jù)(Meta Data)管理服務器,所有元數(shù)據(jù)分散在磁盤陣列中,并可以由任何I/O節(jié)點管理。這樣的設計避免了并行文件系統(tǒng)中最可能產(chǎn)生性能瓶頸的因素——Meta Data Server。
③Lustre文件系統(tǒng)為例,它只對元數(shù)據(jù)管理器MDS提供容錯解決方案,而對于具體的數(shù)據(jù)存儲節(jié)點OST來說,則依賴其自身來解決容錯的問題。例如,Lustre推薦OST節(jié)點采用RAID技術或SAN存儲區(qū)域網(wǎng)來容錯,但由于Lustre自身能提供數(shù)據(jù)存儲的容錯,一旦OST發(fā)生故障就無法恢復,因此對OST的穩(wěn)定性就提出了相當高的要求,從而大大增加了存儲的成本,而且成本會隨著規(guī)模的擴大線性增長
GFS容錯機制包含:
1、Master容錯: Master上保存了GFS文件系統(tǒng)的三種元數(shù)據(jù)。(1)、命名空間,也就是整個文件系統(tǒng)的目錄結構。(2)、Chunk與文件名的映射表
(3)、Chunk副本的位置信息,每一個Chunk默認有三個副本。
前兩種GFS通過操作日志來提供容錯功能。第三種直接保存各個Chunk Server上,當master發(fā)生故障時,迅速恢復以上元數(shù)據(jù)。為了防止master徹底死機,GFS提供了master遠程的實時備份。
2、Chunk Server容錯: GFS采用副本的方式實現(xiàn)其容錯。如果相關副本丟失或不可恢復,master自動將副本復制到其他Chunk Server.GFS把每一個文件劃分成多個Chunk, MapReduce與傳統(tǒng)的分布式程序設計相比的優(yōu)點
答:與傳統(tǒng)的分布式程序設計相比,MapReduce封裝了并行處理、容錯處理、本地化計算、負載均衡等細節(jié),還提供了一個簡單而強大的接口。Chubby的設計目標主要有?Paxos算法在Chubby中起什么作用?(1)、高可用性(2)、高擴展性(3)、支持粗粒度的建議性鎖服務(4)、服務信息的直接存儲(5)、支持通報機制(6)、支持緩存機制。Chubby內(nèi)部一致性問題的實現(xiàn)用到Paxos算法
什么是分布式結構化數(shù)據(jù)表Bigtable?
Bigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲系統(tǒng),它的設計應達到以下幾個目標:(1)、廣泛的適用性(2)、很強的可擴展性(3)、高可用性(4)、簡單性 Bigtable是:一個分布式多維映射表,表中的數(shù)據(jù)通過一個行關鍵字、一個列關鍵字以及一個時間戳進行索引。
在Bigtable中Chubby主要有以下幾個作用:
(1)選取并保證同一時間內(nèi)只有一個主服務器(Master Server)(2)獲取子表的位置信息
(3)保存Bigtable的模式信息及訪問控制列表
Bigtable主要由三個部分組成:客戶端程序庫、一個主服務器和多個子表服務器
Paxos算法中節(jié)點被分成了三種類型:
proposers、acceptors、和learners,其中proposers提出決議,acceptors批準決議、learners獲取并使用已經(jīng)通過的決議。一個節(jié)點可以兼有多重類型,滿足三個條件保持數(shù)據(jù)的一致性,(1)、決議只有在被Proposers提出后才能批準(2)、每次只能批準一個決議(3)、只有決議確定被批準后learners才能獲取這個決議。
Bigtable性能優(yōu)化:
1、局部性群組
2、壓縮
3、布隆過濾器 GFS將整個系統(tǒng)的節(jié)點分為哪幾類角色: Client(客戶端)、Master(主服務器)、Chunk Server(數(shù)據(jù)塊服務器)。
Master是GFS的管理節(jié)點,在邏輯上只有一個,他保存系統(tǒng)的元數(shù)據(jù),負責整個文件系統(tǒng)的管理,是GFS文件系統(tǒng)中的“大腦”。
Chunk Server負責具體的存儲工作。數(shù)據(jù)以文件的形式存儲在Chunk Server 的個數(shù)可以有多個,他的數(shù)目直接決定了GFS的規(guī)模。GFS將文件按照固定大小進行分塊,默認是64MB,每一塊稱為一個Chunk(數(shù)據(jù)塊),每個Chunk都有一個對應的索引號(Index)。GFS具有哪些特點:
1、采用中心服務器模式:GFS采用中心服務器模式管理整個文件系統(tǒng),增加新的Chunk Server是一件非常容易的事情。
2、不緩存數(shù)據(jù):緩存機制是提升文件系統(tǒng)的性能的一個重要手段,通用文件系統(tǒng)為了提高性能,一般需要實現(xiàn)復雜的緩存機制。GFS文件系統(tǒng)根據(jù)應用的特點,沒有實現(xiàn)緩存,因為GFS的數(shù)據(jù)在Chunk Server上是以文件的形式存儲。
3、在用戶態(tài)下實現(xiàn)
4、只提供專用接口
什么是MapReduce? Map(映射)Reduce(化簡)是Google提出的一個軟件架構,是一種處理海量數(shù)據(jù)的并行編程模式,用于大規(guī)模數(shù)據(jù)集的并行計算。
第三章
AWS提供的服務包括:
彈性計算云EC2、簡單存儲服務S3、簡單數(shù)據(jù)庫服務Simple DB、簡單隊列服務SQS、彈性MapReduce服務、內(nèi)容推送服務、電子商務服務、FPS。改進的一致性哈希算法優(yōu)點:
可以減小數(shù)據(jù)分布不均衡的可能性。
采用數(shù)據(jù)分區(qū)后,在添加或刪除設備節(jié)點時,會引起嬌小的數(shù)據(jù)傳輸。可以在很小的數(shù)據(jù)傳輸代價下,保證整個系統(tǒng)數(shù)據(jù)分布的均衡性。
在Dynamo中添加一個新的節(jié)點時,原先各節(jié)點保存的數(shù)據(jù)是否需要改變?如果改變,應該如何變化?
需要改變;原存儲在前驅(qū)節(jié)點上的那部分數(shù)據(jù)會遷移到新的節(jié)點上。而其他節(jié)點保存的數(shù)據(jù)不變。同樣,在刪除節(jié)點時,被刪除節(jié)點的數(shù)據(jù)會遷移到其前驅(qū)節(jié)點上,而對其他節(jié)點沒有影響。
私有IP、公有IP和彈性IP的區(qū)別在哪里?
EC2的IP地址包括三大類:私有IP、公有IP和彈性IP。
EC2的實例一旦被創(chuàng)建,就會動態(tài)地分配兩個IP地址,即私有IP和公有IP。私有IP地址與實例相對應,由動態(tài)主機配置協(xié)議(DHCP)分配產(chǎn)生。公有IP地址和私有IP地址之間通過網(wǎng)絡地址轉(zhuǎn)換(NAT)技術實現(xiàn)相互之間的轉(zhuǎn)換。公共IP和特定的實例相對應,在某個實例終結或被彈性IP地址替代之前,公共IP地址會一直存在,實例通過這個公有IP地址和外界通信。實例每次啟動時,公有IP都會發(fā)生變化。彈性IP則是與用戶賬號綁定,使用時可以代替公有IP通過NAT的方式實現(xiàn)與私有IP轉(zhuǎn)換,從而連接到EC2實例。
地理區(qū)域和可用區(qū)域有哪些區(qū)別?
AWS中采用了兩種區(qū)域(Zone),地理區(qū)域(Region Zone)和可用區(qū)域(Availability Zone)。地理區(qū)域是按實際的地理位置劃分的。可用區(qū)域是根據(jù)是否有獨立的供電系統(tǒng)和冷卻系統(tǒng)劃分,通常將每個數(shù)據(jù)中心看作一個可用區(qū)域。EC2系統(tǒng)中包含多個地理區(qū)域,而每個地理區(qū)域又包含多個可用區(qū)域。Amazom云平臺中,SQS的目的及組成部分,其中“消息”的格式是什么?
簡單隊列服務(SQS)是Amazon為了解決其云計算平臺之間不同組件的通信而設計開發(fā)的。SQS由三個基本部分組成:系統(tǒng)組件、隊列、消息。系統(tǒng)組件是SQS的服務對象,而SQS則是組件之間溝通的橋梁。組件有雙重角色,既是消息的發(fā)送者,也可以是消息的接受者。
“消息”格式:消息由以下四部分組成:
消息ID:由系統(tǒng)返回給用戶,用來標識隊列中的不同消息。
接收句柄:當 從隊列中接收消息時就會從消息那里得到一個接收句柄,這個句柄可以用來對消息進行刪除等操作。
消息體:消息的正文部分,需要注意的是消息存放的是文本數(shù)據(jù)并且不能是URL編碼方式。消息體摘要:消息體字符串的MD5校驗和。
非關系型數(shù)據(jù)庫和傳統(tǒng)關系數(shù)據(jù)庫的區(qū)別
1.數(shù)據(jù)模型
關系數(shù)據(jù)庫對數(shù)據(jù)有嚴格的約束,包括數(shù)據(jù)之間的關系和數(shù)據(jù)的完整性。非關系數(shù)據(jù)庫的key-value存儲形式中,key和value可以使用任意的數(shù)據(jù)類型。2.數(shù)據(jù)處理:
關系數(shù)據(jù)庫滿足CAP原則的C和A,在P方面很弱,所以在可擴展性方面弱,所以導致其在可擴展性方面面臨很多問題。非關系型數(shù)據(jù)庫滿足CAP原則的A和P,而在C方面較弱,所以使得其無法滿足ACID要求。3.接口層
關系型數(shù)據(jù)庫都是以SQL語言對數(shù)據(jù)進行訪問的,提供了強大的查詢功能,并便于在各種關系數(shù)據(jù)庫間移植。非關系型數(shù)據(jù)庫對數(shù)據(jù)庫的操作大多通過API來實現(xiàn),支持簡單的查詢功能,且由于不同數(shù)據(jù)庫之間API的不同而造成移植性較差。
綜上所述,關系數(shù)據(jù)庫具有高一致性,在ACID方面很強,移植性很高;但在可擴展性方面能力較弱,只能通過提高服務的配置來提高處理能力。非關系型數(shù)據(jù)庫具有很高的可擴展性,可以通過增加服務器數(shù)量來不斷提高存儲規(guī)模,具有很好的并發(fā)處理能力;但由于缺乏數(shù)據(jù)的一致性保證,所以處理事務性問題能力較弱,并且難以處理跨表,跨服務器的查詢。
第四章
微軟云計算平臺包括幾部分?每部分的作用是什么?
當前版本的Windows Azure平臺包括4 個組成部分:
(1)Windows Azure。位于云計算平臺最底層,是微軟云計算技術的核心。它作為微軟云計算操作系統(tǒng),提供了一個在微軟數(shù)據(jù)中心服務器上運行應用程序 和存儲數(shù)據(jù)的Windows 環(huán)境。
(2)SQL Azure。它是云中的關系數(shù)據(jù)庫,為云中基于SQL Azure 的關系型 數(shù)據(jù)提供服務。
(3)Windows Azure AppFabric。為在云中或本地系統(tǒng)中的應用提供基于云 的基礎架構服務。部署和管理云基礎架構的工作均由AppFabric 完成,開發(fā)者只 需關心應用邏輯。
(4)Windows Azure Marketplace。為購買云計算環(huán)境下的數(shù)據(jù)和應用提供 在線服務。
Windows Azure 存儲服務提供了幾種類型的存儲方式?闡述每種存儲方式主要的存儲對象。答:Windows Azure 存儲服務目前主要提供了4 種主要的數(shù)據(jù)存儲結構:
(1)Blob 類型。Blob 數(shù)據(jù)類型存儲二進制數(shù)據(jù),可以存儲大型的無結構數(shù)據(jù),容量巨大,能夠滿足海量數(shù)據(jù)存儲需求
(2)Table 類型。Table 數(shù)據(jù)類型能夠提供更加結構化的數(shù)據(jù)存儲,但是它不同于關系型數(shù)據(jù)庫管理系統(tǒng)中的二維關系表,查詢語言也不是大家熟悉的關系查詢語言SQL。(3)Queue 類型。Queue 類型的作用和微軟消息隊列(MSMQ)相近,用來支持在Windows Azure 應用程序組件之間進行通信。
(4)File 類型。File 類型使用標準SMB2.1 協(xié)議支持Windows Azure 虛擬機和云服務,可通過裝載的共享在應用程序組件之間共享文件數(shù)據(jù),本地應用程序可通過文件存儲API 來訪問共享中的文件數(shù)據(jù)。
SQL Azure 數(shù)據(jù)同步技術主要有幾種?分別如何實現(xiàn)?
答:(1)SQL Azure 數(shù)據(jù)庫與SQL Server 數(shù)據(jù)庫之間的數(shù)據(jù)同步。用戶選擇這類同步的原因有很多,除了網(wǎng)絡故障等因素外,數(shù)據(jù)調(diào)度也需要數(shù)據(jù)副本在某一區(qū)域范圍內(nèi)進行,同時需要防止某些操作失誤所帶來的數(shù)據(jù)丟失。這時用戶可以通過SQL Azure 數(shù)據(jù)庫和SQL Server 數(shù)據(jù)庫的信息同步在本地數(shù)據(jù)庫保存副本。
(2)SQL Azure 數(shù)據(jù)庫之間的同步。某些ISVs(獨立的軟件開發(fā)商)或全球化的企業(yè)需要創(chuàng)建一個應用,為了滿足高性能的需求,應用的創(chuàng)建者也許會選擇在三個不同的Windows Azure 數(shù)據(jù)中心運行這個應用。如果這個應用將數(shù)據(jù)存放在SQL Azure 數(shù)據(jù)中,需要使用SQL Azure 數(shù)據(jù)同步服務保持三個數(shù)據(jù)中心之間的信息同步。SQL Azure 數(shù)據(jù)同步服務使用“輪輻式”模型,所有的變化將會首先被復制到SQL Azure 數(shù)據(jù)庫“hub”上,然后再傳送到其他“spoke”以上。這些“spoke”成員可以是一個SQL Azure 數(shù)據(jù)庫,也可以是本地SQL Server 數(shù)據(jù)庫。上述的同步過程可以同步整個數(shù)據(jù)庫,也可以只同步有更新的數(shù)據(jù)庫表格。SQL Azure 和SQL Server 的相同點和不同點
相同點:SQL Azure是云中的關系數(shù)據(jù)庫,和本地的SQL Server數(shù)據(jù)庫有很多相識的地方。比如SQL Azure 提供了一個表格數(shù)據(jù)流(TDS)接口供基于Transact-SQL的數(shù)據(jù)庫進行訪問,這和SQL Server 中的實例訪問數(shù)據(jù)庫情況是相似的。
不同點:在SQL Azure中,由于物理管理工作是由微軟進行的,所以在管理、服務提供、Transact-SQL支持和編程方式等方面,與SQL Server有所不同。
Windows Azure最新版本包含5個部分:1.計算服務,2.存儲服務,3.Fabric控制器,4.內(nèi)容分發(fā)網(wǎng)絡CDN,5.Windows Azure Connect.存儲名空間被劃分為三部分:賬戶名,分區(qū)名和對象名
SQL Azure關鍵技術:1.SQL Azure數(shù)據(jù)庫,2.SQL Azure報表服務,3.SQL Azure數(shù)據(jù)同步
AppFabric關鍵技術:1.服務總線,2.訪問控制,3.高速緩存。Windows Azure是微軟云計算戰(zhàn)略的核心:云計算操作系統(tǒng)
WAS的一個重要特征是能夠存儲和訪問達到甚至超過EB級的海量數(shù)據(jù),其產(chǎn)品系統(tǒng)由存儲域和位置服務構成
存儲域的層次結構包括哪三層:
1、文件流層,2、分區(qū)層,3、前段 文件流層包括流管理器和區(qū)塊節(jié)點兩大部分。
分區(qū)層包括一個分區(qū)管理器、多個分區(qū)服務器和一個鎖服務三個主要的體系結構模塊。分區(qū)管理器:負責保存對象表到分區(qū)段的劃分和每個分區(qū)段到相應分區(qū)服務器的分配情況。分區(qū)服務器:負責處理由分區(qū)管理器分配給它的一組分區(qū)段的請求。鎖服務:Paxos鎖服務用于分區(qū)服務器的主服務器選舉。WAS 將分區(qū)B 拆成新的分區(qū)段C 和D 如何實現(xiàn)? 步驟1:分區(qū)管理器通知分區(qū)服務器將段B 拆分為C 和D。步驟2:分區(qū)服務器處理B 的檢查點,再暫停相應的服務請求。
步驟3:分區(qū)服務器使用一種“MultiModify”的特殊流操作處理B 的每個流,并分別生成與B 中區(qū)塊順序相同的C 和D 流子集,再追加C 和D 的新分區(qū)鍵值范圍到他們的元數(shù)據(jù)流。
步驟4:分區(qū)服務器開始將服務請求發(fā)送至新的分區(qū)C 和D。
步驟5:分區(qū)服務器通知分區(qū)管理器拆分操作完成,并且分區(qū)管理器更新分區(qū)映射表和相應的元數(shù)據(jù)信息,分區(qū)管理器將其中一個拆分的分區(qū)遷移到一個不同的分區(qū)服務器。
第七章
虛擬機遷移的步驟
步驟1:預遷移。步驟2:預定資源。步驟3:預復制。步驟4:停機復制。步驟5:提交。步驟6:啟動。
存儲虛擬化的三種實現(xiàn)方式?
(1)基于主機的存儲虛擬化:基于主機的存儲虛擬化,也稱基于服務器的存儲虛擬化或者基于系統(tǒng)卷管理器的存儲虛擬化,其一般是通過邏輯卷管理來實現(xiàn)的。
(2)基于存儲設備的存儲虛擬化:基于存儲設備的存儲虛擬化,也稱基于存儲控制器的存儲虛擬化。它主要是在存儲設備的磁盤、適配器或者控制器上實現(xiàn)虛擬化功能。
(3)基于網(wǎng)絡的存儲虛擬化:基于網(wǎng)絡的存儲虛擬化方法是在網(wǎng)絡設備上實現(xiàn)存儲虛擬化功能,它包括基于互聯(lián)設備和基于路由器兩種方式。
服務器虛擬化的底層實現(xiàn):1.CPU虛擬化,2.內(nèi)存虛擬化,3.I/O設備虛擬化 主流X86虛擬技術:1.VMware威睿(VMware vSphere 5)2.Microsoft微軟(Windows2008 R2 Hyper-V)3.Citrix思杰(XenServer 6)4.Oracle甲骨文(Oracle VM 3.0)5.RedHat紅帽(Red Hat Enterprise Virtualization 3)
X86虛擬化基本功能:1.快照,2.創(chuàng)建和部署虛擬機,3.創(chuàng)建模板,4.克隆虛擬機,5.部署模板,6.配置虛擬機硬件、選項和資源
數(shù)據(jù)中心網(wǎng)絡虛擬化劃分為:核心層(主要指數(shù)據(jù)中心核心網(wǎng)絡設備的虛擬化),接入層(可以實現(xiàn)數(shù)據(jù)中心接入層的分級設計),虛擬機網(wǎng)絡虛擬化(虛擬機網(wǎng)絡交互包括物理網(wǎng)卡虛擬化和虛擬網(wǎng)絡交換機)
云計算中運用虛擬化技術主要體現(xiàn)在對數(shù)據(jù)中心的虛擬化上。
數(shù)據(jù)中心的虛擬化是通過服務器虛擬化,存儲虛擬化和網(wǎng)絡虛擬化實現(xiàn)的。服務器虛擬化分為:寄居虛擬化和裸機虛擬化
第五篇:高校云計算研究情況總結
目前,正在積極投身于云計算相關基礎理論與技術研究工作的高校和科研院所包括以清華大學、北京大學、武漢大學、中國科學技術大學、華中科技大學、上海交通大學、合肥工業(yè)大學、北京航空航天大學、解放軍理工大學、中科院、北京郵電大學、北京交通大學、東北大學、山東大學等為代表的諸多科研單位。另外,在工業(yè)界從事云計算相關研究的單位包括華為、百度、新浪、騰訊、金蝶軟件、中國電信、中國移動等諸多企業(yè)。
國內(nèi)高校與科研院所針對云計算的不同領域開展了深入的研究。例如,清華大學的云存儲平臺著力于構建存儲云,武漢大學側重于面向云計算的互操作國際標準,中科院計算所利用云計算開展數(shù)據(jù)挖掘與云安全工作,華中科技大學關注虛擬化技術與云安全,上海交通大學注重于數(shù)據(jù)的安全和隱私關鍵性技術研究,合肥工業(yè)大學側重將人工智能和信息管理研究成果遷移到云計算環(huán)境中,北京航天航空大學致力于云計算的數(shù)據(jù)安全控制理論與方法的研究,解放軍理工大學側重于云存儲研發(fā)與應用,東北大學側重于利用云計算技術解決大規(guī)模圖數(shù)據(jù)處理問題,山東大學側重于研究SaaS軟件交付平臺的問題。
清華大學在云存儲研究方面,以分布式文件系統(tǒng)為基礎的云存儲平臺,為校園網(wǎng)用戶設計開發(fā)了用于數(shù)據(jù)存儲與共享的云存儲服務,利用底層云存儲平臺所提供的基礎存儲服務,提供用戶管理與目錄管理的功能,增加了文件檢索功能,并對數(shù)據(jù)傳輸進行了優(yōu)化,為用戶提供簡單實用的云存儲訪問接口。針對于越來越多的移動計算需求,基于云存儲平臺設計開發(fā)了多種手機云存儲應用,包括基于云存儲服務的電話號碼簿應用、可在手機上進行文件存儲與共享的文件管理應用、基于云存儲服務的視頻點播應用以及基于云存儲服務的相片管理應用。在海量數(shù)據(jù)挖掘研究方面,結合云計算架構和海量數(shù)據(jù)對象,開展基于云計算的海量數(shù)據(jù)挖掘研究,設計并實現(xiàn)面向海量數(shù)據(jù)挖掘的分布存儲和并行編程模型框架,提出基于群體智能的海量數(shù)據(jù)挖掘算法,以維基百科為載體,對維基百科及其形成的復雜社會網(wǎng)絡進行深入的分析和挖掘,提供基于維基百科的深層次知識服務。
武漢大學在面向云計算的互操作標準方面開展了一定的工作。在云計算環(huán)境中,信息資源和服務是通過即用即付的方式提供給用戶的,需要對不同的信息資源和服務進行統(tǒng)一的管理。同時,用戶需求正逐漸呈現(xiàn)出多樣性和個性化的特征,使得滿足大眾用戶需求的服務定制也需要跨領域/組織的資源和服務通過共享、交互、互操作等方式共同完成。隨著云計算的發(fā)展,許多企業(yè)或組織已經(jīng)構建了云計算平臺,并提供了大量的內(nèi)部數(shù)據(jù)和服務,但這些云計算平臺之間難以進行有效的信息共享和交換,造成了“孤立云”的產(chǎn)生,如何利用開放的互操作性標準實現(xiàn)云-端以及云-云之間的互操作顯得十分重要。針對這一現(xiàn)狀,國際標準化組織ISO/IEC正在研制“互操作性元模型框架”的國際標準-ISO/IEC 19763: Information
Technology-Metamodel Framework for Interoperability(簡稱MFI)。其主要目標是為已注冊的異構信息資源和服務提供統(tǒng)一的注冊和管理機制,促進它們之間的互操作。MFI標準從模型注冊、本體注冊、模型映射的角度對注冊信息資源的基本管理信息提供了參考,促進信息系統(tǒng)之間的互操作。武漢大學代表中國參加了該標準的研制工作,并主持了其中5項標準的研制任務。
中國科學院計算技術研究所在Hadoop基礎上開發(fā)實現(xiàn)了并行數(shù)據(jù)挖掘工具平臺。該平臺已經(jīng)用于中國移動TB級電信數(shù)據(jù)的挖掘,其數(shù)據(jù)處理規(guī)模遠遠超出商用軟件,在商用軟件能承受的相同數(shù)據(jù)規(guī)模下,采用相同方法和相同參數(shù)設置、獲得了一致的挖掘結果,實現(xiàn)了高性能、低成本的海量數(shù)據(jù)挖掘。中國科學院計算技術研究所在基于虛擬機架構的可信計算環(huán)境與可信軟件設計方面也取得了一些成果,包括:基于虛擬機的可信計算平臺研究與設計(TRainbow);面向管理域虛擬機完整性的實時檢測技術(VMGuard);可信可控用戶虛擬計算環(huán)境構建方法研究(TRIOB);面向虛擬存儲數(shù)據(jù)完整性的透明檢測技術(Tapwire);虛擬化全局內(nèi)存優(yōu)化技術(TMemCanal);分布化IO資源的全局可見與共享技術;Xen虛擬計算環(huán)境下的可信接入控制技術。中國科學院軟件技術研究所圍繞云計算的安全問題也進行了一系列的研究,包括針對云存儲中敏感數(shù)據(jù)的機密性保護問題,在基于屬性的加密基礎上提出了一種密文訪問控制方法HCRE;在基于密文策略的屬性加密應用場景下,實現(xiàn)了云存儲中高效、精細、靈活的密文訪問控制方案等。
華中科技大學也在云計算方面進行了很多實踐,包括:設計出了一個面向科學計算與企業(yè)信息化的云計算平臺GRANE;實現(xiàn)了一個面向云環(huán)境的虛擬化桌面CloudDesk,它能動態(tài)適應用戶的需求變化,為用戶提供高效、安全、易用的云資源訪問的桌面環(huán)境;從任務并行調(diào)度,數(shù)據(jù)組織與壓縮,備份服務可信及容錯模型三方面著手,研究出了一個云備份系統(tǒng)B-Cloud;基于云模式的大規(guī)模主動安全防御系統(tǒng)CloudFence,它是采用安全檢測與防御相分離的原則,充分利用云端強大的處理能力和存儲能力。
上海交通大學針對云計算中存在的數(shù)據(jù)安全問題,利用密碼理論與技術、網(wǎng)絡與信息安全技術、編碼理論等方向所取得的成果,解決數(shù)據(jù)安全存在的一基礎問題,提高云計算的安全性,并開展了下一代互聯(lián)網(wǎng)安全與隱私關鍵性技術研究。另外,上海交通大學與微軟合作,共同搭建國內(nèi)高校第一個基于最新虛擬化技術和System Center的私有云,為教學與科研項目提供可伸縮的計算資源。
北京航空航天大學利用分布式環(huán)境下的訪問控制方法和可信計算信任模型方面的研究基礎,致力于面向云計算的自含式數(shù)據(jù)安全控制理論與方法的研究,來提高云安全性。
解放軍理工大學在云計算存儲應用方面,研發(fā)MassCloud云存儲平臺在節(jié)能與集成度上取得了階段性的突破,并在實際應用中獲得巨大成效。目前,360公司在解放軍理工大學成立了云計算聯(lián)合實驗室。
東北大學基于BSP處理模型和系統(tǒng)實現(xiàn)了社會網(wǎng)絡中的大規(guī)模圖數(shù)據(jù)查詢與分析,研究了大規(guī)模圖數(shù)據(jù)的劃分與定位問題、大規(guī)模圖數(shù)據(jù)的磁盤存儲問題、大規(guī)模圖的分布并行查詢處理和查詢優(yōu)化問題以及云環(huán)境下的執(zhí)行保障問題,設計并實現(xiàn)了BeeGraph系統(tǒng),支持大規(guī)模圖數(shù)據(jù)的處理。
山東大學對面向多租戶的SaaS平臺開展了研究,包括支持多租戶數(shù)據(jù)隔離的存儲與索引機制,基于Chunk Folding的自適應多租戶緩存管理機制,支持租戶業(yè)務流程定制行為建模及驗證的框架,以及面向SaaS應用的數(shù)據(jù)組合隱私保護機制,為面向多租戶的SaaS平臺提供技術支撐。
中國科學技術大學在云計算環(huán)境下遠程數(shù)據(jù)完整性和認證技術方面,結合數(shù)論中的同態(tài)RSA驗證標識,設計了保護用戶隱私的數(shù)據(jù)完整性驗證協(xié)議,能夠支持數(shù)據(jù)動態(tài)更新和公開的多副本驗證,而無需第三方審計。針對已有遠程身份認證方案存在的缺陷和安全漏洞,提出了新的身份認證方案。認證方案結合使用智能卡、口令和電子票據(jù),既能夠為用戶和服務器提供雙向身份認證,也通過電子票據(jù)的發(fā)放解決了限制用戶訪問次數(shù)的問題。