第一篇:云計算環(huán)境下大規(guī)模數(shù)據(jù)處理技術研究論文
隨著計算機技術和互聯(lián)網(wǎng)技術的發(fā)展和應用,網(wǎng)絡信息和數(shù)據(jù)量正在高速增長。傳統(tǒng)的并行計算、分布計算等方式由于各種限制,往往都難以滿足實際的計算要求?;诖耍捎没谠朴嬎悱h(huán)境下的大規(guī)模數(shù)據(jù)處理技術,能夠有效的打破這些限制,從而實現(xiàn)更加高效、快速的數(shù)據(jù)計算。
1云計算環(huán)境下大數(shù)據(jù)處理模式
1.1大規(guī)模廉價計算平臺
利用虛擬化技術,能夠實現(xiàn)大規(guī)模廉價計算平臺,將存儲、應用程序、網(wǎng)絡、計算等資源作為虛擬化實體。對閑散的計算資源進行抽象,使之形成相互之間完全獨立的虛擬服務器實例,從而獨立的完成數(shù)據(jù)處理和計算。通過這種方式,就能夠實現(xiàn)底層硬件的虛擬化。構建可擴展計算節(jié)點資源池,并在其中實現(xiàn)集成管理虛擬計算流程和計算節(jié)點。這樣,大規(guī)模數(shù)據(jù)子處理任務就能夠完成實時遷移、資源轉換、系統(tǒng)監(jiān)控和任務部署。
建設大規(guī)模計算平臺的過程,也是云計算環(huán)境下大規(guī)模數(shù)據(jù)處理的一個重要步驟。具體來說,首先要對數(shù)據(jù)處理需要的資源進行參數(shù)化的配置,根據(jù)相應的要求進行定制。通過這一過程,用戶能夠獲取自己需要的資源。在不同的操作模式下為用戶提供參數(shù)服務。在設置參數(shù)完成定制之后,以此為基礎,在大規(guī)模數(shù)據(jù)處理的時候,部署存儲和計算資源,設定計算流程和數(shù)據(jù)處理方案。將相關參數(shù)設置信息在存儲和計算資源的配置文件當中進行寫入之后,以此對計算流程進行分配,從而在計算節(jié)點中啟動相關的資源,并且管理和部署計算節(jié)點的定制處理服務。
部署工具通過網(wǎng)絡連接到目標計算節(jié)點和計算流程,然后執(zhí)行大規(guī)模數(shù)據(jù)處理方案。然后根據(jù)相應的方案,通過代碼對存儲和計算資源進行分配和執(zhí)行。將部署在計算節(jié)點進行進行啟動,利用網(wǎng)絡在各個計算節(jié)點發(fā)送數(shù)據(jù)處理命令,從而完成調度和部署計算流程的工作。
1.2Map Reduce技術的支持
采用Map Reduce分布式和并行式編程模型,從而在模型內部對任務容錯處理、計算節(jié)點負載均衡、空間局部性優(yōu)化、并行任務調度等方加以實現(xiàn)。在Map Reduce的開發(fā)過程中,只需對Map、Reduce兩個接口進行定義,通過計算機集群,對用戶編寫程序進行運行,拆分大規(guī)模數(shù)據(jù)集合,使之形成若干數(shù)據(jù)片段,從而得到一系列鍵值對[4]。然后向一個Map任務中分配一個數(shù)據(jù)片段,在Map Reduce框架下,向大規(guī)模計算集群中的節(jié)點進行子任務的分配。最后,結合得到的鍵值對進行計算,生成鍵值對集合,向Reduce當中進行輸出。
Reduce當中每一個Reduce任務,都會向二元組集合當中進行分配,輸入集合片段,運行Reduce函數(shù),輸出二元組鍵值對。如果數(shù)據(jù)處理任務失敗,也能夠自動重新進行計算。在大規(guī)模數(shù)據(jù)處理當中,是高度并行操作Map的,這一步驟對于大規(guī)模數(shù)據(jù)的高效處理來說,具有不可忽視的意義?;谠朴嬎悱h(huán)境下,對規(guī)模數(shù)據(jù)信息大都能夠達到TB級別或GB級別。在長時間處理大規(guī)模數(shù)據(jù)的時候,如果發(fā)生數(shù)據(jù)處理任務失敗的情況,能夠防止發(fā)生計算任務重新執(zhí)行的情況。由于數(shù)據(jù)塊是被復制的,因此在容錯性方面,還會關系到負載均衡的情況。
2云計算環(huán)境下大數(shù)據(jù)處理的框架模型
在大規(guī)模數(shù)據(jù)資源和計算資源當中,對云計算技術、計算機網(wǎng)絡技術進行引入,建立大規(guī)模數(shù)據(jù)處理框架模型。主要包含了兩級結構,其一是虛擬資源體系、大規(guī)模廉價計算機集群,其二是大規(guī)模數(shù)據(jù)處理分析的處理監(jiān)測管理體系、數(shù)據(jù)處理服務請求、以及相應的基礎架構。利用限制的計算機資源,對虛擬資源層和物理設備進行構建,從而形成最底層的物理資源,形成同構的數(shù)據(jù)處理資源池或接近于同構的數(shù)據(jù)處理資源池。在第二級結構當中,最為重要的就是軟件體系,能夠為大規(guī)模數(shù)據(jù)處理提供服務。采用Hadoop核心技術,對數(shù)據(jù)處理接口進行編寫。通過這種方式,在不同的學科和領域當中,能夠提供相應的大規(guī)模數(shù)據(jù)處理服務,從而使用戶能夠享有良好的計算平臺軟件支持。
在這一框架的設計與實現(xiàn)當中,對Hadoop分布式開源計算機框架進行了應用,對其中的HDFS分布式文件系統(tǒng),以及Map Reduce進行應用,從而對大規(guī)模數(shù)據(jù)處理業(yè)務進行處理和協(xié)調。在計算節(jié)點當中,對放置在Map Reduce任務進行映射,對大規(guī)模數(shù)據(jù)進行劃分,使之形成若干子塊,并對數(shù)據(jù)塊的數(shù)量、規(guī)格等參數(shù)加以掌握。通過HDFS功能,可以在每一個計算節(jié)點當中,對數(shù)據(jù)塊副塊進行智能的放置,同時針對各個節(jié)點,對具體的角色進行設計。在大規(guī)模數(shù)據(jù)處理的過程當中,需要利用Reduce函數(shù)、Map函數(shù)、以及相關的程序進行分布化處理。在Hadoop當中,為了對Map Reduce進行運行,提供了一個API進行支持。
3結論
在當前信息化的時代背景當中,計算機和網(wǎng)絡的廣泛應用,使得各個領域中的數(shù)據(jù)量和信息量與日倶增。而對于這些海量的大規(guī)模數(shù)據(jù)來說,利用傳統(tǒng)的數(shù)據(jù)處理方式,往往難以取得十分理想的處理效果?;诖耍稍谠朴嬎悱h(huán)境下,開發(fā)和利用相應的大規(guī)模數(shù)據(jù)處理技術,以此來支持社會各個領域當中的大規(guī)模數(shù)據(jù)處理需要,從而數(shù)字化的時代當中,始終保持較高的工作效率和良好的工作效果。
第二篇:云計算環(huán)境下的網(wǎng)絡技術研究
云計算環(huán)境下的網(wǎng)絡技術研究
摘要:隨著互聯(lián)網(wǎng)的普及應用,使得人們生活內容更加豐富多彩,并且從根本上改變了人們傳統(tǒng)的生活習慣,網(wǎng)絡已經(jīng)成為日常生活中不可或缺的組成部分。特別是在云計算環(huán)境下,網(wǎng)絡技術在國民經(jīng)濟發(fā)展、社會進步中所發(fā)揮的作用更是與日俱增。如何更好的把握時代脈搏,創(chuàng)新研發(fā)符合世界經(jīng)濟發(fā)展規(guī)律的網(wǎng)絡技術成為當前研究領域重要課題之一。為此,本文將針對當前云計算環(huán)境下網(wǎng)絡新挑戰(zhàn)作為切入點,深入分析并探尋未來網(wǎng)絡技術發(fā)展方向,以豐富現(xiàn)有研究成果,推動相關研究進一步發(fā)展。
關鍵詞:云計算;網(wǎng)絡技術;國民經(jīng)濟;社會進步;時代脈搏
前言:網(wǎng)絡技術的發(fā)展可以說是日新月異,自從上個世紀40年代中期計算機誕生以來,網(wǎng)絡逐步成為日常生活中的重要娛樂方式。云計算通過虛擬化技術、分布式計算等方式將網(wǎng)絡信息資源整合,形成一個資源池,動態(tài)的將網(wǎng)絡資源分配給具有使用需求的用戶,繼而創(chuàng)造良好的社會效益及經(jīng)濟效益的一種服務模式,并且隨著世界經(jīng)濟一體化趨勢不斷發(fā)展,網(wǎng)絡資源在各國競爭中發(fā)揮的作用愈加明顯。因此,如何應用更新、更具前瞻性的網(wǎng)絡技術來搶占市場先機,壯大本國相關產(chǎn)業(yè)成為一個不容忽視的問題。1 云計算環(huán)境下網(wǎng)絡技術面臨的新挑戰(zhàn)解析 1.1海量數(shù)據(jù)信息對寬帶及延遲提出更高要求
隨著互聯(lián)網(wǎng)的普及應用,網(wǎng)絡經(jīng)濟正以飛速發(fā)展,人們每天都可以從中感受出網(wǎng)絡技術的變化。特別是在云計算環(huán)境下,個人信息、企業(yè)及政府職能部門敏感數(shù)據(jù)通過云存儲技術進行保存已經(jīng)成為網(wǎng)絡技術發(fā)展的主流趨勢。然而,由于網(wǎng)絡的觸角已經(jīng)延伸至社會經(jīng)濟生產(chǎn)生活的方方面面,每天互聯(lián)網(wǎng)中都會生成海量的數(shù)據(jù)信息,并通過網(wǎng)絡傳輸方式上傳至云端進行存儲。在此過程中,受到網(wǎng)絡延遲以及寬帶帶寬的影響,敏感數(shù)據(jù)容易發(fā)生丟失或者損害,造成用戶無法正常使用,并且相關數(shù)據(jù)恢復難度較大,造成了一定的不利影響。因此,云計算環(huán)境下,海量數(shù)據(jù)面前,網(wǎng)絡延遲以及寬帶帶寬問題已經(jīng)成為限制網(wǎng)絡技術發(fā)展的重要因素,由此產(chǎn)生的數(shù)據(jù)安全數(shù)據(jù)存儲問題亟待解決。1.2二層網(wǎng)絡亟待建立
眾所周知,由于采用虛擬機動態(tài)遷移技術能夠使得數(shù)據(jù)中心的操作具有更大的靈活性及快捷性,大幅提升其工作效率而被廣泛認可及接受,成為當前網(wǎng)絡技術中應用范圍較廣的一種應用技術。然而,當前采用的虛擬機動態(tài)遷移技術無法改變虛擬機的IP地址、MAC地址,帶來的最明顯問題即在于當虛擬機發(fā)生遷移之后,虛擬機自身原有網(wǎng)絡配置將與新環(huán)境無法適應,正常通信得不到有效保障,因而最終釀成業(yè)務連續(xù)性受到影響的不利結果。因而,云計算環(huán)境下要想實現(xiàn)跨域場情境下的虛擬機實時運轉,就需要將所有發(fā)生動態(tài)遷移的虛擬機納入到一個統(tǒng)一的二層網(wǎng)絡中,以滿足用戶的上網(wǎng)需求。而二層網(wǎng)絡的建立在目前尚未展開,進一步降低了云計算環(huán)境下網(wǎng)絡技術所帶來的便利性。2 云計算環(huán)境下網(wǎng)絡技術研究方向
針對云計算環(huán)境下網(wǎng)絡技術面臨的挑戰(zhàn),本文在綜合總結了國內外關于該領域及該可以的研究成果后,總結出了如下幾方面網(wǎng)絡技術研發(fā)應用方向,以供相關研究借鑒參考。2.1接入技術
接入技術被業(yè)界形象的稱之為“最后一公里”技術,意指本地網(wǎng)絡運營商與用戶之間的一段連接[1]。當前應用前景比較明朗的接入技術如下:
2.1.1ADSL ADSL又被稱作為非對稱數(shù)字用戶線,是DSL家族系列中應用范圍最廣的一種,除了ADSL外,其他DSL接入技術包括:HDSL、VDSL、IDSL等。ADSL主要是利用現(xiàn)有的電話雙絞線作為網(wǎng)絡傳輸?shù)慕橘|,具有成本低廉等優(yōu)勢,經(jīng)過不斷豐富及完善,當前ADSL傳輸峰值已經(jīng)達到了115Kbps,完全能夠滿足企事業(yè)單位、政府職能部門、個人用戶的使用需求。并且ADSL的非對稱性與終端用戶的網(wǎng)絡訪問特點具有較為明顯的一致性:個人用戶多數(shù)應用都是以客戶方式從網(wǎng)上去獲取數(shù)據(jù),如WWW、FTP,只在個別時候才向網(wǎng)絡大量發(fā)送數(shù)據(jù),如發(fā)送附帶多媒體信息的電子郵件,因此下行數(shù)據(jù)量大、上行數(shù)據(jù)量小。隨著固定電話走入千家萬戶,ADSL的應用前景將會更加明顯,其技術改進方向也集中于提高網(wǎng)絡數(shù)據(jù)傳輸速率及穩(wěn)定性等方面。
2.1.2線纜調制解調器 線纜調制解調器的客戶群體主要集中于家庭用戶,是在當前電纜基礎上將分配網(wǎng)絡的主干部分改為光纜通信,繼而在各個節(jié)點位置實現(xiàn)光電轉化,再經(jīng)由通州電纜將網(wǎng)絡信號傳輸至用戶家里。線纜調制解調器可以廣泛應用于Internet訪問、電視節(jié)目點播、數(shù)據(jù)電話等拓展業(yè)務,其市場應用前景極其廣闊。當前現(xiàn)有技術條件下Internet訪問的最高峰值可以達到30Mbps,而上行速率可到到2M左右。盡管線纜調制解調器是一個共享網(wǎng)絡,隨著用戶的增加、寬帶及節(jié)點數(shù)量的激增而會產(chǎn)生網(wǎng)絡延遲現(xiàn)象,但是其較高的帶寬在目前尚可以滿足用戶使用需求,其所享受的寬帶資源仍然是所有接入技術中最高的網(wǎng)絡數(shù)據(jù)傳輸方式。
2.1.3無線接入技術(WLAN)
無線接入技術是近些年來隨著網(wǎng)絡通信技術快速發(fā)展而形成的一種新型數(shù)據(jù)傳輸、通訊方式。相較于ADSL、線纜調制解調器,無線接入技術是通過無限介質將用戶與網(wǎng)絡節(jié)點相連接,以實現(xiàn)用戶與網(wǎng)絡間無障礙數(shù)據(jù)惜惜傳遞的目的,其需要遵循一定的網(wǎng)絡協(xié)議,并且該協(xié)議內容也成為無線接入技術的核心及關鍵內容[2]。其最明顯的特征即為可以向用戶提供實時的移動接入業(yè)務,不管用戶是在鬧市區(qū)還是鄉(xiāng)村郊外,隨時可以將自身感觸、心得體會上傳至網(wǎng)絡空間,網(wǎng)絡共享具有極大的便利性,因而該技術成為當下網(wǎng)絡技術研究中的重要領域及方向,是今后網(wǎng)絡業(yè)務開展的重要保障之一。2.2IPv6技術
虛擬機動態(tài)遷移技術不能改變IP地址、MAC地址的問題已經(jīng)困擾人們多時,該問題的存在使得移動網(wǎng)絡技術應用受到很大程度影響,加劇了網(wǎng)絡服務商與用戶之間的對立形勢。IPv6技術的出現(xiàn)幾乎完美的解決地址不能及時變更的問題,使得網(wǎng)絡連接更加快捷。當前IPv6技術為用戶提供了128位的IP地址,使得地址數(shù)量得到大幅提升,有效的解決了IP地址資源危機。并且其所使用的“可聚集全球統(tǒng)一計算地址”構造與當前網(wǎng)絡拓撲結構較為一致,使得線纜調制解調器能夠最大化發(fā)揮功用[3]。但是當前IPv6技術的應用尚無法廣泛推廣,主要原因在于其升級存在諸多困難。因此,IPv6技術今后研究的重點方向即為構建以下三種機制:兼容IPv4的IPv6地址、雙IP協(xié)議棧和基于IPv4隧道的IPv6。結論:綜上所述,云計算環(huán)境下網(wǎng)絡技術研究領域在當前乃至今后一段時期內主要集中于網(wǎng)絡數(shù)據(jù)傳輸技術及動態(tài)地址分配技術兩個方面。本文中所分析的網(wǎng)絡技術研究內容比較切合實際應用需求,對研究工作能夠起到一定的指導作用,希望通過本文能夠促使網(wǎng)絡技術研究邁上一個更高的發(fā)展階段。參考文獻:
[1]周志勇.云計算環(huán)境下網(wǎng)絡信息安全技術發(fā)展研究[J].中國高新技術企業(yè),2014,12(25):40-41.[2]宋焱宏.云計算環(huán)境下的網(wǎng)絡安全技術[J].網(wǎng)絡安全技術與應用,2014,25(08):178-179.[3]王麗敏.云計算環(huán)境下的網(wǎng)絡信息資源管理[J].信息與電腦(理論版),2014,33(10):92-93.
第三篇:云計算中MapReduce技術研究
云計算中MapReduce技術研究
孫香花
(長江師范學院數(shù)學與計算機學院,重慶,408100)
摘要: MapReduce是云計算的核心技術之一,它為并行系統(tǒng)的數(shù)據(jù)處理提供了一個簡單、優(yōu)雅的解決方案。其主要目的是為了大型集群的系統(tǒng)能在大數(shù)據(jù)集上進行并行工作,并用于大規(guī)模數(shù)據(jù)的并行運算。本文首先介紹了MapReduce的相關知識,然后對目前MapReduce的國內外研究狀況進行了介紹與評析;并總結了目前MapReduce模型的相關研究問題;最后進行總結并展望了未來發(fā)展的趨勢。
關鍵詞:MapReduce技術;云計算應用;云計算;并行計算;
MapReduce technology of cloud computing
SHUN Xiang-hua(1、College of Mathematics and Computer Science,Yangtze Normal university, Chongqing,,410081)
Abstract: MapReduce is one of the core technology of cloud computing, which is parallel data processing system provides a simple, elegant solution.Its main purpose is to a large cluster of systems in large data sets in parallel, and parallel computing for large-scale data.This paper focus on the cloud of MapReduce technologies.MapReduce first introduced the relevant knowledge, the current research situation of MapReduce are introduced and Analysis;MapReduce model put forward the current research issues;Finally, the summary text and the future trends.Key words: MapReduce technology;cloud computing applications;cloud computing;parallel computing;
1、引言
隨著數(shù)字技術和互聯(lián)網(wǎng)的急速發(fā)展,特別是隨著Web2.0的發(fā)展,互聯(lián)網(wǎng)上的數(shù)據(jù)量高速增長,也導致了互聯(lián)網(wǎng)數(shù)據(jù)處理能力的相對不足。由于待處理數(shù)據(jù)越來越多,多到了很難在一臺或有限數(shù)目的存儲服務器內容納,且更無法由一臺或數(shù)目有限的計算服務器就能處理這樣的海量數(shù)據(jù)。因此,如何實現(xiàn)資源和計算能力的分布式共享以及如何應對當前互聯(lián)網(wǎng)數(shù)據(jù)量高速增長的勢頭,是目前互聯(lián)網(wǎng)界亟待解決的問題。正是在這樣一個發(fā)展背景下,云計算應運而生[1]。
云計算是由并行計算(Parallel Computing)、分布式計算(Distributed Computing)和網(wǎng)格計算(Grid Computing)發(fā)展而來[2,3]。云計算的核心技術之一是MapReduce,它為并行系統(tǒng)的數(shù)據(jù)處理提供了一個簡單、優(yōu)雅的解決方案。其主要目的是為了大型集群的系統(tǒng)能在大數(shù)據(jù)集上進行并行工作,并用于大規(guī)模數(shù)據(jù)的并行運算[4-6]。
近幾年來由于數(shù)據(jù)的大量增長,Mapreduce受到了較多的關注,獲得了較大的發(fā)展,但還沒有形成成熟的、系統(tǒng)化的理論體系[7]。目前國內外進行MapReduce分析技術研究的機構都顯示了對MapReduce的高度關注,并在不同的體系結構上都進行了實現(xiàn),尤其是在開源hadoop平臺上對其所做的研究提供了更多的研究機遇。因此對MapReduce的研究不僅具有收稿日期:
基金項目:教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介:孫香花(1977-),女,山西朔州人,碩士,講師,主要從事數(shù)據(jù)庫、網(wǎng)絡方面的研究.
重要的應用價值,更具有重要的學術意義[8,9]。本文首先介紹了MapReduce的相關知識,然后對目前MapReduce的國內外研究狀況進行了介紹與評析;并總結了目前MapReduce模型的相關研究問題;最后進行總結并展望了未來發(fā)展的趨勢。2、MapReduce相關研究
目前國內外文獻中對MapReduce模型都有相應的研究。主要體現(xiàn)在以下幾個方面: 基于MapReduce的初等研究及改進:在Goole提出的原始模型的基礎上提出一些新的改進方法,或是對怎樣提高MapReduce算法的效率上去進行研究。如:文獻[10]提出了一種改進型的MapReduce編程模型,該模型繼承了傳統(tǒng)的MapReduee模型對map函數(shù)和reduce函數(shù)的定義.對map和reduce過程進行了改進優(yōu)化。文獻[11]中的HPMR是建立在多核集群上的高性能計算支撐平臺。它繼承并改進了MapReduce并行編程模式,使其適合高性能計算需求。并讓并行程序的編寫和運行變得非常簡單,同時又保持很高的性能。
對大規(guī)模的數(shù)據(jù)挖掘:利用MapReduce模型對于云平臺的海量數(shù)據(jù)進行挖掘,抓取網(wǎng)頁相關數(shù)據(jù),或是對網(wǎng)頁內容去重等到相關的大規(guī)模數(shù)據(jù)的研究等。如:文獻[12]詳細描述SPRINT并行算法在HadooP中的MapReduce編程模型上的執(zhí)行流程,并利用分析出的決策樹模型對輸入數(shù)據(jù)進行分類。
基于MapReduce并行模型的一些設計方法與實現(xiàn)或是計算方法的實現(xiàn),如:文獻[13]結合MapReduce的長處,提出研究和實現(xiàn)一個完整的高性能并行計算系統(tǒng),以GPU為硬件基礎并配合基于MapReduce并行計算模型平臺進行大規(guī)模數(shù)據(jù)處理。文獻[14]提出了基于MapReduce架構實現(xiàn)分布式光線跟蹤渲染的方案。該方案基于Hadoop實現(xiàn),利用MapReduee架構簡化了分布式程序設計。
MapReduce的綜述:文獻[15]重點討論了MapReduce模型的相關研究,并對采用或是實現(xiàn)了這些模型的相應公司的技術進行了探討,是一篇綜述類型的學位論文。MapReduce模型的研究與應用:文獻[16]介紹開源并行系統(tǒng)Hadoop的體系結構以及基于Hadoop的MapReduce編程框架,并在Hadoop基礎上提出一種通過多重MapReduce操作,實現(xiàn)海量共現(xiàn)矩陣的生成方法。
當前的研究中,對于云計算中并行計算模型的研究主要是針對于MapReduce模型,而對于MapReduce模型的研究主要在兩個方面展開,一個方面為對MapReduce模型的改進,但是對于改進后的模型的實現(xiàn)平臺沒有研究;另一個方面為MapReduce模型的應用,也是當前的主要研究方向。
3、MapReduce相關研究問題
MapReduce是由Google提出的一種并行分布式編程模型[17-19]。在MapRedcue 模型中用戶只須指定一個map函數(shù)來處理一個輸入的key/value對,產(chǎn)生中間結果key/value對集,再通過一個由用戶指定的reduce函數(shù)來處理中間結果中具有相同key值的value。適合用 MapReduce 來處理的數(shù)據(jù)集(或任務)有一個基本要求: 待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集,而且每一個小數(shù)據(jù)集都可以完全并行地進行處理[20-21]。
圖1說明了用 MapReduce 來處理大數(shù)據(jù)集的過程,MapReduce 的計算過程很簡單,計算利用一個輸入key/value對集,來產(chǎn)生一個輸出key/value對集[22]。MapReduce庫的用戶用兩個函數(shù)表達這個計算:map和reduce。首先,用戶自定義的map函數(shù),接受一個輸入對,然后產(chǎn)生一個中間key/value對集。然后,MapReduce庫把所有具有相同中間key I的中間value聚合在一起,然后把它們傳遞給reduce函數(shù)。最后,用戶自定義的reduce函數(shù),接收稿日期:
基金項目:教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介:孫香花(1977-),女,山西朔州人,碩士,講師,主要從事數(shù)據(jù)庫、網(wǎng)絡方面的研究.
受一個中間key 和相關的一個value集。它合并這些value,形成一個比較小的value集[23-25]。
圖1、Mapreduce的計算流程
隨著數(shù)字技術和互聯(lián)網(wǎng)的急速發(fā)展,特別是隨著Web2.0的發(fā)展,互聯(lián)網(wǎng)上的數(shù)據(jù)量高速增長,也導致了對MapReduce這種并行計算模式的研究變得越來越重要,由此也產(chǎn)生了一系列的相關研究問題,分別如下所列出[26-28]:
1、MapReduce模型只需執(zhí)行簡單的計算,對于隱藏并行化、容錯、數(shù)據(jù)分布、負載均衡的那些問題是如何實現(xiàn)的。
2、Google的MapReduce執(zhí)行流程。
3、對MapReduce模型的實現(xiàn)。
4、對MapReduce模型進行改進。
5、提高Mapreduce的運算效率的方法。
6、基于MapReduce模型的應用。
7、基于MapReduce模型的設計方法及實現(xiàn) 對于以上所列出這些研究問題,目前國內外都有相關的研究,對于這些研究問題在很大程度上仍然有可研究性。
4、未來研究趨勢
MapReduce作為一個通用可擴展的并行計算模型,它用來有效地處理海量數(shù)據(jù),不斷地從中挖掘出有價值的信息,成為互聯(lián)網(wǎng)企業(yè)發(fā)展的必然選擇。很多現(xiàn)實世界對海量數(shù)據(jù)的處理,都可以用這種模型來表示。當前在云計算中使用的分布式并行運算基本上是采用的MapReduce計算模型,不過國內的研究仍然有點滯后,同時,當前的主要研究都放在其應用上,比如說網(wǎng)頁抓取等,真正去研究算法本身的并不多,尤其是在提高算法本身的效率上,以及算法的優(yōu)化等都研究較少。
根據(jù)上面的論述和分析可以看出,對于云計算中并行計算模型的研究和應用主要是對于MapReduce模型的,而對MapReduce模型的應用是當前的主要研究方向。本課題在分析MapReduce模型的基礎上,提出了如下的研究內容:
1、利用MapReduce強大的計算能力,把MapReduce模型應用到一些經(jīng)典的算法中。所要解決的主要問題是經(jīng)典的算法的選取,即要滿足利用MapReduce模型的條件,還要解決的是兩個算法的比較及評價問題;
2、利用MapReduce強大的計算能力,把MapReduce模型應用到一些數(shù)值計算問題中去,所要解決的主要問題是數(shù)值計算問題的分解和結束條件,還要解決的是兩個算法的比較問題及新算法的評價問題。
收稿日期:
基金項目:教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介:孫香花(1977-),女,山西朔州人,碩士,講師,主要從事數(shù)據(jù)庫、網(wǎng)絡方面的研究.
4、結束語
本文首先介紹了MapReduce的相關知識,然后對目前MapReduce的國內外研究狀況進行了介紹與評析;并總結了目前MapReduce模型的相關研究問題;最后進行總結并展望了未來發(fā)展的趨勢。參考文獻 [1] [2] [3] [4] [5] 張建勛,古志民,鄭超.云計算研究進展綜述[J].計算機應用研究,2010,27(2):429-433 金海,漫談.云計算[J].中國計算機學會通訊,2009,5(6):22-25 吳吉義,平玲娣, 潘雪增等.云計算:從概念到平臺[J].電信科學,2009,12:23-30 陳康, 鄭緯民.云計算:系統(tǒng)實例與研究現(xiàn)狀[J].軟件學報.2009,20(5):1337-1348 尹國定,衛(wèi)紅.云計算—實現(xiàn)概念計算的方法[J].東南大學學報:自然科學版,2003,33(4):502-506 [6] 武永衛(wèi),黃小猛.云存儲[J].中國計算機學會通訊,2009,5(6):44-52 [7] Lamel.R Google’s Mapreduce Programming Model-revisited [J].Science of Computer Programming, 2008, 7(1): 208-237.[8] 萬至臻.基于Mapreduce模型的并行計算平臺的設計與實現(xiàn)[I].浙江大學.2008 [9] 吳曉偉.MapReduce并行編程模式的應用和研究[I].中國科學技術大學.2009.[10] 周鋒,李旭偉.一種改進的MapReduce并行編程模型[J].科協(xié)論壇.2009.2(11):11-12 [11] 鄭啟龍,王昊,吳曉偉等.HPMR:多核集群上的高性能計算支撐平臺[J].微電子學與計算.2008,25(9):21-23 [12] 王鄂,李銘.云計算下的海量數(shù)據(jù)挖掘研究[J].現(xiàn)代計算機.2009,22(11):22-25 [13] 瞿李峰.基于GPGPU的MapReduce高性能并行計算模型研究與應用[I].桂林理工大學.2009.[14] 鄭欣杰,朱程榮,熊齊邦.基于MapReduce的分布式光線跟蹤的設計與實現(xiàn)[J].計算機工程.2007,33(22):83-85 [15] 周敏.MapReduce綜述[I].暨南大學.2008.[16] 楊代慶,張智雄.基于Hadoop的海量共現(xiàn)矩陣生成方法[J].現(xiàn)代圖書情報技術.2009, 25(4)23-26 [17] Luis M V, Luis Rodero Merino, Juan Caceres, Maik Lindner.A break in the clouds: toward a cloud definition.ACM SIGCOMM Computer Communication Review, 2009,39(1):50-55 [18] Robert L G,Gu Yunhong,Michael Sabala,Zhang Wanzhi。Compute and storage clouds using wide area high performance networks。Future Generation Computer Systems,2009,25(2):179-183 [19] Daniel J A.Data management in the cloud: limitations and opportunities.Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2009,32(1):3-12 [20] 鄭啟龍.HPMR在并行矩陣計算中的應用[J].計算機工程.2010(8).[21] 徐志偉,廖華明,余海燕.網(wǎng)絡計算系統(tǒng)的分類研究[J].計算機學報.2008,31-9:1509—1515.[22] M.Kruijf and K.Sankaralingam.MapReduce for the Cell B.E.Architecture[J].Technical Report No.TR1625,Computer Science Department,University of Wisconsin,Madison,2007.[23] Colby Ranger,Ramanan Raghuraman,Arun Penmetsa,Gary Bradski,Christos Kozyrakis.Evaluating MapReduce for Multi-core and Multi-processor Systems,Proceedings of the 13th Intl,Symposium on High-Performance Computer Architecture(HPCA).收稿日期:
基金項目:教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介:孫香花(1977-),女,山西朔州人,碩士,講師,主要從事數(shù)據(jù)庫、網(wǎng)絡方面的研究.
Phoenix,AZ, February 2007.[24] J.Dean and S.Ghemawat.Mapreduce:Simplified data processing on large clusters.In OSDI,pages 137-150,2004.[25] D.V.Kalashnikov,S.Prabhakar,and S.E.Hambrusch.Main memory evaluation of monitoring Queries over moving objects.Distributed and Parallel Databases,15(2):117-135,2004.[26] J.Dean.Experiences with mapreduce,an abstraction for large-scale computation.In Proc.IEEEP ACT,2006.[27] 鐘偉彬,周梁月,潘軍彪等.云計算終端的現(xiàn)狀和發(fā)展趨勢[J].電信科學,2010,3:22-26 [28] 陳國良,孫廣中,徐云.并行計算的一體化研究現(xiàn)狀與發(fā)展趨勢[J].科學通報,2009,54(8):1043-1049
地址:重慶市涪陵區(qū)李渡聚龍大道98號長江師范學院數(shù)學與計算機學院辦公室
孫香花 郵編: 408100
收稿日期:
基金項目:教育部“春暉”計劃科研合作項目(Z2005—1-55003)作者簡介:孫香花(1977-),女,山西朔州人,碩士,講師,主要從事數(shù)據(jù)庫、網(wǎng)絡方面的研究.
第四篇:云計算論文
淺談云計算
白娟
(運城學院 信息管理與信息系統(tǒng) 1106)
【摘要】云計算是當前計算機領域的一個熱點。它的出現(xiàn)宣告了低成本提供超級計算時代的到來。云計算
將改變人們獲取信息、分享內容和互相溝通的方式。此文闡述了云計算的簡史、概念、特點、保護和發(fā)展前景,并對云計算的發(fā)展及前景進行了分析。
【關鍵詞】云計算特點,云計算保護,云計算發(fā)展前景
1.云計算相關知識
1.1簡史
1983年,太陽電腦(Sun Microsystems)提出“網(wǎng)絡是電腦”(“The Network is the Computer”),2006年3月,亞馬遜(Amazon)推出彈性計算云(Elastic Compute Cloud;EC2)服務。
2006年8月9日,Google首席執(zhí)行官埃里克·施密特(Eric Schmidt)在搜索引擎大會(SES San Jose 2006)首次提出“云計算”(Cloud Computing)的概念。Google“云端計算”源于Google工程師克里斯托弗·比希利亞所做的“Google 101”項目。
2007年10月,Google與IBM開始在美國大學校園,包括卡內基梅隆大學、麻省理工學院、斯坦福大學、加州大學柏克萊分校及馬里蘭大學等,推廣云計算的計劃,這項計劃希望能降低分布式計算技術在學術研究方面的成本,并為這些大學提供相關的軟硬件設備及技術支持(包括數(shù)百臺個人電腦及BladeCenter與System x服務器,這些計算平臺將提供1600個處理器,支持包括Linux、Xen、Hadoop等開放源代碼平臺)。而學生則可以通過網(wǎng)絡開發(fā)各項以大規(guī)模計算為基礎的研究計劃。
2008年1月30日,Google宣布在臺灣啟動“云計算學術計劃”,將與臺灣臺大、交大等學校合作,將這種先進的大規(guī)模、快速將云計算技術推廣到校園。
2008年2月1日,IBM(NYSE: IBM)宣布將在中國無錫太湖新城科教產(chǎn)業(yè)園為中國的軟件公司建立全球第一個云計算中心(Cloud Computing Center)。
2008年7月29日,雅虎、惠普和英特爾宣布一項涵蓋美國、德國和新加坡的聯(lián)合研究計劃,推出云計算研究測試床,推進云計算。該計劃要與合作伙伴創(chuàng)建6個數(shù)據(jù)中心作為研究試驗平臺,每個數(shù)據(jù)中心配置1400個至4000個處理器。這些合作伙伴包括新加坡資訊通信發(fā)展管理局、德國卡爾斯魯厄大學Steinbuch計算中心、美國伊利諾伊大學香賓分校、英特爾研究院、惠普實驗室和雅虎。
2008年8月3日,美國專利商標局網(wǎng)站信息顯示,戴爾正在申請“云計算”(Cloud Computing)商標,此舉旨在加強對這一未來可能重塑技術架構的術語的控制權。
2010年3月5日,Novell與云安全聯(lián)盟(CSA)共同宣布一項供應商中立計劃,名為“可信任云計算計劃(Trusted Cloud Initiative)”。
2010年7月,美國國家航空航天局和包括Rackspace、AMD、Intel、戴爾等支持廠商共同宣布“OpenStack”開放源代碼計劃,微軟在2010年10月表示支持OpenStack與Windows Server 2008 R2的集成;而Ubuntu已把OpenStack加至11.04版本中。2011年2月,思科系統(tǒng)正式加入OpenStack,重點研制OpenStack的網(wǎng)絡服務。1.2概念
狹義云計算是指計算機基礎設施的交付和使用模式,指通過網(wǎng)絡以按需、易擴展的方式獲得所需的資源(硬件、平臺、軟件)。提供資源的網(wǎng)絡被稱為“云”?!霸啤敝械馁Y源在使用者看來是可以無限擴展的,并且可以隨時獲取,按需使用,隨時擴展,按使用付費。
廣義云計算是指服務的交付和使用模式,指通過網(wǎng)絡以按需、易擴展的方式獲得所需的服務。這種服務可以是計算機和軟件、互聯(lián)網(wǎng)相關的,也可以是其他的服務。云計算是并行計算(Parallel Computing)、分布式計算(Distributed Computing)和網(wǎng)格計算(Grid Computing)的發(fā)展,或者說是這些計算機科學概念的商業(yè)實現(xiàn)。云計算是虛擬化(Virtualization)、效用計算(Utility Computing)、IaaS(基礎設施即服務)、PaaS(平臺即服務)、SaaS(軟件即服務)等概念混合演進并躍升的結果。1.3云計算特點
被普遍接受的云計算特點如下:(1)超大規(guī)模
“云”具有相當?shù)囊?guī)模,Google云計算已經(jīng)擁有100多萬臺服務器,Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務器。企業(yè)私有云一般擁有數(shù)百上千臺服務器?!霸啤蹦苜x予用戶前所未有的計算能力。
(2)虛擬化
云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”,而不是固定的有形的實體。應用在“云”中某處運行,但實際上用戶無需了解、也不用擔心應用運行的具體位置。只需要一臺筆記本或者一個手機,就可以通過網(wǎng)絡服務來實現(xiàn)我們需要的一切,甚至包括超級計算這樣的任務。
(3)高可靠性
“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構可互換等措施來保障服務的高可靠性,使用云計算比使用本地計算機可靠。
(4)通用性
云計算不針對特定的應用,在“云”的支撐下可以構造出千變萬化的應用,同一個“云”可以同時支撐不同的應用運行。
(5)高可擴展性
“云”的規(guī)??梢詣討B(tài)伸縮,滿足應用和用戶規(guī)模增長的需要。(6)按需服務
“云”是一個龐大的資源池,你按需購買;云可以像自來水,電,煤氣那樣計費。(7)極其廉價
由于“云”的特殊容錯措施可以采用極其廉價的節(jié)點來構成云,“云”的自動化集中式管理使大量企業(yè)無需負擔日益高昂的數(shù)據(jù)中心管理成本,“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升,因此用戶可以充分享受“云”的低成本優(yōu)勢,經(jīng)常只要花費幾百美元、幾天時間就能完成以前需要數(shù)萬美元、數(shù)月時間才能完成的任務。
云計算可以徹底改變人們未來的生活,但同時也要重視環(huán)境問題,這樣才能真正為人類進步做貢獻,而不是簡單的技術提升。
(8)潛在的危險性
云計算服務除了提供計算服務外,還必然提供了存儲服務。但是云計算服務當前壟斷在私人機構(企業(yè))手中,而他們僅僅能夠提供商業(yè)信用。對于政府機構、商業(yè)機構(特別象銀行這樣持有敏感數(shù)據(jù)的商業(yè)機構)對于選擇云計算服務應保持足夠的警惕。一旦商業(yè)用戶大規(guī)模使用私人機構提供的云計算服務,無論其技術優(yōu)勢有多強,都不可避免地讓這些私人機構以“數(shù)據(jù)(信息)”的重要性挾制整個社會。對于信息社會而言,“信息”是至關重要的。另一方面,云計算中的數(shù)據(jù)對于數(shù)據(jù)所有者以外的其他用戶云計算用戶是保密的,但是對于提供云計算的商業(yè)機構而言確實毫無秘密可言。所有這些潛在的危險,是商業(yè)機構和政府機構選擇云計算服務、特別是國外機構提供的云計算服務時,不得不考慮的一個重要的前提。
2.云計算的隱私保護和發(fā)展前景
2.1淺談云計算環(huán)境下的隱私權保護
目前,云計算受到產(chǎn)業(yè)界的極大推崇并推出了一系列基于云計算平臺的服務。但在已經(jīng)實現(xiàn)的云計算服務中,安全問題一直令人擔憂,以至于使得安全和隱私問題成為云計算普及過程中面臨的一個巨大挑戰(zhàn)。文章主要探討云計算的隱私問題。在概述網(wǎng)絡隱私權特點的基礎上,指出了云計算環(huán)境下隱私的特殊性,分別從客戶端、網(wǎng)絡傳輸、服務器端三個方面闡述了網(wǎng)絡隱私權存在的安全隱患。最后,從法律、技術、監(jiān)管等方面分析了云計算環(huán)境下隱私權保護的方案。
互聯(lián)網(wǎng)以及與之相關的產(chǎn)業(yè)發(fā)展日新月異,云計算(Cloud Computing)作為一種新的服務模式,受到各方的關注,特別是在產(chǎn)業(yè)界受到極大的推崇。目前,幾乎所有著名IT公司的戰(zhàn)略重點中都涉及了云計算,并推出了一系列基于云計算平臺的服務。Amazon的EC2和Google的Google App Engine都是典型的云計算服務,它們使用Internet來連接外部用戶,把大量的軟件和IT基礎設施作為一種服務對外提供。此外,還有微軟的Live Meeting、Cisco的WebEx、IBM的“藍云”等等。
但是,目前的云計算有其“先天性”不足,對于廣大網(wǎng)民來說,首當其沖的就是隱私保護問題。正如美國軍事安全專家格雷格?康蒂(GregConti)所擔心的:云計算在給人們帶來巨大便利的同時,該服務中所存在的不足也將危及企業(yè)用戶和普通網(wǎng)民的隱私安全。據(jù)世界隱私論壇近日發(fā)布的一份報告聲稱,如果企業(yè)期望通過利用云計算服務來降低IT成本
和復雜性,那么首先應保證這個過程中不會帶來任何潛在的隱私問題。IDC對CIO和IT主管的調查也顯示,安全仍是云計算主要關注的問題,大約75%的人表示他們擔心云計算安全問題(包括隱私安全)。由此可見,隱私安全問題是云計算發(fā)展的最主要障礙之一。2.2云計算的發(fā)展前景
云計算被視為科技業(yè)的下一次革命,它將帶來工作方式和商業(yè)模式的根本性改變。首先,對中小企業(yè)和創(chuàng)業(yè)者來說,云計算意味著巨大的商業(yè)機遇,他們可以借助云計算在更高的層面上和大企業(yè)競爭。自1989年微軟推出Office辦公軟件以來,我們的工作方式已經(jīng)發(fā)生了極大變化,而云計算則帶來了云端的辦公室——更強的計算能力但無須購買軟件,省卻本地安裝和維護。
其次,從某種意義上說,云計算意味著那些對計算需求量越來越大的中小企業(yè),不再試圖去買價格高昂的硬件,而是從云計算供應商那里租用計算能力。在避免了硬件投資的同時,公司的技術部門可以節(jié)省大量的技術維護時間。以亞馬遜為例,其云計算產(chǎn)品價格便宜,吸引了大批中小企業(yè),甚至《紐約時報》、紅帽等大型公司。
[6] 云計算對商業(yè)模式的影響體現(xiàn)在對市場空間的創(chuàng)新上。Google Apps是關于創(chuàng)新的理論中的新市場創(chuàng)新。當互聯(lián)網(wǎng)變得越來越快和可依賴,用戶正從桌面電腦上的軟件應用轉向基于互聯(lián)網(wǎng)的應用。同時,云計算開發(fā)新產(chǎn)品拓展新市場的成本非常低。比如,如果用戶對Gmail的需求突然出現(xiàn)猛增,谷歌的云計算系統(tǒng)會自動為Gmail增加容量和處理器的數(shù)量,無需人工干預,而且增加和調整都不增加成本。依賴云計算,谷歌能以幾乎可以忽略不計的成本增加新的服務。有觀點認為,云計算受到熱捧的背后,還反應了超級計算機市場的角力。超級計算機應用一度因需要非常昂貴的硬件投入而面臨極高的推廣門檻,云計算卻宣告了低成本提供超級計算服務的可能,一旦云計算得到了廣泛的推廣,可以樂觀地估計,超級計算機市場的春天即將到來。參 考 文 獻
[1]武星,王旻超,張武,李青.云計算研究綜述[J].科技創(chuàng)新與生產(chǎn)力,2011,06:49-55.[2]劉曉樂.計算機云計算及其實現(xiàn)技術分析[J].電子科技.2009(12)[3]葉曉勇.簡述云計算[J].黑龍江科技信息.2009(24)[4] 王麗安.Internet云計算技術[J].科協(xié)論壇(下半月).2011(10)[5]狄明遠,周鐵城.云計算淺析[J].科技風.2009(13)社,2004年9月出版; [6] 張亞東.淺談云計算發(fā)展現(xiàn)狀與趨勢[J].科技致富向導.2011(12)[7] 唐紅,徐光俠.云計算研究與發(fā)展綜述[J].數(shù)字通信.2010(03)
[8] 李曉偉,沈艷秋.云計算及其發(fā)展進程[J].科技信息.2011(15)
第五篇:論文-淺談云計算環(huán)境下的等級保護思路
淺談云計算環(huán)境下的等級保護思路
林XX
(XXX科技有限公司,XXXX 570102)
摘要: 通過對云計算的技術特征與常規(guī)網(wǎng)絡集成系統(tǒng)的對比分析,結合當前對云計算環(huán)境下的信息安全等級保護測評過程中遇到的問題,針對云建設、云轉移、云運維過程中數(shù)據(jù)保護的重要性,找出其中的差異性,從政策、標準等技術層面進行分析,并提出適用于當前環(huán)境的參考建議,進一步分析云計算等新技術的出現(xiàn)給目前的等級保護測評體系所帶來的沖擊,以及在提供相關支撐的政策、標準、法律法規(guī)等安全技術的進一步研究完善的必要性。關鍵字:云計算;虛擬云;云安全
Summary: To reinforce the importance of protecting data in the process of Cloud Construction, Cloud Transfer and Cloud OPS and to highlight the diversity among it, we comparatively analyze differences between technical characters of Cloud Computing and traditional integrated network systems to find solutions based on the consideration of situations that may occur in the process of Measuring of the level protection of Cloud Computing information.From a multi-dimensional and technical perspective, include but no least from policy and standard, we apply analyses and offer advices which suit the contemporary situation most.Furthermore, we’re also devoted to enhancing the necessity of researching and perfecting safe practice in relevant aspects as policies, standards and laws by analyzing forces that affect the stability of the existing Measurement of level protection System with the emerging of new technology like Cloud Computing, and better solving the problems we’re encountering with in building up a safer environment for the development of Cloud Computing.Keyword: cloud computing;virtual cloud;Cloud security
1.引言
隨著美國棱鏡門等其他泄密事件以來,信息安全受到越來越多的國家和企業(yè)的重視,特別是2015年6月,第十二屆全國人大常委會第十五次會議初次審議了《中華人民共和國網(wǎng)絡安全法(草案)》。并與當年7月6日將《中華人民共和國網(wǎng)絡安全法(草案)》向社會公開征求意見,可見國家層面對信息安全的足夠重視。
云計算經(jīng)過一段時間的技術積累和發(fā)展,已經(jīng)在各行各業(yè)中廣泛推廣和應用,并得到業(yè)界的普遍認可。作為一項新生事物,云計算的推廣剛開始也沒有想象的那么順暢,同樣遇到了很多困難,其中遇到的最大困難是如何消除用戶對云安全問題的擔憂。Gartner、IDC 等專業(yè)機構的調研也表明,云安全問題已成為阻礙云計算推廣的最大障礙。鑒于云計算的復雜性,它的安全問題也應該是一個涵蓋技術、管理,甚至法律、法規(guī)的綜合體。云計算環(huán)境下,信息系統(tǒng)的安全就成了一個不容忽視、不可繞過的嚴峻問題。如何保障云計算環(huán)境下安全問題,依然值得我們深入研究。
2.云計算
當前,IT業(yè)界同行對于云計算的解讀并未形成統(tǒng)一的意見。簡單地講,云計算可以從技術層面和運營服務層面來分析云計算的概念。從技術層面分析,云計算其實并不是一項技術,而是代表一系列計算方式發(fā)展趨勢的綜合概念,是并行計算(parallel computing)、分布式計算(distributed computing)和網(wǎng)格計算(grid computing)的發(fā)展。事實上,云計算不是指一項獨立的技術,而是在從C/S 結構、分布式計算到網(wǎng)格計算、效用計算、SaaS 的計算方式發(fā)展大趨勢下,一系列包括虛擬化、按需服務在內的概念總和。從運營服務層面分析,云計算只是提供了一種按需租用計算能力的服務,對于外部使用者來說,這種服務就像天上的云一樣透明,不需要考慮自身服務性能的問題,也不對其背后的實現(xiàn)細節(jié)進行過于關注,從而可以集中精力專注于自身業(yè)務,有利于企業(yè)單位業(yè)務創(chuàng)新創(chuàng)新及節(jié)約成本。對整個IT行業(yè)來說,這是一次革命性的創(chuàng)新??梢哉f,云計算已經(jīng)不僅僅只是技術的進一步發(fā)展,更是一種業(yè)務模式的創(chuàng)新發(fā)展。
有一個簡單的公式可以很直觀地表達云計算的服務關系: 云計算 =(基礎設施+平臺+ 軟件+ 數(shù)據(jù))* 服務。
從該公式我們可以很直觀地看到,云計算通過基礎措施、平臺、軟件、數(shù)據(jù)構成技術層面的基礎環(huán)境,既然有技術,相應的還要具備良好的服務,兩者是互利的相乘關系。簡單來講,就是在同等技術條件下,所能提供的服務越好,云計算的價值就會越大。
3.云環(huán)境下的等級保護問題探討
綜上所述,云計算在實際的推廣中遇到的最大阻礙是用戶對云安全問題的擔憂。數(shù)據(jù)依托云端來處理和存儲,有利于用戶節(jié)約成本,但用戶本身數(shù)據(jù)的敏感性及重要程度同樣會加深用戶對云安全的擔憂。所以用戶在選擇云計算服務的時候首先會考慮其安全性。對于普通用戶來講,云計算的安全性在技術層面因其本身技術能力問題,不會做過于關注,普通用戶關注點在于云計算所提供服務的安全合規(guī)性是否達到相關政策標準。當前,針對云計算服務的安全合規(guī)性規(guī)范主要由等級保護、ISO27001、CSA云計算聯(lián)盟的相關認證。其中等級保護是一項基本政策,但與其他政策規(guī)范文件一樣,當前的等級保護相關標準面臨新的挑戰(zhàn)。
傳統(tǒng)的等級保護標準主要面向靜態(tài)的具有固定邊界的網(wǎng)絡系統(tǒng)集成環(huán)境。然而,對于云計算而言,因其技術特點,安全等級保護對象和保護區(qū)域邊界都具有動態(tài)性。在具有動態(tài)性的網(wǎng)絡環(huán)境中如何來確定等級保護對象及保護業(yè)務,是當前云計算下的信息安全等級保護需要面臨的一個挑戰(zhàn)。
云計算環(huán)境下,由于等級保護的對象和保護區(qū)域邊界具有動態(tài)性,相應的業(yè)務數(shù)據(jù)可能會在數(shù)據(jù)中心和物理主機之間移動,導致用戶無法知道數(shù)據(jù)真實存儲位置。另外,云平臺引入了虛擬抽象層,其覆蓋范圍可以涵蓋不同區(qū)域的物理設施,傳統(tǒng)的等級保護并沒有考慮這種情況。由于云計算的技術特點,在云計算安全保障中,僅僅采用傳統(tǒng)的安全技術是不夠的,每一項新的技術都會帶來新的安全風險,虛擬化也不例外。當前,對云計算技術還不夠成熟,在等級保護測評層面缺少針對性的指導性的規(guī)范文件,對云計算的安全防護和保障技術測評已成為云環(huán)境等級保護的一大難題。
當前,信息系統(tǒng)安全等級保護作為應對云計算安全的重要手段,能一定程度降低云計算所面臨的安全風險。對于云計算環(huán)境下的等級保護建設問題,可參照GB/T 22239-2008《信息系統(tǒng)安全等級保護基本要求》和GB/T25070-2010《信息系統(tǒng)安全等級保護設計技術要求》,按照傳統(tǒng)模式把云計算從用戶網(wǎng)絡接入、訪問應用邊界、計算環(huán)境和管理平臺進行劃分,構建在安全管理中心支持下的可信通信網(wǎng)絡、可信應用邊界和可信計算環(huán)境三重安全防護框架,并按照GB/17859《計算機信息系統(tǒng)安全保護等級劃分準則》評估準則進行評估。
4.云計算環(huán)境下等級保護工作開展
云計算虛擬化技術相對于傳統(tǒng)的基于物理計算資源的信息技術而言,在數(shù)據(jù)備份和快速恢復方面具有很強的優(yōu)勢,通過以上分析得知,每一項新技術的誕生都會帶來相應的安全問題,云計算也不例外。按照信息系統(tǒng)安全等級保護測評的基本要求框架,參照傳統(tǒng)模式可以將云計算虛擬化新技術所帶來的新的安全問題歸類到五大技術保障類和五大管理保障類中,根據(jù)云虛擬化技術特點增加相應的控制點中的要求項,為虛擬機技術的安全評估提供新的思路。
在物理安全層面,可采用全備份結合增量備份的方式對云計算數(shù)據(jù)中心的數(shù)據(jù)、應用、配置等關鍵資源進行異地備份和恢復校驗,確保在異常災難情況下實現(xiàn)數(shù)據(jù)中心的數(shù)據(jù)及服務的快速恢復。在備份冗余層面,可采用冗余設備、冗余鏈路、準入控制等安全措施保障云計算虛擬化終端接入的鏈路安全性和可靠性。在物理安全區(qū)域規(guī)劃和數(shù)據(jù)存放層面,應根據(jù)用戶等級、數(shù)據(jù)敏感性、應用重要性、流量特征的不同,對虛擬化環(huán)境中的存儲區(qū)域進行模塊化的劃分,并在數(shù)據(jù)的使用、存儲和傳輸過程中,在沒有任何加密及控制的情況下與其他客戶數(shù)據(jù)進行隔離控制,以支持虛擬化環(huán)境下數(shù)據(jù)的安全存放及資源的快速分配、調度和回收。
在網(wǎng)絡安全層面,應對物理網(wǎng)絡和虛擬網(wǎng)絡的劃分在相關標準文件的規(guī)范下提供明確的文檔說明,并符合實際的數(shù)據(jù)傳輸安全策略。在應用“瘦客戶端”的模式下,應在“瘦客戶端”與虛擬VM之間,虛擬VM與應用之間部署防火墻,同時采用虛擬防火墻與物理防火墻相結合的方式,并配置嚴格的安全訪問控制策略,確保每個層的網(wǎng)絡流量都是可控的并且是安全的。邊界完整性檢查的范圍不僅僅只是物理網(wǎng)絡層面,還應包括虛擬網(wǎng)絡。在同一臺物理主機上的虛擬VM之間的通信進行入侵檢測,避免因某一臺虛擬機存在高危安全漏洞,被攻擊者成功利用并被入侵該虛擬機,并以此為跳板,跳過其他安全防護設備,入侵同一服務器同一網(wǎng)段內的其他重要虛擬機。在用戶終端和數(shù)據(jù)中心虛擬機之間的網(wǎng)絡通信過程采用可靠的技術手段進行加密傳輸,防止通過過程被竊聽,造成數(shù)據(jù)被篡改或破壞。同時,部署相應的網(wǎng)絡安全運維平臺對整個物理網(wǎng)絡和虛擬網(wǎng)絡的運行情況進行有效監(jiān)控和管理,以便及時發(fā)現(xiàn)系統(tǒng)異常并及時處理。
在主機安全層面,應根據(jù)物理主機性能情況,以及虛擬機實際使用需求,為每一臺虛擬機分配適當?shù)馁Y源空間,并設置相應的資源使用上限,避免虛擬機受到拒絕服務攻擊(Ddos),影響到其他虛擬機的正常使用。以及應通過相應的備份及更新策略,保障虛擬上的病毒庫代碼及系統(tǒng)補丁保持最新。最重要一點,針對物理硬盤中的重要鏡像文件,要重點保護及數(shù)據(jù)備份,避免受到惡意代碼攻擊及破壞。
在應用安全層面,這里要重點說的一點是關于Hypervisor的訪問控制。在整個虛擬環(huán)境中,Hypervisor是核心的管理控制程序,負責對硬件資源的調度,對整個系統(tǒng)的安全穩(wěn)定運行至關重要,有必要將Hypervisor作為一個應用進行單獨的安全性核查,且Hypervisor本身的安全等級不能低于整個系統(tǒng)的安全等級。
在數(shù)據(jù)安全及恢復備份層面,針對數(shù)據(jù)安全的解決方案通常是采取數(shù)據(jù)隔離、數(shù)據(jù)加密、數(shù)據(jù)切分、數(shù)據(jù)屏蔽、數(shù)據(jù)刪除技術來保障數(shù)據(jù)的完整性、保密性和可用性。在數(shù)據(jù)完整性和可用性方面,可重點對虛擬鏡像文件進行保護,采取相關可靠技術對鏡像文件的完整性進行檢測,并在檢測發(fā)現(xiàn)異常的情況下能及時進行快速恢復。在數(shù)據(jù)保密性層面,可采用可靠的加密技術手段對虛擬鏡像文件進行加密保存及傳輸,確保鏡像文件的安全。
在五個管理安全層面(安全管理制度、安全管理機構、人員安全管理、系統(tǒng)建設管理以及系統(tǒng)建設管理),安全管理體系的側重點跟傳統(tǒng)的等級保護模式無太大區(qū)別,可在原來的基礎上針對虛擬化的技術特點做進一步的完善和提升,并制定符合用戶實際情況的管理制度。最重要的一點是已制定的相關安全管理制度要切實落地執(zhí)行,不能當成政績工程,以及要在實際的執(zhí)行過程中根據(jù)記錄信息進一步完善制度體系。
5.結論
云計算的發(fā)展趨勢已經(jīng)有目共睹,并且已經(jīng)成為當前IT 界關注的熱點話題,但云計算的發(fā)展也面臨許多關鍵性問題,而安全問題首當其沖,并且隨著云計算的不斷普及和推廣,其重要性呈現(xiàn)逐步上升趨勢,已成為制約云計算發(fā)展的核心因素。因此,對云計算的安全進行系統(tǒng)研究顯得迫切而重要。
在傳統(tǒng)的網(wǎng)絡,經(jīng)過長久發(fā)展的網(wǎng)絡依然沒有絕對安全的網(wǎng)絡,“沒有絕對的安全,只有相對的安全”,云計算的安全環(huán)境也一樣,沒有絕對安全的網(wǎng)絡,但我們需要做的是使用一些現(xiàn)有的有效云安全技術來讓我們的云服務能夠達到相對的安全。對于云提供商,這是一個值得著重專研的一項技術。通過這些技術來促使信息安全建設與信息化建設同步發(fā)展。
云計算仍然是一個不斷發(fā)展的技術,它在帶來我們諸多好處的同時,也帶來了不少的隱憂。不過新的云安全技術也在水漲船高,在信息系統(tǒng)安全等級保護測評層面,相關單位也在抓緊制定針對性云計算的等級保護標準,以及去年發(fā)布的《中華人民共和國網(wǎng)絡安全法(草案)》,從技術及政策標準為云計算環(huán)境提供著越來越高級別的防護。從以上種種跡象表明,不論是公用網(wǎng)絡還是私用網(wǎng)絡,云計算技術帶給我們的不僅僅是方便,而且比以往任何時候都更加安全,可以說云計算技術或許是當前乃至未來最好的信息系統(tǒng)安全解決方案。關鍵在于我們怎么去完善云計算的安全防護體系。
6.參考文獻
[1]王春海.VMware虛擬化與云計算應用案例詳解[M].北京:中國鐵道出版社,2013 [2]馬博峰.VMware,Citrix和Microsoft虛擬化技術詳解與應用實踐[M].北京:機械工業(yè)出版社,2012 [3]馬博峰.VMware,Citrix和Microsoft虛擬化技術詳解與應用實踐[M].北京:機械工業(yè)出版社,2012 [4] 《虛擬化與云計算》小組.虛擬化與云計算[M].北京:電子工業(yè)出版社,2009 [5] [美] Michael J.Kavis(邁克爾·J·凱維斯)著;陳志偉 譯.讓云落地:云計算服務模式(SaaS、PaaS和IaaS)設計決策[M].北京:電子工業(yè)出版社,2016 [6] [美] Thomas ERL,[英] Zaigham Mahmood,[巴西] Ricardo Puttini 著;龔奕利,賀蓮,胡創(chuàng) 譯.云計算:概念、技術與架構[M].北京:機械工業(yè)出版社,2014 [7] 陳馳,于晶.信息安全國家重點實驗室信息安全叢書:云計算安全體系[M].北京:科學出版社,2014 [8] 李智勇,李蒙,周悅.大數(shù)據(jù)時代的云安全[M].北京:化學工業(yè)出版社,2016 [9] 趙國祥,劉小茵,李堯.云計算信息安全管理 CSA C-STAR實施指南[M].北京:電子工業(yè)出版社,2015 [10] [美] 戴夫.沙克爾福 著;張小云 等 譯.虛擬化安全解決方案[M].北京:機械工業(yè)出版社,2015 [11] 陳曉峰,馬建峰,李暉,李進.云計算安全[M].北京:科學出版社,2016 [12] 李虹,李昊.可信可信云安全的關鍵技術與實現(xiàn)[M].北京:人民郵電出版社,2010 [13] 邢利榮,何曉龍.從虛擬化到云計算[M].北京:電子工業(yè)出版社,2013 [14] Brendan Gregg(布蘭登·格雷格)著;徐章寧,吳寒思,陳磊 譯.性能之巔:洞悉系統(tǒng)、企業(yè)與云計算[M].北京:電子工業(yè)出版社,2015 [15] GB/T 22239-2008信息系統(tǒng)安全等級保護基本要求[S].北京.2008