第一篇：云計(jì)算環(huán)境下的網(wǎng)絡(luò)技術(shù)研究

云計(jì)算環(huán)境下的網(wǎng)絡(luò)技術(shù)研究

摘要：隨著互聯(lián)網(wǎng)的普及應(yīng)用，使得人們生活內(nèi)容更加豐富多彩，并且從根本上改變了人們傳統(tǒng)的生活習(xí)慣，網(wǎng)絡(luò)已經(jīng)成為日常生活中不可或缺的組成部分。特別是在云計(jì)算環(huán)境下，網(wǎng)絡(luò)技術(shù)在國(guó)民經(jīng)濟(jì)發(fā)展、社會(huì)進(jìn)步中所發(fā)揮的作用更是與日俱增。如何更好的把握時(shí)代脈搏，創(chuàng)新研發(fā)符合世界經(jīng)濟(jì)發(fā)展規(guī)律的網(wǎng)絡(luò)技術(shù)成為當(dāng)前研究領(lǐng)域重要課題之一。為此，本文將針對(duì)當(dāng)前云計(jì)算環(huán)境下網(wǎng)絡(luò)新挑戰(zhàn)作為切入點(diǎn)，深入分析并探尋未來(lái)網(wǎng)絡(luò)技術(shù)發(fā)展方向，以豐富現(xiàn)有研究成果，推動(dòng)相關(guān)研究進(jìn)一步發(fā)展。

關(guān)鍵詞：云計(jì)算；網(wǎng)絡(luò)技術(shù)；國(guó)民經(jīng)濟(jì)；社會(huì)進(jìn)步；時(shí)代脈搏

前言：網(wǎng)絡(luò)技術(shù)的發(fā)展可以說(shuō)是日新月異，自從上個(gè)世紀(jì)40年代中期計(jì)算機(jī)誕生以來(lái)，網(wǎng)絡(luò)逐步成為日常生活中的重要娛樂(lè)方式。云計(jì)算通過(guò)虛擬化技術(shù)、分布式計(jì)算等方式將網(wǎng)絡(luò)信息資源整合，形成一個(gè)資源池，動(dòng)態(tài)的將網(wǎng)絡(luò)資源分配給具有使用需求的用戶，繼而創(chuàng)造良好的社會(huì)效益及經(jīng)濟(jì)效益的一種服務(wù)模式，并且隨著世界經(jīng)濟(jì)一體化趨勢(shì)不斷發(fā)展，網(wǎng)絡(luò)資源在各國(guó)競(jìng)爭(zhēng)中發(fā)揮的作用愈加明顯。因此，如何應(yīng)用更新、更具前瞻性的網(wǎng)絡(luò)技術(shù)來(lái)?yè)屨际袌?chǎng)先機(jī)，壯大本國(guó)相關(guān)產(chǎn)業(yè)成為一個(gè)不容忽視的問(wèn)題。1 云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)面臨的新挑戰(zhàn)解析 1.1海量數(shù)據(jù)信息對(duì)寬帶及延遲提出更高要求

隨著互聯(lián)網(wǎng)的普及應(yīng)用，網(wǎng)絡(luò)經(jīng)濟(jì)正以飛速發(fā)展，人們每天都可以從中感受出網(wǎng)絡(luò)技術(shù)的變化。特別是在云計(jì)算環(huán)境下，個(gè)人信息、企業(yè)及政府職能部門敏感數(shù)據(jù)通過(guò)云存儲(chǔ)技術(shù)進(jìn)行保存已經(jīng)成為網(wǎng)絡(luò)技術(shù)發(fā)展的主流趨勢(shì)。然而，由于網(wǎng)絡(luò)的觸角已經(jīng)延伸至社會(huì)經(jīng)濟(jì)生產(chǎn)生活的方方面面，每天互聯(lián)網(wǎng)中都會(huì)生成海量的數(shù)據(jù)信息，并通過(guò)網(wǎng)絡(luò)傳輸方式上傳至云端進(jìn)行存儲(chǔ)。在此過(guò)程中，受到網(wǎng)絡(luò)延遲以及寬帶帶寬的影響，敏感數(shù)據(jù)容易發(fā)生丟失或者損害，造成用戶無(wú)法正常使用，并且相關(guān)數(shù)據(jù)恢復(fù)難度較大，造成了一定的不利影響。因此，云計(jì)算環(huán)境下，海量數(shù)據(jù)面前，網(wǎng)絡(luò)延遲以及寬帶帶寬問(wèn)題已經(jīng)成為限制網(wǎng)絡(luò)技術(shù)發(fā)展的重要因素，由此產(chǎn)生的數(shù)據(jù)安全數(shù)據(jù)存儲(chǔ)問(wèn)題亟待解決。1.2二層網(wǎng)絡(luò)亟待建立

眾所周知，由于采用虛擬機(jī)動(dòng)態(tài)遷移技術(shù)能夠使得數(shù)據(jù)中心的操作具有更大的靈活性及快捷性，大幅提升其工作效率而被廣泛認(rèn)可及接受，成為當(dāng)前網(wǎng)絡(luò)技術(shù)中應(yīng)用范圍較廣的一種應(yīng)用技術(shù)。然而，當(dāng)前采用的虛擬機(jī)動(dòng)態(tài)遷移技術(shù)無(wú)法改變虛擬機(jī)的IP地址、MAC地址，帶來(lái)的最明顯問(wèn)題即在于當(dāng)虛擬機(jī)發(fā)生遷移之后，虛擬機(jī)自身原有網(wǎng)絡(luò)配置將與新環(huán)境無(wú)法適應(yīng)，正常通信得不到有效保障，因而最終釀成業(yè)務(wù)連續(xù)性受到影響的不利結(jié)果。因而，云計(jì)算環(huán)境下要想實(shí)現(xiàn)跨域場(chǎng)情境下的虛擬機(jī)實(shí)時(shí)運(yùn)轉(zhuǎn)，就需要將所有發(fā)生動(dòng)態(tài)遷移的虛擬機(jī)納入到一個(gè)統(tǒng)一的二層網(wǎng)絡(luò)中，以滿足用戶的上網(wǎng)需求。而二層網(wǎng)絡(luò)的建立在目前尚未展開，進(jìn)一步降低了云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)所帶來(lái)的便利性。2 云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)研究方向

針對(duì)云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)面臨的挑戰(zhàn)，本文在綜合總結(jié)了國(guó)內(nèi)外關(guān)于該領(lǐng)域及該可以的研究成果后，總結(jié)出了如下幾方面網(wǎng)絡(luò)技術(shù)研發(fā)應(yīng)用方向，以供相關(guān)研究借鑒參考。2.1接入技術(shù)

接入技術(shù)被業(yè)界形象的稱之為“最后一公里”技術(shù)，意指本地網(wǎng)絡(luò)運(yùn)營(yíng)商與用戶之間的一段連接[1]。當(dāng)前應(yīng)用前景比較明朗的接入技術(shù)如下：

2.1.1ADSL ADSL又被稱作為非對(duì)稱數(shù)字用戶線，是DSL家族系列中應(yīng)用范圍最廣的一種，除了ADSL外，其他DSL接入技術(shù)包括：HDSL、VDSL、IDSL等。ADSL主要是利用現(xiàn)有的電話雙絞線作為網(wǎng)絡(luò)傳輸?shù)慕橘|(zhì)，具有成本低廉等優(yōu)勢(shì)，經(jīng)過(guò)不斷豐富及完善，當(dāng)前ADSL傳輸峰值已經(jīng)達(dá)到了115Kbps，完全能夠滿足企事業(yè)單位、政府職能部門、個(gè)人用戶的使用需求。并且ADSL的非對(duì)稱性與終端用戶的網(wǎng)絡(luò)訪問(wèn)特點(diǎn)具有較為明顯的一致性：個(gè)人用戶多數(shù)應(yīng)用都是以客戶方式從網(wǎng)上去獲取數(shù)據(jù)，如WWW、FTP，只在個(gè)別時(shí)候才向網(wǎng)絡(luò)大量發(fā)送數(shù)據(jù)，如發(fā)送附帶多媒體信息的電子郵件，因此下行數(shù)據(jù)量大、上行數(shù)據(jù)量小。隨著固定電話走入千家萬(wàn)戶，ADSL的應(yīng)用前景將會(huì)更加明顯，其技術(shù)改進(jìn)方向也集中于提高網(wǎng)絡(luò)數(shù)據(jù)傳輸速率及穩(wěn)定性等方面。

2.1.2線纜調(diào)制解調(diào)器 線纜調(diào)制解調(diào)器的客戶群體主要集中于家庭用戶，是在當(dāng)前電纜基礎(chǔ)上將分配網(wǎng)絡(luò)的主干部分改為光纜通信，繼而在各個(gè)節(jié)點(diǎn)位置實(shí)現(xiàn)光電轉(zhuǎn)化，再經(jīng)由通州電纜將網(wǎng)絡(luò)信號(hào)傳輸至用戶家里。線纜調(diào)制解調(diào)器可以廣泛應(yīng)用于Internet訪問(wèn)、電視節(jié)目點(diǎn)播、數(shù)據(jù)電話等拓展業(yè)務(wù)，其市場(chǎng)應(yīng)用前景極其廣闊。當(dāng)前現(xiàn)有技術(shù)條件下Internet訪問(wèn)的最高峰值可以達(dá)到30Mbps，而上行速率可到到2M左右。盡管線纜調(diào)制解調(diào)器是一個(gè)共享網(wǎng)絡(luò)，隨著用戶的增加、寬帶及節(jié)點(diǎn)數(shù)量的激增而會(huì)產(chǎn)生網(wǎng)絡(luò)延遲現(xiàn)象，但是其較高的帶寬在目前尚可以滿足用戶使用需求，其所享受的寬帶資源仍然是所有接入技術(shù)中最高的網(wǎng)絡(luò)數(shù)據(jù)傳輸方式。

2.1.3無(wú)線接入技術(shù)（WLAN）

無(wú)線接入技術(shù)是近些年來(lái)隨著網(wǎng)絡(luò)通信技術(shù)快速發(fā)展而形成的一種新型數(shù)據(jù)傳輸、通訊方式。相較于ADSL、線纜調(diào)制解調(diào)器，無(wú)線接入技術(shù)是通過(guò)無(wú)限介質(zhì)將用戶與網(wǎng)絡(luò)節(jié)點(diǎn)相連接，以實(shí)現(xiàn)用戶與網(wǎng)絡(luò)間無(wú)障礙數(shù)據(jù)惜惜傳遞的目的，其需要遵循一定的網(wǎng)絡(luò)協(xié)議，并且該協(xié)議內(nèi)容也成為無(wú)線接入技術(shù)的核心及關(guān)鍵內(nèi)容[2]。其最明顯的特征即為可以向用戶提供實(shí)時(shí)的移動(dòng)接入業(yè)務(wù)，不管用戶是在鬧市區(qū)還是鄉(xiāng)村郊外，隨時(shí)可以將自身感觸、心得體會(huì)上傳至網(wǎng)絡(luò)空間，網(wǎng)絡(luò)共享具有極大的便利性，因而該技術(shù)成為當(dāng)下網(wǎng)絡(luò)技術(shù)研究中的重要領(lǐng)域及方向，是今后網(wǎng)絡(luò)業(yè)務(wù)開展的重要保障之一。2.2IPv6技術(shù)

虛擬機(jī)動(dòng)態(tài)遷移技術(shù)不能改變IP地址、MAC地址的問(wèn)題已經(jīng)困擾人們多時(shí)，該問(wèn)題的存在使得移動(dòng)網(wǎng)絡(luò)技術(shù)應(yīng)用受到很大程度影響，加劇了網(wǎng)絡(luò)服務(wù)商與用戶之間的對(duì)立形勢(shì)。IPv6技術(shù)的出現(xiàn)幾乎完美的解決地址不能及時(shí)變更的問(wèn)題，使得網(wǎng)絡(luò)連接更加快捷。當(dāng)前IPv6技術(shù)為用戶提供了128位的IP地址，使得地址數(shù)量得到大幅提升，有效的解決了IP地址資源危機(jī)。并且其所使用的“可聚集全球統(tǒng)一計(jì)算地址”構(gòu)造與當(dāng)前網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)較為一致，使得線纜調(diào)制解調(diào)器能夠最大化發(fā)揮功用[3]。但是當(dāng)前IPv6技術(shù)的應(yīng)用尚無(wú)法廣泛推廣，主要原因在于其升級(jí)存在諸多困難。因此，IPv6技術(shù)今后研究的重點(diǎn)方向即為構(gòu)建以下三種機(jī)制：兼容IPv4的IPv6地址、雙IP協(xié)議棧和基于IPv4隧道的IPv6。結(jié)論：綜上所述，云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)研究領(lǐng)域在當(dāng)前乃至今后一段時(shí)期內(nèi)主要集中于網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù)及動(dòng)態(tài)地址分配技術(shù)兩個(gè)方面。本文中所分析的網(wǎng)絡(luò)技術(shù)研究?jī)?nèi)容比較切合實(shí)際應(yīng)用需求，對(duì)研究工作能夠起到一定的指導(dǎo)作用，希望通過(guò)本文能夠促使網(wǎng)絡(luò)技術(shù)研究邁上一個(gè)更高的發(fā)展階段。參考文獻(xiàn)：

[1]周志勇.云計(jì)算環(huán)境下網(wǎng)絡(luò)信息安全技術(shù)發(fā)展研究[J].中國(guó)高新技術(shù)企業(yè)，2014，12（25）:40-41.[2]宋焱宏.云計(jì)算環(huán)境下的網(wǎng)絡(luò)安全技術(shù)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014，25（08）:178-179.[3]王麗敏.云計(jì)算環(huán)境下的網(wǎng)絡(luò)信息資源管理[J].信息與電腦(理論版)，2014，33（10）:92-93.

第二篇：云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)研究論文

引言

云計(jì)算是一種比較全面的互聯(lián)網(wǎng)計(jì)算模型，其主要作用是靈活自如地調(diào)用每一種IT技能。伴隨著大數(shù)據(jù)時(shí)代的到來(lái)，云計(jì)算作為一種新興的技術(shù)，對(duì)提升、優(yōu)化大數(shù)據(jù)及信息的處理有著巨大的作用，云計(jì)算環(huán)境下的網(wǎng)絡(luò)技術(shù)發(fā)展又向前邁進(jìn)一大步。

1云計(jì)算技術(shù)的研究

云計(jì)算的計(jì)算方式是利用互聯(lián)網(wǎng)，在各種網(wǎng)絡(luò)技術(shù)（如計(jì)算機(jī)、網(wǎng)絡(luò)、通信技術(shù)）的綜合應(yīng)用下實(shí)現(xiàn)的。云計(jì)算獲得數(shù)據(jù)及信息的方法主要是利用與互聯(lián)網(wǎng)相連接的硬件設(shè)備?！霸啤笔菍?duì)網(wǎng)絡(luò)的一種形象表達(dá)，多的意思。網(wǎng)絡(luò)技術(shù)的發(fā)展也推進(jìn)著云計(jì)算技術(shù)的發(fā)展，被越來(lái)越多的人熟知和應(yīng)用。云計(jì)算主要是建立一種隨時(shí)變化的信息源數(shù)據(jù)庫(kù)，主要是通過(guò)分布計(jì)算與虛擬化的手段，將許多相對(duì)分散的信息數(shù)據(jù)聚集而形成[1]。云計(jì)算形成的信息源數(shù)據(jù)庫(kù)是隨著自身所使用的網(wǎng)絡(luò)資源不斷變化的。云計(jì)算中轉(zhuǎn)嫁硬件設(shè)備的方法為企業(yè)極大地節(jié)約了經(jīng)濟(jì)成本，同時(shí)也節(jié)約了人力成本。客戶與任務(wù)之間主要靠互聯(lián)網(wǎng)聯(lián)系在一起，這是信息技術(shù)發(fā)展的趨勢(shì)，云計(jì)算則適應(yīng)了這一趨勢(shì)。

2云計(jì)算網(wǎng)絡(luò)技術(shù)體系框架

信息處理硬件負(fù)責(zé)云計(jì)算的主要工作，云計(jì)算市場(chǎng)呈現(xiàn)一種蓬勃發(fā)展的態(tài)勢(shì)，促使著處理硬件需求量的增加。互聯(lián)網(wǎng)信息處理的規(guī)?；?、模擬化都受到信息處理硬件發(fā)展的影響。信息處理平臺(tái)基于橫向和縱向的兩種交流實(shí)現(xiàn)，在以前的處理平臺(tái)中主要采用縱向交流，隨著大數(shù)據(jù)時(shí)代的發(fā)展，橫向數(shù)據(jù)交流量不斷增加，云計(jì)算網(wǎng)絡(luò)的體系骨架進(jìn)一步完善。云計(jì)算網(wǎng)絡(luò)骨架（從工作任務(wù)到最終的客戶）一般可以分為四種：

（1）在虛擬機(jī)之間的網(wǎng)絡(luò)交互；

（2）服務(wù)器之間的網(wǎng)絡(luò)交互；

（3）數(shù)據(jù)中心之間的網(wǎng)絡(luò)交互；

（4）用戶與數(shù)據(jù)信息中心之間的網(wǎng)絡(luò)交互。其中發(fā)生在數(shù)據(jù)信息中心內(nèi)部的是服務(wù)器、虛擬機(jī)之間的兩種網(wǎng)絡(luò)交互方式。網(wǎng)絡(luò)交互是發(fā)生在虛擬機(jī)之間的，主要是在虛擬交換機(jī)中進(jìn)行。網(wǎng)絡(luò)交互發(fā)生在服務(wù)器之間的，利用交換機(jī)進(jìn)行交互，在服務(wù)器中通過(guò)縱向和橫向兩種流量交互實(shí)現(xiàn)。網(wǎng)絡(luò)交互發(fā)生在數(shù)據(jù)中心之間的，可分情況對(duì)待：同城時(shí)，可選用城域網(wǎng)解決；不同城時(shí)，可選用骨干網(wǎng)解決。數(shù)據(jù)中心可能因數(shù)據(jù)量的增多而不能及時(shí)完成操作，需要增設(shè)數(shù)據(jù)中心進(jìn)行操作，由此出現(xiàn)二層網(wǎng)絡(luò)的搭架。網(wǎng)絡(luò)交互發(fā)生在用戶與數(shù)據(jù)信息中心的，主要通過(guò)城域網(wǎng)完成交互?，F(xiàn)實(shí)生活中，升級(jí)的業(yè)務(wù)、劇增的信息數(shù)據(jù)、流量增大的用戶與信息數(shù)據(jù)中心之間，都促使著更大型、更智能的網(wǎng)絡(luò)寬帶的出現(xiàn)，從而更好地進(jìn)行數(shù)據(jù)信息的傳輸。多個(gè)數(shù)據(jù)信息中心的出現(xiàn)也為我們帶來(lái)了新的問(wèn)題，例如：如何快速地進(jìn)行數(shù)據(jù)信息中心的轉(zhuǎn)換。

3云環(huán)境下的網(wǎng)絡(luò)新技術(shù)

3.1虛擬機(jī)本地互訪網(wǎng)絡(luò)

目前狀況下，對(duì)同一臺(tái)服務(wù)器內(nèi)部虛擬機(jī)之間的交互連接使用虛擬交換機(jī)就可以完成。虛擬機(jī)一般單靠軟件實(shí)現(xiàn)網(wǎng)絡(luò)互聯(lián)，不需要硬件設(shè)施的運(yùn)行[2]。雖然這種網(wǎng)絡(luò)交互發(fā)生在虛擬機(jī)之間，其互訪簡(jiǎn)單易行，但存在不少隱患：（1）虛擬機(jī)之間的流量得不到有效的監(jiān)控，傳統(tǒng)的系統(tǒng)已不能適應(yīng)現(xiàn)有的云計(jì)算；

（2）當(dāng)虛擬機(jī)通過(guò)虛擬機(jī)的流量增大時(shí)，服務(wù)器信息數(shù)據(jù)中心的負(fù)擔(dān)加大，會(huì)影響虛擬機(jī)的性能。針對(duì)以上兩個(gè)問(wèn)題，現(xiàn)已有了解決的方案。IEEE的802.1QgbEdgeVirtualBridging和IEEE的802.1BrBridgePortExtension，就是針對(duì)這兩個(gè)問(wèn)題提出來(lái)的。兩者方案各有優(yōu)劣，802.1Br需要硬件的支持，802.1Qgb需要修改交換機(jī)的驅(qū)動(dòng)。在具體應(yīng)用中選擇哪一種方案，還需要進(jìn)一步的實(shí)踐檢驗(yàn)。

3.2數(shù)據(jù)中心二層互訪網(wǎng)絡(luò)

當(dāng)前，數(shù)據(jù)中心普遍采用的是樹狀三層網(wǎng)絡(luò)架構(gòu)，分別為接入層、匯聚層以及核心層。出現(xiàn)兩個(gè)服務(wù)器位于樹狀結(jié)構(gòu)的不同分支時(shí)，就需借助核心層來(lái)實(shí)現(xiàn)運(yùn)行，但在這期間耗費(fèi)了大量的時(shí)間，云環(huán)境下對(duì)橫向流量增加的性能需求已完全不能得到滿足。若采用增設(shè)防火墻的方式，相當(dāng)于在整個(gè)計(jì)算過(guò)程中增加了一個(gè)VLAN，但虛擬機(jī)也會(huì)因超出VLAN的范疇導(dǎo)致運(yùn)行出現(xiàn)問(wèn)題。解決方式是減縮樹狀結(jié)構(gòu)（三層變兩層，刪除匯聚層）。對(duì)數(shù)據(jù)中心的影響是結(jié)構(gòu)實(shí)現(xiàn)扁平化，服務(wù)器能力得到強(qiáng)化，從而實(shí)現(xiàn)虛擬機(jī)的正常運(yùn)行[3]。數(shù)據(jù)中心的結(jié)構(gòu)扁平化的過(guò)程中也會(huì)出現(xiàn)一系列的問(wèn)題。多臺(tái)通過(guò)虛擬化技術(shù)虛擬出的服務(wù)器，增加了數(shù)據(jù)信息中心的網(wǎng)絡(luò)規(guī)模。傳統(tǒng)的方法通過(guò)樹狀協(xié)議繞路解決，很明顯這種方法已不適用現(xiàn)有的需求?？刂破矫婧蛿?shù)據(jù)的平面虛擬化技術(shù)產(chǎn)生，解決了這個(gè)難題，同時(shí)對(duì)寬帶的利用強(qiáng)化。

3.3數(shù)據(jù)中心跨站點(diǎn)二層互訪網(wǎng)絡(luò)

大數(shù)據(jù)時(shí)代到來(lái)后，隨著互聯(lián)網(wǎng)技術(shù)及其應(yīng)用的發(fā)展，如何保證數(shù)據(jù)信息的安全成為信息時(shí)代的主題。傳統(tǒng)方法在解決這個(gè)問(wèn)題時(shí)，選擇對(duì)數(shù)據(jù)擴(kuò)容以及備份，但備份的內(nèi)容牽扯到數(shù)據(jù)信息中心時(shí)，就需要對(duì)數(shù)據(jù)信息中心進(jìn)行備份操作。在云計(jì)算的環(huán)境下，需要構(gòu)建跨數(shù)據(jù)中心的的二層互訪網(wǎng)絡(luò)（即進(jìn)行分布式計(jì)算機(jī)以及對(duì)虛擬機(jī)跨點(diǎn)遷移），在目前看來(lái)，實(shí)現(xiàn)數(shù)據(jù)中心直連的狀況很少，主要還是選擇二層互聯(lián)（通過(guò)在IP網(wǎng)上打隧實(shí)現(xiàn)）的方式。最新的技術(shù)仍為個(gè)人私有，傳輸過(guò)程中實(shí)現(xiàn)數(shù)據(jù)信息中心相互獨(dú)立，確保IP互聯(lián)的永續(xù)性[4]。

3.4用戶接入網(wǎng)絡(luò)

在云計(jì)算環(huán)境下，數(shù)據(jù)中心二層互訪網(wǎng)絡(luò)的構(gòu)建使得用戶在接入網(wǎng)絡(luò)時(shí)會(huì)遇到以下情況：

（1）多站式的分布計(jì)算，讓用戶在選擇數(shù)據(jù)信息中心時(shí)產(chǎn)生困惑；

（2）如何快速在業(yè)務(wù)虛擬機(jī)與數(shù)據(jù)中心之間切換、遷移。在實(shí)際具體操作中，用戶大多會(huì)選擇DNS技術(shù)，對(duì)新技術(shù)LISP使用率較低。DNS技術(shù)主要是分散IP地址，用戶與數(shù)據(jù)信息中心的交聯(lián)就是通過(guò)分散出來(lái)的IP實(shí)現(xiàn)的。我們可以假設(shè)一個(gè)條件：虛擬機(jī)跨數(shù)據(jù)中心轉(zhuǎn)移，IP地址保持不變。在這種情況下，NAT設(shè)備就可以發(fā)揮作用，它可讓IP地址轉(zhuǎn)化為多個(gè)虛擬IP以便用戶切換。

3.5SND技術(shù)

SND是與當(dāng)前網(wǎng)絡(luò)技術(shù)發(fā)展相適應(yīng)的技術(shù)，主要用于控制和分離的分離。傳統(tǒng)技術(shù)中主要通過(guò)拆分控制層實(shí)現(xiàn)三層架構(gòu)。SDN作為最新的網(wǎng)絡(luò)技術(shù)受到廣泛的歡迎，當(dāng)前數(shù)據(jù)中心的網(wǎng)絡(luò)互聯(lián)就是靠它來(lái)實(shí)現(xiàn)，整合信息資源，從而使得網(wǎng)絡(luò)虛擬化以及虛擬機(jī)之間的遷移實(shí)現(xiàn)[5]。

4云計(jì)算網(wǎng)絡(luò)發(fā)展的展望

在云計(jì)算環(huán)境下，對(duì)網(wǎng)絡(luò)技術(shù)的發(fā)展提出更高的要求。一種網(wǎng)絡(luò)技術(shù)的需求可能會(huì)出現(xiàn)多種解決辦法，因此在實(shí)際應(yīng)用中，需要根據(jù)實(shí)際情況實(shí)際分析。目前國(guó)外通過(guò)數(shù)據(jù)中心間的光纖直連，來(lái)解決數(shù)據(jù)中心之間的數(shù)據(jù)互聯(lián)劇增的問(wèn)題，這對(duì)中國(guó)來(lái)說(shuō)有著相當(dāng)大的借鑒意義。通過(guò)多種技術(shù)而實(shí)現(xiàn)不同設(shè)備之間的數(shù)據(jù)共連是網(wǎng)絡(luò)技術(shù)發(fā)展的新方向。

5結(jié)束語(yǔ)

社會(huì)的發(fā)展催促著網(wǎng)絡(luò)技術(shù)的更新?lián)Q代，傳統(tǒng)技術(shù)在新形勢(shì)下逐步暴露出自身的不足。云計(jì)算環(huán)境下，需要更高層次的網(wǎng)絡(luò)技術(shù)做支撐，以滿足社會(huì)發(fā)展對(duì)網(wǎng)絡(luò)更新?lián)Q代提出的要求。新的網(wǎng)絡(luò)技術(shù)層出不窮，如上文中提到的SND技術(shù)、虛擬網(wǎng)絡(luò)技術(shù)等等，以適應(yīng)新的社會(huì)需求。但是要注意新的網(wǎng)絡(luò)技術(shù)并不成熟，還要進(jìn)一步投入研究。隨著社會(huì)以及網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，基于云環(huán)境下的網(wǎng)絡(luò)技術(shù)定會(huì)有新的突破，以服務(wù)于現(xiàn)代化建設(shè)。

第三篇：云計(jì)算中MapReduce技術(shù)研究

云計(jì)算中MapReduce技術(shù)研究

孫香花

（長(zhǎng)江師范學(xué)院數(shù)學(xué)與計(jì)算機(jī)學(xué)院，重慶，408100）

摘要： MapReduce是云計(jì)算的核心技術(shù)之一，它為并行系統(tǒng)的數(shù)據(jù)處理提供了一個(gè)簡(jiǎn)單、優(yōu)雅的解決方案。其主要目的是為了大型集群的系統(tǒng)能在大數(shù)據(jù)集上進(jìn)行并行工作，并用于大規(guī)模數(shù)據(jù)的并行運(yùn)算。本文首先介紹了MapReduce的相關(guān)知識(shí)，然后對(duì)目前MapReduce的國(guó)內(nèi)外研究狀況進(jìn)行了介紹與評(píng)析；并總結(jié)了目前MapReduce模型的相關(guān)研究問(wèn)題；最后進(jìn)行總結(jié)并展望了未來(lái)發(fā)展的趨勢(shì)。

關(guān)鍵詞：MapReduce技術(shù)；云計(jì)算應(yīng)用；云計(jì)算；并行計(jì)算；

MapReduce technology of cloud computing

SHUN Xiang-hua（1、College of Mathematics and Computer Science，Yangtze Normal university, Chongqing,，410081）

Abstract: MapReduce is one of the core technology of cloud computing, which is parallel data processing system provides a simple, elegant solution.Its main purpose is to a large cluster of systems in large data sets in parallel, and parallel computing for large-scale data.This paper focus on the cloud of MapReduce technologies.MapReduce first introduced the relevant knowledge, the current research situation of MapReduce are introduced and Analysis;MapReduce model put forward the current research issues;Finally, the summary text and the future trends.Key words: MapReduce technology;cloud computing applications;cloud computing;parallel computing;

1、引言

隨著數(shù)字技術(shù)和互聯(lián)網(wǎng)的急速發(fā)展，特別是隨著Web2.0的發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)量高速增長(zhǎng)，也導(dǎo)致了互聯(lián)網(wǎng)數(shù)據(jù)處理能力的相對(duì)不足。由于待處理數(shù)據(jù)越來(lái)越多，多到了很難在一臺(tái)或有限數(shù)目的存儲(chǔ)服務(wù)器內(nèi)容納，且更無(wú)法由一臺(tái)或數(shù)目有限的計(jì)算服務(wù)器就能處理這樣的海量數(shù)據(jù)。因此，如何實(shí)現(xiàn)資源和計(jì)算能力的分布式共享以及如何應(yīng)對(duì)當(dāng)前互聯(lián)網(wǎng)數(shù)據(jù)量高速增長(zhǎng)的勢(shì)頭，是目前互聯(lián)網(wǎng)界亟待解決的問(wèn)題。正是在這樣一個(gè)發(fā)展背景下，云計(jì)算應(yīng)運(yùn)而生[1]。

云計(jì)算是由并行計(jì)算(Parallel Computing)、分布式計(jì)算(Distributed Computing)和網(wǎng)格計(jì)算(Grid Computing)發(fā)展而來(lái)[2，3]。云計(jì)算的核心技術(shù)之一是MapReduce，它為并行系統(tǒng)的數(shù)據(jù)處理提供了一個(gè)簡(jiǎn)單、優(yōu)雅的解決方案。其主要目的是為了大型集群的系統(tǒng)能在大數(shù)據(jù)集上進(jìn)行并行工作，并用于大規(guī)模數(shù)據(jù)的并行運(yùn)算[4-6]。

近幾年來(lái)由于數(shù)據(jù)的大量增長(zhǎng)，Mapreduce受到了較多的關(guān)注，獲得了較大的發(fā)展，但還沒(méi)有形成成熟的、系統(tǒng)化的理論體系[7]。目前國(guó)內(nèi)外進(jìn)行MapReduce分析技術(shù)研究的機(jī)構(gòu)都顯示了對(duì)MapReduce的高度關(guān)注,并在不同的體系結(jié)構(gòu)上都進(jìn)行了實(shí)現(xiàn)，尤其是在開源hadoop平臺(tái)上對(duì)其所做的研究提供了更多的研究機(jī)遇。因此對(duì)MapReduce的研究不僅具有收稿日期：

基金項(xiàng)目：教育部“春暉”計(jì)劃科研合作項(xiàng)目(Z2005—1-55003)作者簡(jiǎn)介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)方面的研究．

重要的應(yīng)用價(jià)值，更具有重要的學(xué)術(shù)意義[8，9]。本文首先介紹了MapReduce的相關(guān)知識(shí)，然后對(duì)目前MapReduce的國(guó)內(nèi)外研究狀況進(jìn)行了介紹與評(píng)析；并總結(jié)了目前MapReduce模型的相關(guān)研究問(wèn)題；最后進(jìn)行總結(jié)并展望了未來(lái)發(fā)展的趨勢(shì)。2、MapReduce相關(guān)研究

目前國(guó)內(nèi)外文獻(xiàn)中對(duì)MapReduce模型都有相應(yīng)的研究。主要體現(xiàn)在以下幾個(gè)方面： 基于MapReduce的初等研究及改進(jìn)：在Goole提出的原始模型的基礎(chǔ)上提出一些新的改進(jìn)方法，或是對(duì)怎樣提高M(jìn)apReduce算法的效率上去進(jìn)行研究。如：文獻(xiàn)[10]提出了一種改進(jìn)型的MapReduce編程模型，該模型繼承了傳統(tǒng)的MapReduee模型對(duì)map函數(shù)和reduce函數(shù)的定義．對(duì)map和reduce過(guò)程進(jìn)行了改進(jìn)優(yōu)化。文獻(xiàn)[11]中的HPMR是建立在多核集群上的高性能計(jì)算支撐平臺(tái)。它繼承并改進(jìn)了MapReduce并行編程模式，使其適合高性能計(jì)算需求。并讓并行程序的編寫和運(yùn)行變得非常簡(jiǎn)單，同時(shí)又保持很高的性能。

對(duì)大規(guī)模的數(shù)據(jù)挖掘：利用MapReduce模型對(duì)于云平臺(tái)的海量數(shù)據(jù)進(jìn)行挖掘，抓取網(wǎng)頁(yè)相關(guān)數(shù)據(jù)，或是對(duì)網(wǎng)頁(yè)內(nèi)容去重等到相關(guān)的大規(guī)模數(shù)據(jù)的研究等。如：文獻(xiàn)[12]詳細(xì)描述SPRINT并行算法在HadooP中的MapReduce編程模型上的執(zhí)行流程，并利用分析出的決策樹模型對(duì)輸入數(shù)據(jù)進(jìn)行分類。

基于MapReduce并行模型的一些設(shè)計(jì)方法與實(shí)現(xiàn)或是計(jì)算方法的實(shí)現(xiàn)，如：文獻(xiàn)[13]結(jié)合MapReduce的長(zhǎng)處，提出研究和實(shí)現(xiàn)一個(gè)完整的高性能并行計(jì)算系統(tǒng)，以GPU為硬件基礎(chǔ)并配合基于MapReduce并行計(jì)算模型平臺(tái)進(jìn)行大規(guī)模數(shù)據(jù)處理。文獻(xiàn)[14]提出了基于MapReduce架構(gòu)實(shí)現(xiàn)分布式光線跟蹤渲染的方案。該方案基于Hadoop實(shí)現(xiàn)，利用MapReduee架構(gòu)簡(jiǎn)化了分布式程序設(shè)計(jì)。

MapReduce的綜述：文獻(xiàn)[15]重點(diǎn)討論了MapReduce模型的相關(guān)研究，并對(duì)采用或是實(shí)現(xiàn)了這些模型的相應(yīng)公司的技術(shù)進(jìn)行了探討，是一篇綜述類型的學(xué)位論文。MapReduce模型的研究與應(yīng)用：文獻(xiàn)[16]介紹開源并行系統(tǒng)Hadoop的體系結(jié)構(gòu)以及基于Hadoop的MapReduce編程框架，并在Hadoop基礎(chǔ)上提出一種通過(guò)多重MapReduce操作，實(shí)現(xiàn)海量共現(xiàn)矩陣的生成方法。

當(dāng)前的研究中，對(duì)于云計(jì)算中并行計(jì)算模型的研究主要是針對(duì)于MapReduce模型，而對(duì)于MapReduce模型的研究主要在兩個(gè)方面展開，一個(gè)方面為對(duì)MapReduce模型的改進(jìn)，但是對(duì)于改進(jìn)后的模型的實(shí)現(xiàn)平臺(tái)沒(méi)有研究；另一個(gè)方面為MapReduce模型的應(yīng)用，也是當(dāng)前的主要研究方向。

3、MapReduce相關(guān)研究問(wèn)題

MapReduce是由Google提出的一種并行分布式編程模型[17-19]。在MapRedcue 模型中用戶只須指定一個(gè)map函數(shù)來(lái)處理一個(gè)輸入的key/value對(duì)，產(chǎn)生中間結(jié)果key/value對(duì)集，再通過(guò)一個(gè)由用戶指定的reduce函數(shù)來(lái)處理中間結(jié)果中具有相同key值的value。適合用 MapReduce 來(lái)處理的數(shù)據(jù)集(或任務(wù))有一個(gè)基本要求: 待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個(gè)小數(shù)據(jù)集都可以完全并行地進(jìn)行處理[20-21]。

圖1說(shuō)明了用 MapReduce 來(lái)處理大數(shù)據(jù)集的過(guò)程,MapReduce 的計(jì)算過(guò)程很簡(jiǎn)單，計(jì)算利用一個(gè)輸入key/value對(duì)集，來(lái)產(chǎn)生一個(gè)輸出key/value對(duì)集[22]。MapReduce庫(kù)的用戶用兩個(gè)函數(shù)表達(dá)這個(gè)計(jì)算：map和reduce。首先，用戶自定義的map函數(shù)，接受一個(gè)輸入對(duì)，然后產(chǎn)生一個(gè)中間key/value對(duì)集。然后，MapReduce庫(kù)把所有具有相同中間key I的中間value聚合在一起，然后把它們傳遞給reduce函數(shù)。最后，用戶自定義的reduce函數(shù)，接收稿日期：

基金項(xiàng)目：教育部“春暉”計(jì)劃科研合作項(xiàng)目(Z2005—1-55003)作者簡(jiǎn)介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)方面的研究．

受一個(gè)中間key 和相關(guān)的一個(gè)value集。它合并這些value，形成一個(gè)比較小的value集[23-25]。

圖1、Mapreduce的計(jì)算流程

隨著數(shù)字技術(shù)和互聯(lián)網(wǎng)的急速發(fā)展，特別是隨著Web2.0的發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)量高速增長(zhǎng)，也導(dǎo)致了對(duì)MapReduce這種并行計(jì)算模式的研究變得越來(lái)越重要，由此也產(chǎn)生了一系列的相關(guān)研究問(wèn)題，分別如下所列出[26-28]：

1、MapReduce模型只需執(zhí)行簡(jiǎn)單的計(jì)算，對(duì)于隱藏并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡的那些問(wèn)題是如何實(shí)現(xiàn)的。

2、Google的MapReduce執(zhí)行流程。

3、對(duì)MapReduce模型的實(shí)現(xiàn)。

4、對(duì)MapReduce模型進(jìn)行改進(jìn)。

5、提高M(jìn)apreduce的運(yùn)算效率的方法。

6、基于MapReduce模型的應(yīng)用。

7、基于MapReduce模型的設(shè)計(jì)方法及實(shí)現(xiàn) 對(duì)于以上所列出這些研究問(wèn)題，目前國(guó)內(nèi)外都有相關(guān)的研究，對(duì)于這些研究問(wèn)題在很大程度上仍然有可研究性。

4、未來(lái)研究趨勢(shì)

MapReduce作為一個(gè)通用可擴(kuò)展的并行計(jì)算模型，它用來(lái)有效地處理海量數(shù)據(jù),不斷地從中挖掘出有價(jià)值的信息,成為互聯(lián)網(wǎng)企業(yè)發(fā)展的必然選擇。很多現(xiàn)實(shí)世界對(duì)海量數(shù)據(jù)的處理,都可以用這種模型來(lái)表示。當(dāng)前在云計(jì)算中使用的分布式并行運(yùn)算基本上是采用的MapReduce計(jì)算模型，不過(guò)國(guó)內(nèi)的研究仍然有點(diǎn)滯后，同時(shí)，當(dāng)前的主要研究都放在其應(yīng)用上，比如說(shuō)網(wǎng)頁(yè)抓取等，真正去研究算法本身的并不多，尤其是在提高算法本身的效率上，以及算法的優(yōu)化等都研究較少。

根據(jù)上面的論述和分析可以看出，對(duì)于云計(jì)算中并行計(jì)算模型的研究和應(yīng)用主要是對(duì)于MapReduce模型的，而對(duì)MapReduce模型的應(yīng)用是當(dāng)前的主要研究方向。本課題在分析MapReduce模型的基礎(chǔ)上,提出了如下的研究?jī)?nèi)容：

1、利用MapReduce強(qiáng)大的計(jì)算能力，把MapReduce模型應(yīng)用到一些經(jīng)典的算法中。所要解決的主要問(wèn)題是經(jīng)典的算法的選取，即要滿足利用MapReduce模型的條件，還要解決的是兩個(gè)算法的比較及評(píng)價(jià)問(wèn)題；

2、利用MapReduce強(qiáng)大的計(jì)算能力，把MapReduce模型應(yīng)用到一些數(shù)值計(jì)算問(wèn)題中去，所要解決的主要問(wèn)題是數(shù)值計(jì)算問(wèn)題的分解和結(jié)束條件，還要解決的是兩個(gè)算法的比較問(wèn)題及新算法的評(píng)價(jià)問(wèn)題。

收稿日期：

基金項(xiàng)目：教育部“春暉”計(jì)劃科研合作項(xiàng)目(Z2005—1-55003)作者簡(jiǎn)介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)方面的研究．

4、結(jié)束語(yǔ)

本文首先介紹了MapReduce的相關(guān)知識(shí)，然后對(duì)目前MapReduce的國(guó)內(nèi)外研究狀況進(jìn)行了介紹與評(píng)析；并總結(jié)了目前MapReduce模型的相關(guān)研究問(wèn)題；最后進(jìn)行總結(jié)并展望了未來(lái)發(fā)展的趨勢(shì)。參考文獻(xiàn) [1] [2] [3] [4] [5] 張建勛,古志民,鄭超.云計(jì)算研究進(jìn)展綜述[J].計(jì)算機(jī)應(yīng)用研究,2010,27(2):429-433 金海，漫談.云計(jì)算[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2009，5(6):22-25 吳吉義,平玲娣, 潘雪增等.云計(jì)算：從概念到平臺(tái)[J].電信科學(xué),2009,12:23-30 陳康, 鄭緯民.云計(jì)算：系統(tǒng)實(shí)例與研究現(xiàn)狀[J].軟件學(xué)報(bào).2009,20(5):1337-1348 尹國(guó)定,衛(wèi)紅.云計(jì)算—實(shí)現(xiàn)概念計(jì)算的方法[J].東南大學(xué)學(xué)報(bào)：自然科學(xué)版,2003,33(4):502-506 [6] 武永衛(wèi)，黃小猛.云存儲(chǔ)[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2009，5(6)：44-52 [7] Lamel.R Google’s Mapreduce Programming Model-revisited [J].Science of Computer Programming, 2008, 7(1): 208-237.[8] 萬(wàn)至臻.基于Mapreduce模型的并行計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[I].浙江大學(xué).2008 [9] 吳曉偉.MapReduce并行編程模式的應(yīng)用和研究[I].中國(guó)科學(xué)技術(shù)大學(xué).2009.[10] 周鋒,李旭偉.一種改進(jìn)的MapReduce并行編程模型[J].科協(xié)論壇.2009.2（11）：11-12 [11] 鄭啟龍,王昊,吳曉偉等.HPMR:多核集群上的高性能計(jì)算支撐平臺(tái)[J].微電子學(xué)與計(jì)算.2008，25(9)：21-23 [12] 王鄂,李銘.云計(jì)算下的海量數(shù)據(jù)挖掘研究[J].現(xiàn)代計(jì)算機(jī).2009，22(11)：22-25 [13] 瞿李峰.基于GPGPU的MapReduce高性能并行計(jì)算模型研究與應(yīng)用[I].桂林理工大學(xué).2009.[14] 鄭欣杰,朱程榮,熊齊邦.基于MapReduce的分布式光線跟蹤的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程.2007，33(22)：83-85 [15] 周敏.MapReduce綜述[I].暨南大學(xué).2008.[16] 楊代慶,張智雄.基于Hadoop的海量共現(xiàn)矩陣生成方法[J].現(xiàn)代圖書情報(bào)技術(shù).2009, 25(4)23-26 [17] Luis M V, Luis Rodero Merino, Juan Caceres, Maik Lindner.A break in the clouds: toward a cloud definition.ACM SIGCOMM Computer Communication Review, 2009,39(1):50-55 [18] Robert L G，Gu Yunhong，Michael Sabala，Zhang Wanzhi。Compute and storage clouds using wide area high performance networks。Future Generation Computer Systems，2009，25(2)：179-183 [19] Daniel J A.Data management in the cloud: limitations and opportunities.Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2009,32(1):3-12 [20] 鄭啟龍.HPMR在并行矩陣計(jì)算中的應(yīng)用[J].計(jì)算機(jī)工程.2010(8).[21] 徐志偉,廖華明,余海燕.網(wǎng)絡(luò)計(jì)算系統(tǒng)的分類研究[J].計(jì)算機(jī)學(xué)報(bào).2008,31-9:1509—1515.[22] M.Kruijf and K.Sankaralingam.MapReduce for the Cell B.E.Architecture[J].Technical Report No.TR1625,Computer Science Department,University of Wisconsin,Madison,2007.[23] Colby Ranger,Ramanan Raghuraman,Arun Penmetsa,Gary Bradski,Christos Kozyrakis.Evaluating MapReduce for Multi-core and Multi-processor Systems,Proceedings of the 13th Intl,Symposium on High-Performance Computer Architecture(HPCA).收稿日期：

基金項(xiàng)目：教育部“春暉”計(jì)劃科研合作項(xiàng)目(Z2005—1-55003)作者簡(jiǎn)介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)方面的研究．

Phoenix,AZ, February 2007.[24] J.Dean and S.Ghemawat.Mapreduce:Simplified data processing on large clusters.In OSDI,pages 137-150,2004.[25] D.V.Kalashnikov,S.Prabhakar,and S.E.Hambrusch.Main memory evaluation of monitoring Queries over moving objects.Distributed and Parallel Databases,15(2):117-135,2004.[26] J.Dean.Experiences with mapreduce,an abstraction for large-scale computation.In Proc.IEEEP ACT,2006.[27] 鐘偉彬，周梁月，潘軍彪等.云計(jì)算終端的現(xiàn)狀和發(fā)展趨勢(shì)[J].電信科學(xué),2010,3:22-26 [28] 陳國(guó)良，孫廣中，徐云.并行計(jì)算的一體化研究現(xiàn)狀與發(fā)展趨勢(shì)[J].科學(xué)通報(bào)，2009，54(8)：1043-1049

地址：重慶市涪陵區(qū)李渡聚龍大道98號(hào)長(zhǎng)江師范學(xué)院數(shù)學(xué)與計(jì)算機(jī)學(xué)院辦公室

孫香花 郵編: 408100

收稿日期：

基金項(xiàng)目：教育部“春暉”計(jì)劃科研合作項(xiàng)目(Z2005—1-55003)作者簡(jiǎn)介：孫香花（1977-），女，山西朔州人，碩士,講師，主要從事數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)方面的研究．

第四篇：云計(jì)算環(huán)境下的分布存儲(chǔ)技術(shù)研究論文

摘要：云計(jì)算是一種全新的計(jì)算模式，其在科學(xué)計(jì)算以及商業(yè)計(jì)算領(lǐng)域發(fā)揮的作用不可估量，當(dāng)前在學(xué)術(shù)界以及企業(yè)界等都受到了非常廣泛的關(guān)注。云計(jì)算環(huán)境下的分布存儲(chǔ)技術(shù)?整體而言，它研究的主要內(nèi)容是在數(shù)據(jù)中心上對(duì)于數(shù)據(jù)的相關(guān)管理和組織，是云計(jì)算環(huán)境的核心內(nèi)容和最基礎(chǔ)設(shè)施。通常來(lái)說(shuō)，數(shù)據(jù)中心是由上百萬(wàn)級(jí)別的節(jié)點(diǎn)綜合組成的，因此這也就自然造成了數(shù)據(jù)失效的經(jīng)常發(fā)生，這就對(duì)云計(jì)算的推廣和應(yīng)用造成了向大限度的限制，基于上述一些層面，對(duì)于云計(jì)算環(huán)境下的分布存儲(chǔ)技術(shù)進(jìn)行研究意義重大。

關(guān)鍵詞：云計(jì)算；分布存儲(chǔ)技術(shù)；數(shù)據(jù)

隨著信息技術(shù)的飛速發(fā)展，社會(huì)和科學(xué)也已不可估量的速度飛速行進(jìn)著，與此同時(shí)，在各行各業(yè)中不斷推進(jìn)和廣泛應(yīng)用的信息化向信息技術(shù)發(fā)出了更新一輪的巨大挑戰(zhàn)，對(duì)信息技術(shù)向前發(fā)展起到了促進(jìn)作用。云計(jì)算隨著存儲(chǔ)、通信技術(shù)以及計(jì)算等的發(fā)展而出現(xiàn)并得以廣泛應(yīng)用，使得用戶能夠更便捷、適時(shí)地訪問(wèn)云服務(wù)提供商提供的信息資源，整體來(lái)說(shuō)，云計(jì)算同時(shí)具備著高可靠性、虛擬化、超大規(guī)模、價(jià)格低廉等特性，極大程度上滿足了海量數(shù)據(jù)存儲(chǔ)要求。在這一環(huán)境下的分布存儲(chǔ)技術(shù)作為云計(jì)算的基礎(chǔ)，雖然功能強(qiáng)大，然而從當(dāng)前形勢(shì)看來(lái)，它面臨著巨大的挑戰(zhàn)，因此需要不斷地做出分析和研究。

1云計(jì)算技術(shù)

云計(jì)算是一種為了能夠更好地滿足相當(dāng)數(shù)量的數(shù)據(jù)信息的計(jì)算以及存儲(chǔ)等相關(guān)服務(wù)，同時(shí)跟隨當(dāng)下形勢(shì)呈現(xiàn)出非常流行趨勢(shì)的通信技術(shù)而產(chǎn)生的新型的、能夠?yàn)楦餍懈鳂I(yè)進(jìn)行分享基本數(shù)據(jù)資源的一種計(jì)算模型。云計(jì)算服務(wù)提供商基本上是不參與相關(guān)流程的，云計(jì)算機(jī)能夠保證用戶實(shí)現(xiàn)隨時(shí)、便捷且放百度呢存儲(chǔ)服務(wù)、訪問(wèn)網(wǎng)絡(luò)服務(wù)、計(jì)算服務(wù)等一系列資源。源頭上看來(lái)，云計(jì)算服務(wù)提供商是將龐大的數(shù)據(jù)節(jié)點(diǎn)以及相關(guān)網(wǎng)絡(luò)設(shè)備進(jìn)行科學(xué)有效的有機(jī)結(jié)合，繼而就可以形成一個(gè)或者是一些具與一定規(guī)模的數(shù)據(jù)中心，進(jìn)而由這一數(shù)據(jù)中心向有所需的用戶提供到他們需要的服務(wù)，最大程度上滿足了用戶的使用要求。

關(guān)于云計(jì)算這一方面做出的相關(guān)研究表明，云計(jì)算具有最為顯著的屬性包括高穩(wěn)定性、可擴(kuò)展性以及規(guī)模超大燈，因此就可以在相應(yīng)的環(huán)境下很好地實(shí)現(xiàn)龐大數(shù)據(jù)信息的存儲(chǔ)操作，存儲(chǔ)的位置多為不同數(shù)據(jù)中心的不同節(jié)點(diǎn)之上，即存儲(chǔ)在這些節(jié)點(diǎn)之上的數(shù)據(jù)信息都是透明的、共享的，因此一旦用戶有哪一方面的需求，只需通過(guò)云計(jì)算服務(wù)提供商提供出的數(shù)據(jù)訪問(wèn)接口就可以滿足自己需求，獲取到其中心內(nèi)部存儲(chǔ)的數(shù)據(jù)信息。然而當(dāng)前看來(lái)，基于云計(jì)算環(huán)境的分布存儲(chǔ)技術(shù)顯然也是遇到了一些巨大的挑戰(zhàn)，云計(jì)算數(shù)據(jù)中心的數(shù)據(jù)量、數(shù)據(jù)信息的規(guī)模是非常可觀的，無(wú)疑會(huì)為數(shù)據(jù)中心的相關(guān)有效成本費(fèi)用、容錯(cuò)性以及可擴(kuò)展性等方面帶來(lái)挑戰(zhàn)，需要我們不斷地做出分析研究。

2云計(jì)算環(huán)境下的分布存儲(chǔ)技術(shù)

2.1可擴(kuò)展性研究

經(jīng)濟(jì)發(fā)展迅速的今天，在各行各業(yè)都會(huì)應(yīng)用到數(shù)據(jù)信息處理技術(shù)以及計(jì)算機(jī)技術(shù)、通信技術(shù)等對(duì)相關(guān)數(shù)據(jù)做出一定的有效處理，當(dāng)下看來(lái)，海量信息顯然單靠計(jì)算機(jī)無(wú)法滿足其處理操作，類似存儲(chǔ)、計(jì)算等，這一背景下，基于云計(jì)算環(huán)境的分布存儲(chǔ)技術(shù)研究應(yīng)運(yùn)而生，首先研究其可擴(kuò)展性。研究之前先分析傳統(tǒng)的數(shù)據(jù)存儲(chǔ)計(jì)算，其通過(guò)冗余的磁盤實(shí)現(xiàn)相關(guān)要求，那種采取與流行時(shí)進(jìn)行提高數(shù)據(jù)存儲(chǔ)可擴(kuò)展性的方式雖然確實(shí)實(shí)用了一定時(shí)間，它在一定程度上實(shí)現(xiàn)滿足了數(shù)據(jù)的存儲(chǔ)空間，只是基于云計(jì)算之中的龐大的海量的數(shù)據(jù)節(jié)點(diǎn)，其存儲(chǔ)的數(shù)據(jù)規(guī)模以及相關(guān)數(shù)據(jù)中心的規(guī)模仍然處在不斷擴(kuò)大的趨勢(shì)之上，不斷增長(zhǎng)的需求存儲(chǔ)容量顯然不能由磁盤預(yù)留方式來(lái)實(shí)現(xiàn)了。因此，云計(jì)算環(huán)境下的分布存儲(chǔ)技術(shù)又到達(dá)了一個(gè)致高點(diǎn)。云服務(wù)提供商的數(shù)據(jù)中心不可能采取冗余磁盤預(yù)留的方式來(lái)擴(kuò)展存儲(chǔ)空間，并且它也不可能在建立之初將所有的操作都完完全全規(guī)劃好，譬如說(shuō)谷歌當(dāng)前看來(lái)，已經(jīng)在全球的數(shù)據(jù)中心就有36個(gè)，并且每一個(gè)數(shù)據(jù)中西所包含的計(jì)算機(jī)節(jié)點(diǎn)達(dá)到了數(shù)百萬(wàn)個(gè)；再譬如微軟的數(shù)據(jù)中心，對(duì)外宣稱其將會(huì)在全球建設(shè)多余二十個(gè)數(shù)據(jù)中心，同時(shí)在九月份已經(jīng)在芝加哥形成了全球最大的模塊化數(shù)據(jù)中心，其中包含了二百二十多個(gè)集裝箱，同時(shí)每一個(gè)集裝箱中機(jī)器數(shù)都在兩千作用，其服務(wù)器還會(huì)以十四個(gè)月為周期進(jìn)行成倍增長(zhǎng)，趕超摩爾定律增長(zhǎng)速度，因此，基于數(shù)據(jù)中心的網(wǎng)絡(luò)可擴(kuò)展性進(jìn)行研究意義十分重大，以期能夠適應(yīng)當(dāng)下不斷增長(zhǎng)、擴(kuò)展的應(yīng)用需求。

2.2容錯(cuò)性研究

云計(jì)算提供商僅僅依靠傳統(tǒng)的提高容錯(cuò)性的方法進(jìn)行操作顯然滿足不了當(dāng)下的需求，這是因?yàn)閭鹘y(tǒng)的容錯(cuò)性提高辦法是經(jīng)由高性能的服務(wù)器、RAID技術(shù)或者是專用的存儲(chǔ)設(shè)備來(lái)進(jìn)行相關(guān)操作，完成這一內(nèi)容的成本十分高昂，根本無(wú)法滿足現(xiàn)今云計(jì)算提供商的要求，除上述之外云計(jì)算之中龐大的節(jié)點(diǎn)以及數(shù)據(jù)規(guī)模注定了極高的失效概率。在云計(jì)算這一大環(huán)境下，操作失效非常常見。譬如在谷歌公司中，就曾在零六年做出過(guò)一份報(bào)告，即在云計(jì)算環(huán)境的分布存儲(chǔ)技術(shù)的數(shù)據(jù)中心內(nèi)部，平均每一個(gè)MapReduce作業(yè)的運(yùn)行過(guò)程之中就包含了五個(gè)失效的節(jié)點(diǎn)；每一個(gè)擁有著四千個(gè)節(jié)點(diǎn)金星運(yùn)行的MapReduce作業(yè)的相關(guān)數(shù)據(jù)中心中，幾乎平均六個(gè)小時(shí)中就有一個(gè)小時(shí)的磁盤失效時(shí)間，這無(wú)疑會(huì)給云服務(wù)的提供商和資源應(yīng)用者帶來(lái)不同程度的麻煩和損失。除了上述之外，還有很多情形下會(huì)造成失效的結(jié)果?？偠灾?，云計(jì)算環(huán)境下分布存儲(chǔ)的頻頻失效必將帶來(lái)不同程度上的損失，其程度不可估量，因此當(dāng)下而言，容錯(cuò)成為云計(jì)算環(huán)境之下分布存儲(chǔ)所面臨的一項(xiàng)巨大挑戰(zhàn)，同時(shí)其亟待解決。關(guān)于云計(jì)算環(huán)境下的分布存儲(chǔ)，想要更為徹底有效科學(xué)的提高其容錯(cuò)性，單研究節(jié)點(diǎn)之間的相互關(guān)聯(lián)關(guān)系，以提高在屋里拓?fù)浣Y(jié)構(gòu)上的容錯(cuò)性是遠(yuǎn)遠(yuǎn)不夠的，與此同時(shí)，必須同時(shí)研究在節(jié)點(diǎn)上存儲(chǔ)著的數(shù)據(jù)的相關(guān)組織和管理操作，以提高數(shù)據(jù)容錯(cuò)性，達(dá)到最終目的。

2.3成本控制方面

云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)技術(shù)之所以需要在成本控制方面做出一定的研究，是因?yàn)閭鹘y(tǒng)的分布存儲(chǔ)所需要管理組織的節(jié)點(diǎn)和數(shù)據(jù)的規(guī)模都非常顯，能耗相對(duì)也自然比較小，同時(shí)于企業(yè)而言，低消耗下他們是愿意通過(guò)成本輸入來(lái)交換可靠性能以及效率的。然而，在云計(jì)算環(huán)境下的分布存儲(chǔ)，其能耗是非常大的，同時(shí)為了使設(shè)備處在正常運(yùn)轉(zhuǎn)的狀態(tài)之下，能耗還要增加很大一部分。在24*7的運(yùn)行模式下，在數(shù)據(jù)中心的存儲(chǔ)開銷中非常重要的一個(gè)組成部分就是能耗。曾有研究人員作出相關(guān)研究發(fā)現(xiàn)，基本上每一臺(tái)服務(wù)器四年的能耗與其相關(guān)硬件的成本不相上下，而且一旦能耗有所降低，在很大程度上還可以提高磁盤等一些硬件設(shè)備的運(yùn)行壽命，這些都會(huì)大幅縮減整個(gè)數(shù)據(jù)中心的成本，因此就可以說(shuō)，當(dāng)下云計(jì)算環(huán)境下的分布存儲(chǔ)面臨的又一大挑戰(zhàn)就是如何降低能耗進(jìn)而降低成本，相繼會(huì)產(chǎn)生的優(yōu)良效果就是能源得到節(jié)約，環(huán)境得到保護(hù)?？偠灾朴?jì)算環(huán)境下的分布存儲(chǔ)需要研究的重大內(nèi)容即盡可能多角度的對(duì)設(shè)備的制冷消耗進(jìn)行研究，從而期望在更大程度上降低云計(jì)算的成本費(fèi)用。

3數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)件技術(shù)

3.1以服務(wù)器為中心

之所以會(huì)研究到數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)件技術(shù)，是因?yàn)閿?shù)據(jù)中心是使得云計(jì)算得以正常運(yùn)行的基礎(chǔ)所在，通常來(lái)說(shuō)，它主要的包括著兩個(gè)部分，分別是軟件和硬件，軟件即數(shù)據(jù)中心提供出服務(wù)時(shí)所應(yīng)用到的軟件；硬件即數(shù)據(jù)中心的相關(guān)計(jì)算機(jī)設(shè)備以及支撐系統(tǒng)的一些基礎(chǔ)設(shè)施。以服務(wù)器為中心的結(jié)構(gòu)，主要即是在每一個(gè)數(shù)據(jù)中心的相關(guān)服務(wù)中都會(huì)安裝網(wǎng)卡，且數(shù)量較大，然后運(yùn)用網(wǎng)線把網(wǎng)卡和服務(wù)器進(jìn)行連接，繼而成為一個(gè)完整的網(wǎng)絡(luò)整體，這樣做的目的之一是增大數(shù)據(jù)中心的存儲(chǔ)功能。以服務(wù)器為中心的結(jié)構(gòu)在結(jié)構(gòu)的組成以及線路的連接兩個(gè)方面都比較簡(jiǎn)單，從而達(dá)到確保網(wǎng)絡(luò)底層與服務(wù)器之間的有效數(shù)據(jù)交互，當(dāng)前看來(lái)還有功能更甚強(qiáng)大的路由算法，然而這一結(jié)構(gòu)自身也存在著一定的不足，即由于數(shù)據(jù)信息會(huì)占據(jù)相當(dāng)大的服務(wù)器計(jì)算資源，就會(huì)導(dǎo)致存在一些鏈路無(wú)法實(shí)現(xiàn)功能，繼而使得服務(wù)器的數(shù)據(jù)壓力更大，服務(wù)器的計(jì)算速率自然受到一定程度的影響，成本的費(fèi)用以及功能的損失兩方面來(lái)說(shuō)都產(chǎn)生了一定的消極影響。

3.2以交換機(jī)為中心

以交換機(jī)為中心的網(wǎng)絡(luò)構(gòu)件結(jié)構(gòu)其實(shí)最主要就是對(duì)于交換機(jī)的應(yīng)用，交換機(jī)將每一個(gè)服務(wù)器的數(shù)據(jù)中心有效地連接，再通過(guò)交換機(jī)進(jìn)行數(shù)據(jù)包轉(zhuǎn)發(fā)，當(dāng)然，云計(jì)算環(huán)境下的分布存儲(chǔ)，相關(guān)的服務(wù)器負(fù)責(zé)的功能有所不同，其只是對(duì)于數(shù)據(jù)信息的存儲(chǔ)以及處理負(fù)責(zé)。通常以交換機(jī)為中心的網(wǎng)絡(luò)構(gòu)件被交換機(jī)分成了三層，最為主要的分別是核心層、邊緣層以及聚合層。云計(jì)算環(huán)境下的數(shù)據(jù)中心中，經(jīng)由交換機(jī)作為中心的網(wǎng)絡(luò)構(gòu)件結(jié)構(gòu)具有的優(yōu)點(diǎn)有操作簡(jiǎn)便，穩(wěn)定高效，同時(shí)還可以通過(guò)交換機(jī)的應(yīng)用實(shí)現(xiàn)一些擴(kuò)展功能，然而，這一結(jié)構(gòu)也存在著一些難以避免的缺陷，比如由于交換機(jī)的使用，導(dǎo)致整個(gè)數(shù)據(jù)中心的操作具有不夠良好的靈活性、較低的服務(wù)器利用效率以及交換機(jī)資源的浪費(fèi)等，通常而言，這一結(jié)構(gòu)在傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)件中應(yīng)用較多。

3.3混合模式

混合模式顧名思義就是將上述兩種數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行有機(jī)的結(jié)合，進(jìn)而形成一種功能上更加強(qiáng)大，實(shí)現(xiàn)互補(bǔ)的新型結(jié)構(gòu)。在混合模式的結(jié)構(gòu)中，主要是將交換機(jī)作為將服務(wù)器進(jìn)行連接的節(jié)點(diǎn)，同時(shí)配合安裝在服務(wù)器中的多個(gè)網(wǎng)卡，除此之外，混合模式的網(wǎng)絡(luò)結(jié)構(gòu)中實(shí)現(xiàn)了特定場(chǎng)景下的網(wǎng)絡(luò)結(jié)構(gòu)，它綜合上述兩種結(jié)構(gòu)的優(yōu)勢(shì)，因此比其更加的靈活自由，同等性能的條件下，對(duì)于數(shù)據(jù)中心的成本而言有一定的降低功能。

4結(jié)束語(yǔ)

總而言之，云計(jì)算中龐大的數(shù)據(jù)節(jié)點(diǎn)以及相關(guān)的網(wǎng)絡(luò)設(shè)備進(jìn)行有效的有機(jī)結(jié)合，進(jìn)而就形成了一個(gè)或者是一些較為大規(guī)模的數(shù)據(jù)中心點(diǎn)，從而達(dá)到向用戶提供一些基本性質(zhì)的服務(wù)，使得客戶的使用需求得到滿足?？偠灾?，云計(jì)算環(huán)境下的分布存儲(chǔ)技術(shù)使得龐大的數(shù)據(jù)信息得以存儲(chǔ)，存儲(chǔ)位置即為數(shù)據(jù)中心內(nèi)部中的眾多節(jié)點(diǎn)中的不同節(jié)點(diǎn)之上，更為甚者會(huì)存儲(chǔ)到在不同數(shù)據(jù)中心的不同節(jié)點(diǎn)上。整體來(lái)說(shuō)，基于云計(jì)算環(huán)境的分布存儲(chǔ)技術(shù)它所研究的主要內(nèi)容即上述內(nèi)容，如何實(shí)現(xiàn)有效地組織和管理在數(shù)據(jù)中心中進(jìn)行存儲(chǔ)的大量數(shù)據(jù)信息。

參考文獻(xiàn)：

[1]陳全，鄧倩妮.云計(jì)算及其關(guān)鍵技術(shù)[J].計(jì)算機(jī)應(yīng)用，2009（09）：56-57.[2]張莉.淺談云計(jì)算技術(shù)國(guó)內(nèi)發(fā)展現(xiàn)狀[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2012（23）：78-79.

第五篇：云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理技術(shù)研究論文

隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用，網(wǎng)絡(luò)信息和數(shù)據(jù)量正在高速增長(zhǎng)。傳統(tǒng)的并行計(jì)算、分布計(jì)算等方式由于各種限制，往往都難以滿足實(shí)際的計(jì)算要求。基于此，采用基于云計(jì)算環(huán)境下的大規(guī)模數(shù)據(jù)處理技術(shù)，能夠有效的打破這些限制，從而實(shí)現(xiàn)更加高效、快速的數(shù)據(jù)計(jì)算。

1云計(jì)算環(huán)境下大數(shù)據(jù)處理模式

1.1大規(guī)模廉價(jià)計(jì)算平臺(tái)

利用虛擬化技術(shù)，能夠?qū)崿F(xiàn)大規(guī)模廉價(jià)計(jì)算平臺(tái)，將存儲(chǔ)、應(yīng)用程序、網(wǎng)絡(luò)、計(jì)算等資源作為虛擬化實(shí)體。對(duì)閑散的計(jì)算資源進(jìn)行抽象，使之形成相互之間完全獨(dú)立的虛擬服務(wù)器實(shí)例，從而獨(dú)立的完成數(shù)據(jù)處理和計(jì)算。通過(guò)這種方式，就能夠?qū)崿F(xiàn)底層硬件的虛擬化。構(gòu)建可擴(kuò)展計(jì)算節(jié)點(diǎn)資源池，并在其中實(shí)現(xiàn)集成管理虛擬計(jì)算流程和計(jì)算節(jié)點(diǎn)。這樣，大規(guī)模數(shù)據(jù)子處理任務(wù)就能夠完成實(shí)時(shí)遷移、資源轉(zhuǎn)換、系統(tǒng)監(jiān)控和任務(wù)部署。

建設(shè)大規(guī)模計(jì)算平臺(tái)的過(guò)程，也是云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理的一個(gè)重要步驟。具體來(lái)說(shuō)，首先要對(duì)數(shù)據(jù)處理需要的資源進(jìn)行參數(shù)化的配置，根據(jù)相應(yīng)的要求進(jìn)行定制。通過(guò)這一過(guò)程，用戶能夠獲取自己需要的資源。在不同的操作模式下為用戶提供參數(shù)服務(wù)。在設(shè)置參數(shù)完成定制之后，以此為基礎(chǔ)，在大規(guī)模數(shù)據(jù)處理的時(shí)候，部署存儲(chǔ)和計(jì)算資源，設(shè)定計(jì)算流程和數(shù)據(jù)處理方案。將相關(guān)參數(shù)設(shè)置信息在存儲(chǔ)和計(jì)算資源的配置文件當(dāng)中進(jìn)行寫入之后，以此對(duì)計(jì)算流程進(jìn)行分配，從而在計(jì)算節(jié)點(diǎn)中啟動(dòng)相關(guān)的資源，并且管理和部署計(jì)算節(jié)點(diǎn)的定制處理服務(wù)。

部署工具通過(guò)網(wǎng)絡(luò)連接到目標(biāo)計(jì)算節(jié)點(diǎn)和計(jì)算流程，然后執(zhí)行大規(guī)模數(shù)據(jù)處理方案。然后根據(jù)相應(yīng)的方案，通過(guò)代碼對(duì)存儲(chǔ)和計(jì)算資源進(jìn)行分配和執(zhí)行。將部署在計(jì)算節(jié)點(diǎn)進(jìn)行進(jìn)行啟動(dòng)，利用網(wǎng)絡(luò)在各個(gè)計(jì)算節(jié)點(diǎn)發(fā)送數(shù)據(jù)處理命令，從而完成調(diào)度和部署計(jì)算流程的工作。

1.2Map Reduce技術(shù)的支持

采用Map Reduce分布式和并行式編程模型，從而在模型內(nèi)部對(duì)任務(wù)容錯(cuò)處理、計(jì)算節(jié)點(diǎn)負(fù)載均衡、空間局部性優(yōu)化、并行任務(wù)調(diào)度等方加以實(shí)現(xiàn)。在Map Reduce的開發(fā)過(guò)程中，只需對(duì)Map、Reduce兩個(gè)接口進(jìn)行定義，通過(guò)計(jì)算機(jī)集群，對(duì)用戶編寫程序進(jìn)行運(yùn)行，拆分大規(guī)模數(shù)據(jù)集合，使之形成若干數(shù)據(jù)片段，從而得到一系列鍵值對(duì)[4]。然后向一個(gè)Map任務(wù)中分配一個(gè)數(shù)據(jù)片段，在Map Reduce框架下，向大規(guī)模計(jì)算集群中的節(jié)點(diǎn)進(jìn)行子任務(wù)的分配。最后，結(jié)合得到的鍵值對(duì)進(jìn)行計(jì)算，生成鍵值對(duì)集合，向Reduce當(dāng)中進(jìn)行輸出。

Reduce當(dāng)中每一個(gè)Reduce任務(wù)，都會(huì)向二元組集合當(dāng)中進(jìn)行分配，輸入集合片段，運(yùn)行Reduce函數(shù)，輸出二元組鍵值對(duì)。如果數(shù)據(jù)處理任務(wù)失敗，也能夠自動(dòng)重新進(jìn)行計(jì)算。在大規(guī)模數(shù)據(jù)處理當(dāng)中，是高度并行操作Map的，這一步驟對(duì)于大規(guī)模數(shù)據(jù)的高效處理來(lái)說(shuō)，具有不可忽視的意義。基于云計(jì)算環(huán)境下，對(duì)規(guī)模數(shù)據(jù)信息大都能夠達(dá)到TB級(jí)別或GB級(jí)別。在長(zhǎng)時(shí)間處理大規(guī)模數(shù)據(jù)的時(shí)候，如果發(fā)生數(shù)據(jù)處理任務(wù)失敗的情況，能夠防止發(fā)生計(jì)算任務(wù)重新執(zhí)行的情況。由于數(shù)據(jù)塊是被復(fù)制的，因此在容錯(cuò)性方面，還會(huì)關(guān)系到負(fù)載均衡的情況。

2云計(jì)算環(huán)境下大數(shù)據(jù)處理的框架模型

在大規(guī)模數(shù)據(jù)資源和計(jì)算資源當(dāng)中，對(duì)云計(jì)算技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)進(jìn)行引入，建立大規(guī)模數(shù)據(jù)處理框架模型。主要包含了兩級(jí)結(jié)構(gòu)，其一是虛擬資源體系、大規(guī)模廉價(jià)計(jì)算機(jī)集群，其二是大規(guī)模數(shù)據(jù)處理分析的處理監(jiān)測(cè)管理體系、數(shù)據(jù)處理服務(wù)請(qǐng)求、以及相應(yīng)的基礎(chǔ)架構(gòu)。利用限制的計(jì)算機(jī)資源，對(duì)虛擬資源層和物理設(shè)備進(jìn)行構(gòu)建，從而形成最底層的物理資源，形成同構(gòu)的數(shù)據(jù)處理資源池或接近于同構(gòu)的數(shù)據(jù)處理資源池。在第二級(jí)結(jié)構(gòu)當(dāng)中，最為重要的就是軟件體系，能夠?yàn)榇笠?guī)模數(shù)據(jù)處理提供服務(wù)。采用Hadoop核心技術(shù)，對(duì)數(shù)據(jù)處理接口進(jìn)行編寫。通過(guò)這種方式，在不同的學(xué)科和領(lǐng)域當(dāng)中，能夠提供相應(yīng)的大規(guī)模數(shù)據(jù)處理服務(wù)，從而使用戶能夠享有良好的計(jì)算平臺(tái)軟件支持。

在這一框架的設(shè)計(jì)與實(shí)現(xiàn)當(dāng)中，對(duì)Hadoop分布式開源計(jì)算機(jī)框架進(jìn)行了應(yīng)用，對(duì)其中的HDFS分布式文件系統(tǒng)，以及Map Reduce進(jìn)行應(yīng)用，從而對(duì)大規(guī)模數(shù)據(jù)處理業(yè)務(wù)進(jìn)行處理和協(xié)調(diào)。在計(jì)算節(jié)點(diǎn)當(dāng)中，對(duì)放置在Map Reduce任務(wù)進(jìn)行映射，對(duì)大規(guī)模數(shù)據(jù)進(jìn)行劃分，使之形成若干子塊，并對(duì)數(shù)據(jù)塊的數(shù)量、規(guī)格等參數(shù)加以掌握。通過(guò)HDFS功能，可以在每一個(gè)計(jì)算節(jié)點(diǎn)當(dāng)中，對(duì)數(shù)據(jù)塊副塊進(jìn)行智能的放置，同時(shí)針對(duì)各個(gè)節(jié)點(diǎn)，對(duì)具體的角色進(jìn)行設(shè)計(jì)。在大規(guī)模數(shù)據(jù)處理的過(guò)程當(dāng)中，需要利用Reduce函數(shù)、Map函數(shù)、以及相關(guān)的程序進(jìn)行分布化處理。在Hadoop當(dāng)中，為了對(duì)Map Reduce進(jìn)行運(yùn)行，提供了一個(gè)API進(jìn)行支持。

3結(jié)論

在當(dāng)前信息化的時(shí)代背景當(dāng)中，計(jì)算機(jī)和網(wǎng)絡(luò)的廣泛應(yīng)用，使得各個(gè)領(lǐng)域中的數(shù)據(jù)量和信息量與日倶增。而對(duì)于這些海量的大規(guī)模數(shù)據(jù)來(lái)說(shuō)，利用傳統(tǒng)的數(shù)據(jù)處理方式，往往難以取得十分理想的處理效果?；诖?，可在云計(jì)算環(huán)境下，開發(fā)和利用相應(yīng)的大規(guī)模數(shù)據(jù)處理技術(shù)，以此來(lái)支持社會(huì)各個(gè)領(lǐng)域當(dāng)中的大規(guī)模數(shù)據(jù)處理需要，從而數(shù)字化的時(shí)代當(dāng)中，始終保持較高的工作效率和良好的工作效果。