“大數(shù)據(jù)”時代計算機信息處理技術(shù)探索
現(xiàn)代社會中無論是計算機的硬件設施還是軟件的技術(shù)水平的提升不斷更新?lián)Q代,大量數(shù)據(jù)應運而生,數(shù)據(jù)機構(gòu)和數(shù)據(jù)的儲存不斷的發(fā)生著巨大的改變。創(chuàng)新的數(shù)據(jù)的不斷升級為計算機信息處理技術(shù)提出了更高的要求,同時帶來了更大的機遇和挑戰(zhàn)。對于數(shù)據(jù)處理的精確性和高效性,提供了關(guān)心,進而使他被運用的數(shù)量和重視的程度都特別高。
1“大數(shù)據(jù)〞的概念與特點
1.1大數(shù)據(jù)的概念
大數(shù)據(jù)時代,信息的數(shù)據(jù)量不斷的上漲,這樣等待處理的數(shù)據(jù)十分浩大,目前的計算機主流軟件在短時間內(nèi)無法實現(xiàn)對其進行獲取、處理、存儲、傳輸、管理等方面的功能,它不僅包括數(shù)據(jù)量大,同時還包括數(shù)據(jù)比較難以處理、冗雜多樣,同時在處理的過程中,還會出現(xiàn)數(shù)據(jù)處理的重復性。對于大數(shù)據(jù)的數(shù)據(jù)量大到什么程度,目前還沒有一個統(tǒng)一的標準,一般認為數(shù)據(jù)量在10tB-1pB(1tB=1024gB,1pB=1024tB)以上的數(shù)據(jù)為大數(shù)據(jù)。
1.2大數(shù)據(jù)的特點
1.2.1數(shù)量大
大數(shù)據(jù)的產(chǎn)生是基于大量數(shù)據(jù)信息處理而產(chǎn)生的,需要運用計算機技術(shù)處理數(shù)據(jù)的量越來越大,從tB及已經(jīng)進展到pB技術(shù)的數(shù)據(jù)處理。
1.2.2速度快
海量的數(shù)據(jù),就需要高速度的對數(shù)據(jù)進行處理,這樣才能滿足使用者對信息數(shù)據(jù)的需求,假如大數(shù)據(jù)的處理出現(xiàn)滯后,將不利于信息的傳播與擴大。
1.2.3種類多
隨著信息技術(shù)在生活應用中普及,現(xiàn)代人們對信息的需求日益多樣化,信息數(shù)據(jù)的來源也越來越多樣化,結(jié)構(gòu)化和半結(jié)構(gòu)化的原始數(shù)據(jù)也出現(xiàn)了多樣化,使得大數(shù)據(jù)呈現(xiàn)出多樣化的進展趨勢。
2“大數(shù)據(jù)〞時代的計算機信息處理技術(shù)要點
2.1分布式處理技術(shù)
分布式數(shù)據(jù)處理,主要是為了實現(xiàn)數(shù)據(jù)的分布式存儲和處理的一種方式,它是由谷歌公司提出的gFs技術(shù)。它采納了存儲列的概念,對數(shù)據(jù)進行存儲后以列為單位,這種技術(shù)特點是,循環(huán)利用的效率比較高,數(shù)據(jù)信息的壓縮比較快,這種存儲結(jié)構(gòu)是采納了行列混合的方式,能夠快速的縮短數(shù)據(jù)的查詢時間和加載海量數(shù)據(jù)的實際,更加能夠把利用磁盤空間提升到最高。目前,分布式處理技術(shù)在百度、iBm得到了廣泛的應用。
2.2信息安全處理技術(shù)
數(shù)據(jù)飛速進展的時代,互相關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)從各種數(shù)據(jù)信息原來獨立的形式中脫穎而出,也正是由于關(guān)聯(lián)結(jié)構(gòu)的影響,無論是那一個數(shù)據(jù)出現(xiàn)問題,伴隨其他數(shù)據(jù)也會受影響而改變。硬件性能在計算機處理技術(shù)中常常會起到干擾問題,在大數(shù)據(jù)安全管理工作的性能中沒有完全得到需求,與此同時,這種方式卻為計算機網(wǎng)絡技術(shù)的進展制造了良好條件。不斷的進展的信息安全技術(shù)為保證大數(shù)據(jù)信息的安全提供了前提。單個數(shù)據(jù)或者是單個數(shù)據(jù)的基礎(chǔ)之上不適合建立對信息的安全管理,最重要的是對整個全面的信息系統(tǒng)進行有效管理,正是這種方式,為計算機信息處理技術(shù)帶來了很大的進展機遇,與此同時也有肯定的挑戰(zhàn)。
2.3大數(shù)據(jù)中的數(shù)據(jù)存儲處理技術(shù)
隨著網(wǎng)絡的日益普及越來越多的內(nèi)容諸如視頻、影像以及虛擬化等等,他們的數(shù)據(jù)不斷的上漲,這是一個巨大的挑戰(zhàn)對于存儲數(shù)據(jù)技術(shù)而言。在以往的一般數(shù)據(jù)存儲過程中對于計算機網(wǎng)絡性能要求并不是很高,因為他的存儲量是普遍比較小的,一般的計算機就可以滿足這些數(shù)據(jù)的需求的要求,但是對于出現(xiàn)的特別大的數(shù)據(jù)而言這樣的性能就很難保證存儲的效率和容量了。但是假如大數(shù)據(jù)的存儲中應用了一般數(shù)據(jù)存儲技術(shù),那就會造成資源的浪費,所以需要結(jié)合當前大數(shù)據(jù)中的性質(zhì)特點,對于大數(shù)據(jù)的存儲應當實行新的存儲方法大大提升大數(shù)據(jù)信息的存儲中的穩(wěn)定性和存儲信息的快捷性。
2.4聚類分析技術(shù)和分類分析技術(shù)的特點
在沒有明確數(shù)據(jù)點的前提下,將數(shù)據(jù)集中在一起分為許多個對象組,然后對每一組對象進行數(shù)據(jù)分析,進行實現(xiàn)綜合去查詢數(shù)據(jù),這就是聚類分析技術(shù)。類分析和聚類分析技術(shù)在數(shù)據(jù)挖掘方面應用的比較廣泛。把信息的數(shù)據(jù)點進行歸類總結(jié),在綜合數(shù)據(jù)點之后形成新的數(shù)據(jù)點,在對他們進行明確的假設和客觀結(jié)構(gòu)預報,最終大大預報將來信息的進展的要求,這就是分類分析技術(shù)。
2.5數(shù)據(jù)分析技術(shù)
數(shù)據(jù)分析技術(shù)在大數(shù)據(jù)處理中具有十分重要作用,它是一種應用比較廣泛的數(shù)據(jù)處理技術(shù)主要包括了網(wǎng)絡的分析技術(shù)、空間的分析技術(shù)、數(shù)據(jù)時域的序列分析技術(shù)、數(shù)據(jù)回來的分析技術(shù)以及情感的分析技術(shù)等等。在這些數(shù)據(jù)分析技術(shù)當中,對自然語言進行編碼分析的技術(shù)是情感分析技術(shù);在網(wǎng)絡的特征基礎(chǔ)之上對數(shù)據(jù)的特征進行分析的技術(shù)是網(wǎng)絡分析技術(shù)。將網(wǎng)絡拓撲、地理和幾何當中的數(shù)據(jù)編碼技術(shù)有機的融合在一起,對數(shù)據(jù)進行綜合分析的統(tǒng)計技術(shù)是空間分析技術(shù)。
2.6大數(shù)據(jù)時代,云計算被廣泛認可
大數(shù)據(jù)時代日益進展,云計算也被大家普遍認可和接受,不斷被普及與人,這樣就讓云服務的浪潮趨勢不斷上漲。云計算把傳遞過來的信息數(shù)據(jù),擬定云平臺,互通電子數(shù)據(jù)進行整合管理。在云平臺上可上傳信息、下載必要信息等任意操作。云計算具有打破常規(guī),不斷提升自身服務,對自身成長不斷的挖掘,遵循自主創(chuàng)新的原則,不斷的提高日常中常用的流程性能,進行創(chuàng)新性的整合。
2.7新穎的數(shù)據(jù)挖掘。在搜尋過程中提煉出大量的數(shù)據(jù),對于這類數(shù)據(jù)進行分別解析,查找內(nèi)在的規(guī)律性。這就是數(shù)據(jù)挖掘涵蓋的范疇。目前大部分企業(yè)自身擁有的數(shù)據(jù)庫單純只能進行錄入數(shù)值、查驗并且統(tǒng)計這些功能。很難在大量搜集得出的數(shù)值當中提煉出有價值必備的信息,更難總結(jié)出查找規(guī)律的潛在信息。遵循這種進展很難把深層次的規(guī)律進行深挖,也就很難進行規(guī)律的表達。總體上來看,數(shù)據(jù)挖掘可以分為初始預備階段、探求潛在規(guī)律、表示這一規(guī)律等這三個時段。數(shù)據(jù)挖掘為決策流程內(nèi)增添了的更多的便利。當在大量數(shù)據(jù)中,又缺失了信息,這種狀況下就可以求救于這樣的數(shù)據(jù)挖掘。緣由是因為,假如能夠精準的區(qū)分出信息的要點,就可以很快的挖掘出潛藏深處的必要信息,這樣就更能進行正確的選擇。綜上所述,當今時代的大數(shù)據(jù)處理技術(shù),對計算機信息處理技術(shù)提出了更高的挑戰(zhàn)和更高的要求,需要實行比較冗雜的信息技術(shù)對海量的技術(shù)進行分析,需要運用計算機技術(shù)建立真正適應大數(shù)據(jù)時代的網(wǎng)絡系統(tǒng)和信息處理系統(tǒng)。
作者:童建
單位:云南工商學院
參考文獻:
[1]崔杰,李陶深,蘭紅星.基于Hadoop的海量數(shù)據(jù)存儲平臺設計與開發(fā)[J].計算機討論與進展,2022,49(zl):12~18.
[2]耿秋,孟劍.大數(shù)據(jù)時代機遇和挑戰(zhàn)[J].中國新時代,2022:172.
本文來源:網(wǎng)絡收集與整理,如有侵權(quán),請聯(lián)系作者刪除,謝謝!