第一篇：淺析GIS多源數(shù)據(jù)集成模式論文

[摘要] 地理信息系統(tǒng)的迅速發(fā)展和廣泛應(yīng)用導(dǎo)致了空間數(shù)據(jù)多源性的產(chǎn)生，為數(shù)據(jù)綜合利用和數(shù)據(jù)共享帶來不便。本文探討空間數(shù)據(jù)多源性的產(chǎn)生和表現(xiàn)，指出多數(shù)據(jù)格式是多源空間數(shù)據(jù)集成的瓶頸；分析和評價了多源空間數(shù)據(jù)集成的三種模式，并展望了多源數(shù)據(jù)集成的發(fā)展方向。

一、多數(shù)據(jù)格式是多源空間數(shù)據(jù)集成的瓶頸

1、空間數(shù)據(jù)多源性的產(chǎn)生和表現(xiàn)

空間數(shù)據(jù)多源性的產(chǎn)生和表現(xiàn)主要可以概括為以下幾個層次：

（1）多語義性

地理信息指的是地理系統(tǒng)中各種信息，由于地理系統(tǒng)的研究對象的多種類特點決定了地理信息的多語義性。對于同一個地理信息單元（feature），在現(xiàn)實世界中其幾何特征是一致的，但是卻對應(yīng)著多種語義，如地理位置、海拔高度、氣候、地貌、土壤等自然地理特征；同時也包括經(jīng)濟社會信息，如行政區(qū)界限、人口、產(chǎn)量等。一個GIS研究的決不會是一個孤立的地理語義，但不同系統(tǒng)解決問題的側(cè)重點也有所不同，因而會存在語義分異問題。

（2）多時空性和多尺度

GIS數(shù)據(jù)具有很強的時空特性。一個GIS系統(tǒng)中的數(shù)據(jù)源既有同一時間不同空間的數(shù)據(jù)系列；也有同一空間不同時間序列的數(shù)據(jù)。不僅如此，GIS會根據(jù)系統(tǒng)需要而采用不同尺度對地理空間進行表達，不同的觀察尺度具有不同的比例尺和不同的精度。GIS數(shù)據(jù)集成包括不同時空和不同尺度數(shù)據(jù)源的集成。

（3）獲取手段多源性

獲取地理空間的數(shù)據(jù)的方法有多種多樣，包括來自現(xiàn)有系統(tǒng)、圖表、遙感手段、GPS手段、統(tǒng)計調(diào)查、實地勘測等。這些不同手段獲得的數(shù)據(jù)其存儲格式及提取和處理手段都各不相同。

（4）存儲格式多源性

GIS數(shù)據(jù)不僅表達空間實體（真實體或者虛擬實體）的位置和幾何形狀，同時也記錄空間實體對應(yīng)的屬性，這就決定了GIS數(shù)據(jù)源包含有圖形數(shù)據(jù)（又稱空間數(shù)據(jù)）和屬性數(shù)據(jù)兩部分。圖形數(shù)據(jù)又可以分為柵格格式和矢量格式兩類。傳統(tǒng)的GIS一般將屬性數(shù)據(jù)放在關(guān)系數(shù)據(jù)庫中，而將圖形數(shù)據(jù)存放在專門的圖形文件中。不同的GIS軟件采取不同的文件存儲格式。

2、多源空間數(shù)據(jù)集成的迫切性

隨著Internet網(wǎng)絡(luò)的飛速發(fā)展和普及，信息共享已經(jīng)成為一種必然的要求。地理信息也不例外，隨著信息技術(shù)以及GIS自身的發(fā)展，GIS已經(jīng)從純粹地學(xué)技術(shù)系統(tǒng)的圈子跳了出來，正和IT行業(yè)完全融合，人們對空間信息的需求也越來越多。GIS要進一步發(fā)展，必須完全融入大型MIS（管理信息系統(tǒng)）中。1998年美國副總統(tǒng)戈爾提出數(shù)字地球的概念，更是將地理信息技術(shù)推到了最前沿。然而地理信息要真正實現(xiàn)共享，必須解決地理信息數(shù)據(jù)多格式、多數(shù)據(jù)庫集成等瓶頸問題。隨著技術(shù)發(fā)展，GIS已經(jīng)逐步走向完全以純關(guān)系數(shù)據(jù)存儲和管理空間數(shù)據(jù)的發(fā)展道路，這為GIS完全和MIS無縫集成邁出了重要的一步。但因為GIS處理的數(shù)據(jù)對象是空間對象，有很強的時空特性，獲取數(shù)據(jù)的手段也復(fù)雜多樣，這就形成多種格式的原始數(shù)據(jù)，再加上GIS應(yīng)用系統(tǒng)很長一段時間處于以具體項目為中心孤立發(fā)展狀態(tài)中，很多GIS軟件都有自己的數(shù)據(jù)格式，這使得GIS的數(shù)據(jù)共享問題變得尤為突出。

空間數(shù)據(jù)作為數(shù)據(jù)類型的一種，同普通數(shù)據(jù)一樣需要走過從分散到統(tǒng)一的過程。在計算機的發(fā)展過程中，先是數(shù)據(jù)去適應(yīng)系統(tǒng)，每一個系統(tǒng)都為傾向于擁有自己的數(shù)據(jù)格式；隨著數(shù)據(jù)量的增多，數(shù)據(jù)庫系統(tǒng)應(yīng)運而生；隨著時代的發(fā)展，信息共享的需求越來越多，不同數(shù)據(jù)庫之間的數(shù)據(jù)交換成了瓶頸；SQL（標準結(jié)構(gòu)化查詢語言）以及ODBC的出現(xiàn)為這一難題提供了比較滿意的解決方案。但是空間數(shù)據(jù)如何引進這種思想，或者說將空間數(shù)據(jù)也納進標準組織和標準協(xié)議進行規(guī)范和管理，從而使空間數(shù)據(jù)共享成為現(xiàn)實。

二、GIS多源數(shù)據(jù)集成模式比較

由于地理信息系統(tǒng)的圖形數(shù)據(jù)格式各異，給信息共享帶來了極大的不便，解決多格式數(shù)據(jù)源集成一直是近年來GIS應(yīng)用系統(tǒng)開發(fā)中需要解決的重要問題。目前，實現(xiàn)多源數(shù)據(jù)集成的方式大致有三種，即：數(shù)據(jù)格式轉(zhuǎn)換模式、數(shù)據(jù)互操作模式、直接數(shù)據(jù)訪問模式。、數(shù)據(jù)格式轉(zhuǎn)換模式

格式轉(zhuǎn)換模式是傳統(tǒng)GIS 數(shù)據(jù)集成方法（圖1）。在這種模式下，其他數(shù)據(jù)格式經(jīng)專門的數(shù)據(jù)轉(zhuǎn)換程序進行格式轉(zhuǎn)換后，復(fù)制到當前系統(tǒng)中的數(shù)據(jù)庫或文件中。這是目前GIS系統(tǒng)數(shù)據(jù)集成的主要辦法。目前得到公認的幾種重要的空間數(shù)據(jù)格式有：ESRI公司的Arc/Info Coverage、ArcShape Files、E00格式；AutoDesk的DXF格式和DWG格式；MapInfo的MIF格式；Intergraph的dgn格式等等。數(shù)據(jù)轉(zhuǎn)換模式主要存在的問題是：

（1）由于缺乏對空間對象統(tǒng)一的描述方法，從而使得不同數(shù)據(jù)格式描述空間對象時采用的數(shù)據(jù)模型不同，因而轉(zhuǎn)換后不能完全準確表達源數(shù)據(jù)的信息。

（2）這種模式需要將數(shù)據(jù)統(tǒng)一起來，違背了數(shù)據(jù)分布和獨立性的原則；如果數(shù)據(jù)來源是多個代理或企業(yè)單位，這種方法需要所有權(quán)的轉(zhuǎn)讓等問題。美國國家空間數(shù)據(jù)協(xié)會（NSDI）確定制定了統(tǒng)一的空間數(shù)據(jù)格式規(guī)范SDTS（Spatial Data Transformation Standard），包括幾何坐標、投影、拓撲關(guān)系、屬性數(shù)據(jù)、數(shù)據(jù)字典，也包括柵格格式和矢量格式等不同的空間數(shù)據(jù)格式的轉(zhuǎn)換標準。許多軟件利用SDTS提供了標準的空間數(shù)據(jù)交換格式。目前，ESRI在ARC/INFO中提供了SDTSIMPORT以及SDTSEXPORT模塊，Intergraph公司在MGE產(chǎn)品系列中也支持SDTS矢量格式。SDTS在一定程度上解決了不同數(shù)據(jù)格式之間缺乏統(tǒng)一的空間對象描述基礎(chǔ)的問題。但SDTS目前還很不完善，還不能完全概括空間對象的不同描述方法，并且還不能統(tǒng)一為各個層次以及從不同應(yīng)用領(lǐng)域為空間數(shù)據(jù)轉(zhuǎn)換提供統(tǒng)一的標準；并且SDTS沒有為數(shù)據(jù)的集中和分布式處理提供解決方案，所有的數(shù)據(jù)仍需要經(jīng)過格式轉(zhuǎn)換復(fù)制到系統(tǒng)中，不能自動同步更新。、數(shù)據(jù)互操作模式

數(shù)據(jù)互操作模式是OpenGIS consortium(OGC)制定的規(guī)范。OGC是為了發(fā)展開放式地理數(shù)據(jù)系統(tǒng)、研究地學(xué)空間信息標準化以及處理方法的一個非盈利組織。GIS互操作是指在異構(gòu)數(shù)據(jù)庫和分布計算的情況下，GIS用戶在相互理解的基礎(chǔ)上，能透明地獲取所需的信息。OGC為數(shù)據(jù)互操作制定了統(tǒng)一的規(guī)范，從而使得一個系統(tǒng)同時支持不同的空間數(shù)據(jù)格式成為可能。根據(jù)OGC頒布的規(guī)范，可以把提供數(shù)據(jù)源的軟件稱為數(shù)據(jù)服務(wù)器（Data Servers），把使用數(shù)據(jù)的軟件稱為數(shù)據(jù)客戶（Data Clients），數(shù)據(jù)客戶使用某種數(shù)據(jù)的過程就是發(fā)出數(shù)據(jù)請求，由數(shù)據(jù)服務(wù)器提供服務(wù)的過程，其最終目的是使數(shù)據(jù)客戶能讀取任意數(shù)據(jù)服務(wù)器提供的空間數(shù)據(jù)。OGC規(guī)范基于OMG的CORBA、Microsoft的OLE/COM以及SQL等，為實現(xiàn)不同平臺間服務(wù)器和客戶端之間數(shù)據(jù)請求和服務(wù)提供了統(tǒng)一的協(xié)議。OGC規(guī)范正得到OMG和ISO的承認，從而逐漸成為一種國際標準，將被越來越多的GIS軟件以及研究者所接受和采納。目前，還沒有商業(yè)化GIS軟件完全支持這一規(guī)范。數(shù)據(jù)互操作為多源數(shù)據(jù)集成提供了嶄新的思路和規(guī)范。它將GIS帶入了開放式的時代，從而為空間數(shù)據(jù)集中式管理和分布存儲與共享提供了操作的依據(jù)。OGC標準將計算機軟件領(lǐng)域的非空間數(shù)據(jù)處理標準成功地應(yīng)用到空間數(shù)據(jù)上。但是OGC標準更多考慮到采用了OpenGIS協(xié)議的空間數(shù)據(jù)服務(wù)軟件和空間數(shù)據(jù)客戶軟件，對于那些歷史存在的大量非OpenGIS標準的空間數(shù)據(jù)格式的處理辦法還缺乏標準的規(guī)范。而從目前來看，非OpenGIS標準的空間數(shù)據(jù)格式仍然占據(jù)已有數(shù)據(jù)的主體。

數(shù)據(jù)互操作規(guī)范為多源數(shù)據(jù)集成帶來了新的模式，但這一模式在應(yīng)用中存在一定局限性：首先，為真正實現(xiàn)各種格式數(shù)據(jù)之間的互操作，需要每個每種格式的宿主軟件都按照著統(tǒng)一的規(guī)范實現(xiàn)數(shù)據(jù)訪問接口，在一定時期內(nèi)還不現(xiàn)實；其次，一個軟

件訪問其他軟件的數(shù)據(jù)格式時是通過數(shù)據(jù)服務(wù)器實現(xiàn)的，這個數(shù)據(jù)服務(wù)器實際上就是被訪問數(shù)據(jù)格式的宿主軟件，也就是說，用戶必須同時擁有這兩個GIS軟件，并且同時運行，才能完成數(shù)據(jù)互操作過程。

3、直接數(shù)據(jù)訪問模式

顧名思義，直接數(shù)據(jù)訪問指在一個GIS軟件中實現(xiàn)對其他軟件數(shù)據(jù)格式的直接訪問，用戶可以使用單個GIS軟件存取多種數(shù)據(jù)格式。直接數(shù)據(jù)訪問不僅避免了繁的數(shù)據(jù)轉(zhuǎn)換，而且在一個GIS軟件中訪問某種軟件的數(shù)據(jù)格式不要求用戶擁有該數(shù)據(jù)格式的宿主軟件，更不需要該軟件運行。直接數(shù)據(jù)訪問提供了一種更為經(jīng)濟實用的多源數(shù)據(jù)集成模式。

目前使用直接數(shù)據(jù)訪問模式實現(xiàn)多源數(shù)據(jù)集成的GIS軟件主要有兩個，即： Intergraph 推出的GeoMedia系列軟件和中國科學(xué)院地理信息產(chǎn)業(yè)發(fā)展中心研制的SuperMap。GeoMedia實現(xiàn)了對大多數(shù)GIS/CAD軟件數(shù)據(jù)格式的直接訪問，包括：MGE、Arc/Info、Frame、Oracle Spatial、SQL Server、Access MDB等(圖2)。SuperMap 2.0則提供了存取SQL Server、Oracle Spatial、ESRI SDE、Access MDB、SuperMap SDB文件等的能力，在以后的版本中將逐步支持對Arc/Info Coverage、AutoCAD DWG、MicroStation DGN、ArcView等數(shù)據(jù)格式的直接訪問。

三、多源空間數(shù)據(jù)格式集成的展望、文件方式和數(shù)據(jù)庫方式

傳統(tǒng)的空間數(shù)據(jù)往往采用文件方式，隨著技術(shù)的進步，逐漸將屬性數(shù)據(jù)移植到數(shù)據(jù)庫平臺上；隨著技術(shù)發(fā)展，圖形數(shù)據(jù)也可以和屬性數(shù)據(jù)一起存放在關(guān)系數(shù)據(jù)庫中。文件方式對數(shù)據(jù)管理安全性較差，存在著屬性和圖形分開管理的問題，不適合網(wǎng)絡(luò)共享發(fā)展的需要；數(shù)據(jù)庫方式則實現(xiàn)了空間數(shù)據(jù)和屬性數(shù)據(jù)一體化存儲和管理，便于開發(fā)兩層、三層甚至多層網(wǎng)絡(luò)應(yīng)用系統(tǒng)。從發(fā)展趨勢來看，純關(guān)系數(shù)據(jù)庫方案取代文件方案是發(fā)展的必然趨勢，這也是IT發(fā)展的主流趨勢。隨著對信息量需求的增大以及信息需求種類增多，數(shù)據(jù)倉庫的建立，將是GIS文件系統(tǒng)向數(shù)據(jù)庫系統(tǒng)發(fā)展的主流。、OpenGIS、SDTS與DLG/F

OpenGIS是目前的主流標準，但SDTS并不會停滯不前，相反筆者認為SDTS將會與OpenGIS走向一體化。SDTS 可以為OpenGIS提供一個轉(zhuǎn)換和存取空間數(shù)據(jù)的標準，該標準是不依賴任何一種特定GIS軟件格式的，該標準中利用頭文件描述格式的方式使得數(shù)據(jù)服務(wù)者不必專門提供格式說明，而數(shù)據(jù)客戶也不必專門學(xué)習(xí)該格式，只需讀取SDTS頭文件就可獲得數(shù)據(jù)服務(wù)者提供的數(shù)據(jù)格式。筆者認為利用SDTS做數(shù)據(jù)標準，利用OGC作數(shù)據(jù)互操作的標準（例如空間SQL標準），簡單地說就是如果說SDTS提供了數(shù)據(jù)格式的頭文件，而OGC標準則提供了讀寫這個頭文件的標準方法。如果再采用數(shù)據(jù)庫作后臺，利用空間數(shù)據(jù)引擎，空間數(shù)據(jù)引擎按照SDTS存取空間數(shù)據(jù)，按照OGC標準對客戶軟件提供操作接口，這將是空間數(shù)據(jù)集成的理想解決方案。USGS還提供了一種稱作DLG/F的標準，該標準設(shè)計了空間數(shù)據(jù)在數(shù)據(jù)庫中的動態(tài)存儲結(jié)構(gòu)，利用該結(jié)構(gòu)可以將拓撲關(guān)系動態(tài)記錄下來，同時可以讓用戶添加自定義的空間數(shù)據(jù)類型。怎樣利用DLG/F完善SDTS和OpenGIS也將是OpenGIS以及SDTS發(fā)展的方向。、統(tǒng)一空間實體編碼

多源空間數(shù)據(jù)據(jù)格式集成還有一個很重要的方面就是如何處理不同數(shù)據(jù)庫對空間實體采用的編碼方式不同的問題。從理論上來說，一個系統(tǒng)對同一空間實體的編碼應(yīng)該是唯一的，實際上由于不同領(lǐng)域從不同視角對同一空間實體編碼并不一樣，甚至?xí)霈F(xiàn)不同空間實體具有相同編碼的情況，這些編碼放在同一系統(tǒng)中，就會出現(xiàn)空間實體標識的嚴重問題。從目前來看，OpenGIS和SDTS都是基于地理特征（Feature）定義空間實體的，但都還不能真正提供一個通用的空間實體編碼體系。

參考文獻

１.On spatial database integration, Thomas Devogele ,Geographical Information Science, 1998,12(4)

２.Issues and prospects for the next generation of the spatial data transfer standard(SDTS), DAVID ARCTUR, DAVID HAIR,GEORGE TIMSON, etc, Geographical Information Science, 1998,12(4)

３.Towards integrated geographic information processing，DAVID J.ABEL, BENG CHIN COOI, KIAN-LEE TAN etc, Geographical Information Science, 1998,12(4)

４.A framework for the integration of geographical information systems and modelbase management , DAVID A.BENNETT, Geographical Information Science, 1997,11(4)

５.Overcoming the semantic and other barriers to GIS interoperability , YASER BISHR, Geographical Information Science, 1998,12(4)

第二篇：多源異構(gòu)氣象區(qū)域站數(shù)據(jù)集成技術(shù)研究

多源異構(gòu)氣象區(qū)域站數(shù)據(jù)集成技術(shù)研究

摘要：針對大量多源異構(gòu)氣象區(qū)域自動站數(shù)據(jù)在集成、監(jiān)控方面的困難，結(jié)合區(qū)域自動站數(shù)據(jù)特征，建立數(shù)據(jù)映射關(guān)系、基于Wabacus開源框架、Java、數(shù)據(jù)庫等技術(shù)，開發(fā)了一套“多源異構(gòu)氣象區(qū)域站數(shù)據(jù)集成系統(tǒng)”。實現(xiàn)了多源異構(gòu)區(qū)域站數(shù)據(jù)在監(jiān)控平臺上的無縫集成，為多源異構(gòu)區(qū)域站數(shù)據(jù)集成方法提供了新的思路，有效解決了多源異構(gòu)數(shù)據(jù)難以在同一平臺上進行統(tǒng)一監(jiān)控的問題。該項技術(shù)研究成果應(yīng)用于“福建省氣象區(qū)域站數(shù)據(jù)集中監(jiān)控系統(tǒng)”中，取得了較好的效果。

關(guān)鍵詞：氣象區(qū)域站；多源異構(gòu)；數(shù)據(jù)集成；Wabacus

中圖分類號：P208；TP338.6 文獻標識碼：A 文章編號：1007-9416（2017）04-0064-03

前言

隨著現(xiàn)代氣象綜合觀測業(yè)務(wù)的快速發(fā)展，全省綜合觀測種類眾多。存在每個觀測項目均使用獨立的中心站軟件收集數(shù)據(jù)的問題。由于引進的設(shè)備廠商和儀器型號參差不齊，因而獲取到的區(qū)域自動站數(shù)據(jù)結(jié)構(gòu)也各不相同，又都部署在不同的服務(wù)器上，所采用的數(shù)據(jù)庫也不統(tǒng)一[1]，導(dǎo)致各個中心站的數(shù)據(jù)相互獨立，難以兼容，這些多源異構(gòu)的數(shù)據(jù)構(gòu)成一個復(fù)雜而且龐大的數(shù)據(jù)源，監(jiān)控人員只能在每個中心站軟件中進行實時的監(jiān)控[2，3]，無法在同一個平臺中對區(qū)域站數(shù)據(jù)進行統(tǒng)一的監(jiān)控和管理，很大程度上增加了數(shù)據(jù)監(jiān)控壓力。因為中心站軟件都部署在省級信息中心，給市縣級臺站信息保障人員日常維護管理也造成了不小的困擾，市縣級信保人員無法及時掌握區(qū)域站在線狀態(tài)和數(shù)據(jù)要素是否異常等狀態(tài)，特別在現(xiàn)場維修時需要多次通過電話詢問省級值班員，降低了工作效率，也增加了省級值班員工作壓力。因此，多源異構(gòu)氣象區(qū)域站數(shù)據(jù)如何實時、快速有效的集成成為一個急需解決的問題。區(qū)域站數(shù)據(jù)特征分析

福建省區(qū)域自動站目前總共部署了2000多個站，每個區(qū)域站都上傳整點數(shù)據(jù)和分鐘數(shù)據(jù)，從宏觀上看，區(qū)域站數(shù)據(jù)具有“多源”、“異構(gòu)”、“量大”等特征[4]。

2.1 多源

多源，指的是多個數(shù)據(jù)源。福建省區(qū)域站設(shè)備型號很多（如ZQZ_A、ZQZ_B、WUSH-RG、DZZ4、CAWS600、HYA-M等），參差不齊，多由不同的廠商提供，使用的中心站軟件也不同，因而得到的數(shù)據(jù)都分散在不同的數(shù)據(jù)庫中[5]，而且數(shù)據(jù)庫類型也不一樣（如MySQL，SqlServer，Oracle），這就導(dǎo)致了區(qū)域站數(shù)據(jù)的多源性。想要集成這些數(shù)據(jù)，必須對各類型的數(shù)據(jù)庫開發(fā)相應(yīng)的訪問接口。

2.2 異構(gòu)

異構(gòu)，指的是數(shù)據(jù)庫結(jié)構(gòu)不統(tǒng)一。由于缺乏行業(yè)數(shù)據(jù)規(guī)范，數(shù)據(jù)庫結(jié)構(gòu)多由各個廠商自行定義，加上軟件開發(fā)人員的水平和對氣象監(jiān)測領(lǐng)域的不熟悉，使得設(shè)計出來的數(shù)據(jù)庫庫表結(jié)構(gòu)、數(shù)據(jù)類型都不一樣，給數(shù)據(jù)集成帶來了很大的困難。系統(tǒng)關(guān)鍵技術(shù)

3.1 Web網(wǎng)頁監(jiān)控

Web網(wǎng)頁監(jiān)控利用Wabacus開源框架、Jsp網(wǎng)頁和Java技?g。Wabacus框架是一個JAVA開發(fā)框架，而不是純客戶端框架，可以完成SSH框架的功能，它可以與任意框架（比如SSH框架）在同一項目中共存，采用面向聲明的編程思想，極少編輯就可以實現(xiàn)復(fù)雜的數(shù)據(jù)展示、數(shù)據(jù)編輯、表單等功能。它支持熱部署，高靈活性，高擴展性，支持IE、Firefox、Chrome、Opera等多種瀏覽器。

3.2 多數(shù)據(jù)庫支持

Wabacus框架支持Oracle、SqlServer、MySql、DB2數(shù)據(jù)庫多個類型的數(shù)據(jù)庫。通過標簽，可配置多個數(shù)據(jù)源，每個數(shù)據(jù)源配置一個子標簽。

3.3 異構(gòu)數(shù)據(jù)處理

對于異構(gòu)數(shù)據(jù)的集成，需要把不同數(shù)據(jù)庫（或者相同數(shù)據(jù)庫）中不同表結(jié)構(gòu)的數(shù)據(jù)提取出來，再插入到新建的總表中。由于存在表列名定義和列數(shù)量不同，為此，我們需要建立一個數(shù)據(jù)映射關(guān)系來統(tǒng)一數(shù)據(jù)結(jié)構(gòu)。結(jié)合氣象區(qū)域站數(shù)據(jù)的特征，在監(jiān)控服務(wù)器上建立了一個總表，總表由所有區(qū)域站數(shù)據(jù)要素來定義。這個插入過程由系統(tǒng)后臺服務(wù)定時完成。

3.4 定時采集服務(wù)

在后臺設(shè)計JAVA定時器，定時收集多個中心站數(shù)據(jù)庫里的區(qū)域自動站數(shù)據(jù)。區(qū)域自動站儀器不斷上傳采集到的數(shù)據(jù)，要求入庫系統(tǒng)必須穩(wěn)定運行，一旦停止運行或者出現(xiàn)故障，肯定會導(dǎo)致監(jiān)控數(shù)據(jù)的延遲、丟失，出現(xiàn)誤告警的情況。因此，我們對這個服務(wù)進行“升級”，即使服務(wù)掛掉，也能通過網(wǎng)頁告警方式通知值班員，處理方式也很簡單，啟動服務(wù)就可以自動補調(diào)丟失的數(shù)據(jù)。系統(tǒng)實現(xiàn)

4.1 總體架構(gòu)

多源異構(gòu)氣象區(qū)域站數(shù)據(jù)集成系統(tǒng)是基于面向服務(wù)的架構(gòu)體系，使用Wabacus開源框架，Java技術(shù)，JSP網(wǎng)頁技術(shù)，結(jié)合多種數(shù)據(jù)庫開發(fā)技術(shù)開發(fā)完成的。采用MVC三層架構(gòu)、數(shù)據(jù)映射、轉(zhuǎn)換等技術(shù)設(shè)計開發(fā)中間件，不需要更改原始的數(shù)據(jù)格式或者存儲，只需要修改相應(yīng)的配置文件就可以實現(xiàn)數(shù)據(jù)集成。

4.2 系統(tǒng)設(shè)計流程

多源異構(gòu)氣象區(qū)域站數(shù)據(jù)集成系統(tǒng)設(shè)計流程如圖1所示，通過Java定時任務(wù)對多個數(shù)據(jù)源數(shù)據(jù)進行提取，得到的數(shù)據(jù)經(jīng)過中間件進行數(shù)據(jù)的映射轉(zhuǎn)換操作，得到統(tǒng)一的數(shù)據(jù)格式的結(jié)果集，最后由入庫程序進行入庫操作。

系統(tǒng)的核心部分是中間件的設(shè)計，中間件的作用是起到統(tǒng)一數(shù)據(jù)格式的作用。向上為多源數(shù)據(jù)庫提供數(shù)據(jù)標準和接口，向下為集成平臺數(shù)據(jù)庫提供統(tǒng)一格式的數(shù)據(jù)，從而完成多源異構(gòu)數(shù)據(jù)的集成。各數(shù)據(jù)源獨立運行，互不干擾，中間件只負責數(shù)據(jù)格式的轉(zhuǎn)換。

中間件從定時采集程序獲得原始數(shù)據(jù)，并不能直接進行入庫操作，必須對數(shù)據(jù)格式進行轉(zhuǎn)換。如果源數(shù)據(jù)表和目標表結(jié)構(gòu)相同，則中間件不處理，直接轉(zhuǎn)到結(jié)果集；如果源數(shù)據(jù)表和目標表的字段名不同，則需要對字段名進行映射，映射的方法是利用SQL語句對結(jié)果集進行字段的映射。

Web網(wǎng)頁監(jiān)控利用Wabacus開源框架、Jsp網(wǎng)頁和Java技術(shù)，實現(xiàn)全省區(qū)域站數(shù)據(jù)監(jiān)控，網(wǎng)頁具有定時刷新，報表導(dǎo)出，收報率統(tǒng)計，聲音告警等各種功能。由于區(qū)域站要素的不同，不可能用一張XML網(wǎng)頁模版去顯示每個站的要素，因此需要配置站點對應(yīng)的XML網(wǎng)頁[6]。

數(shù)據(jù)庫端設(shè)計遵循SQL語言規(guī)范，利用SQL語句優(yōu)化技術(shù)（比如建立存儲過程和數(shù)據(jù)庫表索引等），快速查詢各中心站數(shù)據(jù)庫信息。

4.3 系統(tǒng)功能

該項技術(shù)研究成果應(yīng)用于福建省氣象區(qū)域站數(shù)據(jù)集中監(jiān)控系統(tǒng)，系統(tǒng)首頁如圖2所示。首頁是將福建省全省的區(qū)域站按照分地市監(jiān)控起來了，頁面定時2分鐘自動刷新，當某個地市的區(qū)域站在線率小于85%（閾值可根據(jù)需要設(shè)置）時，頁面就會通過聲音、滾屏等方式對故障地區(qū)進行告警，省一級值班人員就可以快速響應(yīng)處理，從而提升數(shù)據(jù)的時效性。

以福州地區(qū)為例，市級監(jiān)控首頁如圖3所示。市級關(guān)心的是本市區(qū)域站的運行情況，因此這里把該地區(qū)所有的區(qū)域站都集中在一個頁面上監(jiān)控，頁面也是定時2分鐘自動刷新。當有站點故障沒數(shù)據(jù)時，系統(tǒng)會對故障點進行滾屏和聲音告警，提醒市級值班員處理。要是某些站點的確故障了，一時恢復(fù)不過來，可以將站點監(jiān)控狀態(tài)設(shè)為故障，這樣系統(tǒng)就不會對故障站點進行報警了。結(jié)語

隨著現(xiàn)代氣象綜合觀測業(yè)務(wù)的快速發(fā)展，全省綜合觀測種類越來越多，必須對多個數(shù)據(jù)源的數(shù)據(jù)進行無縫集成，實現(xiàn)數(shù)據(jù)監(jiān)控統(tǒng)一化。福建省區(qū)域站數(shù)據(jù)集中監(jiān)控系統(tǒng)已投入運行半年多時間，運行穩(wěn)定，為業(yè)?展芾砣嗽?、市季劘懀中心壹s疤ㄕ救嗽碧峁┦凳比?省區(qū)域自動站數(shù)據(jù)監(jiān)控，包括站點的在線狀態(tài)、最新到報時間、在線率和收報率統(tǒng)計等，并具備監(jiān)控報警功能，不但可以做到快速響應(yīng)，進而提升站點數(shù)據(jù)時效性，也很大程度上減輕了值班員的監(jiān)控壓力。

通過該系統(tǒng)，可快捷查詢?nèi)^(qū)域自動站整體的運行情況，業(yè)務(wù)保障人員通過該系統(tǒng)發(fā)出的站點離線告警，可以做到及時響應(yīng)、排查、處理；通過系統(tǒng)的統(tǒng)計分析報表功能，對管理部門今后判斷自動站的運行狀態(tài)也具有一定的參考價值。

參考文獻

[1]陳巍，劉藝雯.異構(gòu)數(shù)據(jù)庫數(shù)據(jù)遷移測試軟件的研究與實現(xiàn)[J].安徽工程科技學(xué)院學(xué)報，2010，25（4）：35-39.[2]李軍懷，周明全，耿國華，等.XML在異構(gòu)數(shù)據(jù)集成中的應(yīng)用研究[J].計算機應(yīng)用，2002，22（9）：10-12.[3]陳騫，羅智佳，毛宗源.基于C/S和B/S混合結(jié)構(gòu)的數(shù)據(jù)采集與整合系統(tǒng)[J].計算機應(yīng)用研究，2006，（7）：188-190.[4]張峰.基于多源異構(gòu)勘察數(shù)據(jù)的工程勘察信息系統(tǒng)的設(shè)計與實現(xiàn)[J].測繪通報，2013，（1）：87-89.[5]何朝陽，巨能攀，黃健.基于Web-GIS的公路邊坡安全管理系統(tǒng)研究[J].地質(zhì)災(zāi)害與環(huán)境保護，2012，23（1）：91-95.[6]王智軍.基于XML的異構(gòu)數(shù)據(jù)集成研究[J].赤峰學(xué)院學(xué)報：自然科學(xué)版，2010，26（3）：19-21.

第三篇：數(shù)據(jù)集成整體解決方案

數(shù)據(jù)集成整體解決方案

繼系統(tǒng)集成、應(yīng)用集成、業(yè)務(wù)集成之后，最頭痛的數(shù)據(jù)集成（Data Integration）已漸被各大企業(yè)紛紛觸及。目前國內(nèi)大多數(shù)企業(yè)還僅停留在服務(wù)于單個系統(tǒng)的多對一架構(gòu)數(shù)據(jù)集成應(yīng)用，這種架構(gòu)常見于數(shù)據(jù)倉庫系統(tǒng)領(lǐng)域，服務(wù)于企業(yè)的商務(wù)智能。早期那些數(shù)據(jù)集成大家大都是從ETL啟蒙開始的，當時ETL自然也就成了數(shù)據(jù)集成的代名詞，只是忽然一夜春風(fēng)來，各廠商相繼推出DI新概念后，我們不得不再次接受新一輪的DI洗腦，首推的有SAS DI、Business Objects DI、Informatica DI、Oracle DI（ODI）等廠商。

數(shù)據(jù)集成，主要是指基于企業(yè)分散的信息系統(tǒng)的業(yè)務(wù)數(shù)據(jù)進行再集中、再統(tǒng)一管理的過程，是一個漸進的過程，只要有新的、不同的數(shù)據(jù)產(chǎn)生，就不斷有數(shù)據(jù)集成的步聚執(zhí)行。企業(yè)有了五年、八年的信息化發(fā)展，凌亂、重復(fù)、歧義的數(shù)據(jù)接踵而至，數(shù)據(jù)集成的空間與需求日漸迫切，企業(yè)需要一個主數(shù)據(jù)管理（Master Data Manager）系統(tǒng)來統(tǒng)一企業(yè)的產(chǎn)品信息、客戶信息；企業(yè)需要一個數(shù)據(jù)倉庫（Data Warehouse）系統(tǒng)來提高領(lǐng)導(dǎo)層的決策意識，加快市場戰(zhàn)略調(diào)整行動；企業(yè)需要一個數(shù)據(jù)中心（Data Center）系統(tǒng)來集中交換、分發(fā)、調(diào)度、管理企業(yè)基礎(chǔ)數(shù)據(jù)。

數(shù)據(jù)集成的必要性、迫切性不言而喻，不斷被推至企業(yè)信息化戰(zhàn)略規(guī)劃的首要位置。要實現(xiàn)企業(yè)數(shù)據(jù)集成的應(yīng)用，不光要考慮企業(yè)急需集成的數(shù)據(jù)范圍，還要從長遠發(fā)展考慮數(shù)據(jù)集成的架構(gòu)、能力和技術(shù)等方面內(nèi)容。從數(shù)據(jù)集成應(yīng)用的系統(tǒng)部署、業(yè)務(wù)范圍、實施成熟性看主要可分三種架構(gòu)。一種是單個系統(tǒng)數(shù)據(jù)集成架構(gòu)、一種是企業(yè)統(tǒng)一數(shù)據(jù)集成架構(gòu)、一種是機構(gòu)之間數(shù)據(jù)集成架構(gòu)。

單個系統(tǒng)數(shù)據(jù)集成架構(gòu)，是國內(nèi)目前大興土木所采用的架構(gòu)，主要是以數(shù)據(jù)倉庫系統(tǒng)為代表提供服務(wù)而興建的數(shù)據(jù)集成平臺，面向企業(yè)內(nèi)部如ERP、財務(wù)、OA等多各業(yè)務(wù)操作系統(tǒng)，集成企業(yè)所有基礎(chǔ)明細數(shù)據(jù)，轉(zhuǎn)換成統(tǒng)一標準，按星型結(jié)構(gòu)存儲，面向市場經(jīng)營分析、客戶行為分析等多個特有主題進行商務(wù)智能體現(xiàn)。這種單個系統(tǒng)數(shù)據(jù)集成應(yīng)用架構(gòu)的主要特點是多對一的架構(gòu)、復(fù)雜的轉(zhuǎn)換條件、TB級的數(shù)據(jù)量處理與加載，數(shù)據(jù)存儲結(jié)構(gòu)特殊，星型結(jié)構(gòu)、多維立方體并存，數(shù)據(jù)加載層級清晰。

企業(yè)統(tǒng)一數(shù)據(jù)集成架構(gòu)，組織結(jié)構(gòu)較復(fù)雜的大型企業(yè)、政府機構(gòu)尤為偏愛這種數(shù)據(jù)集成的架構(gòu)，因此類單位具有業(yè)務(wù)結(jié)構(gòu)相對獨立、數(shù)據(jù)權(quán)力尤為敏感、數(shù)據(jù)接口復(fù)雜繁多等特征，更需要多個部門一起協(xié)商來建立一個統(tǒng)一的數(shù)據(jù)中心平臺，來解決部門之間頻繁的數(shù)據(jù)交換的需求。如金融機構(gòu)、電信企業(yè)，公安、稅務(wù)等政府機構(gòu)，業(yè)務(wù)獨立、層級管理的組織結(jié)構(gòu)決定了內(nèi)部數(shù)據(jù)交互的復(fù)雜性。概括來說此類應(yīng)用屬于多對多的架構(gòu)、數(shù)據(jù)交換頻繁、要有獨立的數(shù)據(jù)交換存儲池、數(shù)據(jù)接口與數(shù)據(jù)類型繁多等特點。

對于企業(yè)管理性、決策性較強的信息系統(tǒng)如主數(shù)據(jù)管理系統(tǒng)、財務(wù)會計管理系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)等數(shù)據(jù)可直接來源于數(shù)據(jù)中心，擺脫了沒有企業(yè)數(shù)據(jù)中心前的一對多交叉的困擾，避免了業(yè)務(wù)系統(tǒng)對應(yīng)多種管理系統(tǒng)時需要數(shù)據(jù)重復(fù)傳送，如CRM系統(tǒng)中新增一條客戶信息數(shù)據(jù)后，直接發(fā)送到企業(yè)數(shù)據(jù)中心，由企業(yè)數(shù)據(jù)中心面向風(fēng)險管理系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)、主數(shù)據(jù)管理系統(tǒng)進行分發(fā)即可。

機構(gòu)之間數(shù)據(jù)集成架構(gòu)，這種架構(gòu)多是應(yīng)用于跨企業(yè)、跨機構(gòu)、多個單位圍繞某項或幾項業(yè)務(wù)進行的業(yè)務(wù)活動，或由一個

以上三種數(shù)據(jù)集成架構(gòu)，一種是對應(yīng)于某一個應(yīng)用系統(tǒng)的多對一架構(gòu)，一種是完成企業(yè)內(nèi)部眾多系統(tǒng)之間數(shù)據(jù)交換的多對多架構(gòu)，一種是為多個跨企業(yè)、單位機構(gòu)實現(xiàn)某一項或幾項業(yè)務(wù)活動而建立的多對多架構(gòu)，數(shù)據(jù)集成的應(yīng)用差不多都是基于這三種架構(gòu)，每種架構(gòu)可能會對應(yīng)于多種數(shù)據(jù)集成的應(yīng)用。國內(nèi)企業(yè)常見的數(shù)據(jù)集成應(yīng)用有數(shù)據(jù)倉庫、數(shù)據(jù)同步、數(shù)據(jù)交換，隨著企業(yè)并購、新舊系統(tǒng)升級、分布系統(tǒng)向數(shù)據(jù)大集中看齊、電子商務(wù)的發(fā)展、多個企業(yè)單位協(xié)同作業(yè)等等眾多業(yè)務(wù)需求的誕生，數(shù)據(jù)集成的應(yīng)用開始紛繁異景起來。

目前大部分數(shù)據(jù)集成軟件廠商都是圍繞數(shù)據(jù)倉庫（Data Warehousing）、數(shù)據(jù)遷移（Data Migration）、數(shù)據(jù)合并（Data Consolidation）、數(shù)據(jù)同步（Data Synchronization）、數(shù)據(jù)交換（Data Hubs或者叫主數(shù)據(jù)管理：Master Data Management）這5種常見的企業(yè)應(yīng)用形式來發(fā)展各自的產(chǎn)品技術(shù)。

數(shù)據(jù)倉庫（Data Warehousing）應(yīng)用：

數(shù)據(jù)倉庫的發(fā)展在國內(nèi)差不多有近10個年頭，數(shù)據(jù)倉庫中的數(shù)據(jù)集成應(yīng)用主要是圍繞ETL的功能來實現(xiàn)，一般來說其主要功能是將多個業(yè)務(wù)系統(tǒng)不同種數(shù)據(jù)類型的數(shù)據(jù)抽取到數(shù)據(jù)倉庫的ODS（Operational Data Store）層，經(jīng)過轉(zhuǎn)換，加載存儲到星型結(jié)構(gòu)的DW（Data

Warehouse）層，為滿足不同主題的展現(xiàn)應(yīng)用，再向關(guān)系型數(shù)據(jù)庫或多維數(shù)據(jù)庫進一步匯總加載，其ETL功能可由手工編程或?qū)I(yè)工具軟件這兩種類型來實現(xiàn)。

尤顯重要。如航空公司與航空機場之間的數(shù)據(jù)同步應(yīng)用、證券交易所與證券公司之間的股票信息同步、金融業(yè)的匯率信息同步等等，影響數(shù)據(jù)同步的實時性與可靠性的因素會有網(wǎng)絡(luò)的連通性、傳輸效率、數(shù)據(jù)接口、數(shù)據(jù)格式等，這些諸多因素都屬于數(shù)據(jù)集成中的數(shù)據(jù)同步要解決的問題。

數(shù)據(jù)交換（Data Hubs）應(yīng)用：

或者叫主數(shù)據(jù)管理（Master Data Management）應(yīng)用，這種數(shù)據(jù)集成的應(yīng)用越來越受企業(yè)的重視。一般構(gòu)成企業(yè)主要的基礎(chǔ)數(shù)據(jù)分別是客戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、員工信息數(shù)據(jù)、供應(yīng)商數(shù)據(jù)，要從企業(yè)多個系統(tǒng)中快速、可靠地建立唯

一、完整的企業(yè)主數(shù)據(jù)視圖這就是主數(shù)據(jù)管理。要實現(xiàn)企業(yè)主數(shù)據(jù)管理應(yīng)用的數(shù)據(jù)集成平臺，必須具備有良好的數(shù)據(jù)連通性、良好的數(shù)據(jù)質(zhì)量探查與分析、良好的數(shù)據(jù)轉(zhuǎn)換能力等特點。文中上述提到跨多個企業(yè)、單位機構(gòu)的架構(gòu)就是一個典型的主數(shù)據(jù)管理應(yīng)用，如公安局、工商局、稅務(wù)局、人事局、勞動社保局等這些眾多政府機構(gòu)主要是圍繞2個基本主體進行各項事務(wù)活動，一個主體是個人，另外一個主體是企業(yè)單位，而眾多政府機構(gòu)對這2個主體的信息數(shù)據(jù)要求重點不同、數(shù)據(jù)處理順序有先后，數(shù)據(jù)變更有各異，數(shù)據(jù)交換復(fù)雜、頻繁，而最理想的境界是這2個主體數(shù)據(jù)能做到最大程度的同步，這就是主數(shù)據(jù)管理的思想。

以上五種數(shù)據(jù)集成應(yīng)用解決方案在國內(nèi)最常見的首當其沖的是數(shù)據(jù)倉庫的應(yīng)用，最復(fù)雜的應(yīng)用應(yīng)該是數(shù)據(jù)交換了，不管是簡單還是復(fù)雜的應(yīng)用都以ETL技術(shù)為基礎(chǔ)，ETL技術(shù)成為了數(shù)據(jù)集成的核心技術(shù)，伴隨ETL技術(shù)的還有數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)清洗、數(shù)據(jù)聯(lián)邦、Real-Time、數(shù)據(jù)探查等技術(shù)，為了提高數(shù)據(jù)集成的安全性、高效性、可擴展能力，還有SOA、HA、GRID等相關(guān)技術(shù)作為支撐。

ETL（Extract、Transform、Load）：數(shù)據(jù)集成視數(shù)據(jù)抽取、轉(zhuǎn)換和加載為最基礎(chǔ)、最核心的三項技術(shù)，這三個執(zhí)行步驟可根據(jù)系統(tǒng)環(huán)境特點進行調(diào)整順序，典型的應(yīng)用有ELT的順序。如源與目標為同種數(shù)據(jù)庫、或共用一個數(shù)據(jù)庫時，可將數(shù)據(jù)從源直接抽取到目標然后再進行轉(zhuǎn)換，效率會大有提高，專注此類特點的產(chǎn)品以O(shè)racle的ODI為代表。

數(shù)據(jù)連通（Data Connective）：良好的數(shù)據(jù)連通性是數(shù)據(jù)集成的能力體現(xiàn)，一般通用的關(guān)系型數(shù)據(jù)庫、ODBC、XML等數(shù)據(jù)連通類型為常見類型，還有一些就是大中型企業(yè)常用

的ERP、CRM、BPM、OA等應(yīng)用軟件為封閉式的系統(tǒng)，如SAP、Seibel、Lotus等系統(tǒng)的連通，因此良好的數(shù)據(jù)集成平臺需要提供來自更多企業(yè)的數(shù)據(jù)連通接口，抽取源與裝載目標的范圍也就更廣闊。

數(shù)據(jù)質(zhì)量（Data Quality）：數(shù)據(jù)質(zhì)量越來越被企業(yè)重視，數(shù)據(jù)質(zhì)量的技術(shù)范圍也越發(fā)寬廣，開始慢慢被剝離出數(shù)據(jù)集成的范疇。企業(yè)不能根據(jù)標準不統(tǒng)一、歧義、不正確的數(shù)據(jù)快速做出決策，只有站在高質(zhì)量的數(shù)據(jù)基礎(chǔ)之上做出的決策才不會發(fā)生方向偏倚。通常實現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量管理會包括源數(shù)據(jù)的探查、數(shù)據(jù)質(zhì)量的評估、數(shù)據(jù)集成、數(shù)據(jù)的完整和數(shù)據(jù)的監(jiān)控這五個步驟。數(shù)據(jù)的完整一般是指根據(jù)現(xiàn)有基礎(chǔ)數(shù)據(jù)作其它數(shù)據(jù)項的擴展和豐富，如根據(jù)客戶的聯(lián)系方式來豐富客戶的所屬地區(qū)數(shù)據(jù)項、根據(jù)客戶身份證號碼來豐富客戶的所屬地區(qū)、年齡、性別等信息。

數(shù)據(jù)實時（Real-Time）：對于實時數(shù)據(jù)倉庫系統(tǒng)、數(shù)據(jù)同步等應(yīng)用都會用到數(shù)據(jù)實時技術(shù)，一個系統(tǒng)的數(shù)據(jù)發(fā)生變化后，能即刻將變化的動作同步到另一個系統(tǒng)這就是數(shù)據(jù)實時技術(shù)的主旨。關(guān)系型數(shù)據(jù)庫、AS400、MQ Series、ADABAS等系統(tǒng)都有自身的實時數(shù)據(jù)策略，如Oracle數(shù)據(jù)庫的實時可以通過Trigger或Log Miner分析歸檔日志方式來實現(xiàn)。

諸如以上ETL、數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)實時等技術(shù)，還有數(shù)據(jù)聯(lián)邦、數(shù)據(jù)清洗、HA、Grid、Partition、SOA技術(shù)，這些都是保證數(shù)據(jù)集成平臺的可擴展性、安全性、高效性、簡便性的通用技術(shù)。

神州數(shù)碼公司面向各行業(yè)提供有多家數(shù)據(jù)集成整體解決方案的經(jīng)驗，整體解決方案包括有企業(yè)數(shù)據(jù)集成業(yè)務(wù)咨詢、企業(yè)數(shù)據(jù)集成平臺產(chǎn)品、各廠商數(shù)據(jù)集成底層軟件共三大塊。

? 數(shù)據(jù)集成咨詢

神州數(shù)碼的業(yè)務(wù)咨詢具體指對企業(yè)各個層次的數(shù)據(jù)對象進行調(diào)研，給出企業(yè)數(shù)據(jù)管

理現(xiàn)狀分析報告，為企業(yè)的數(shù)據(jù)管理進行數(shù)據(jù)標準定義，根據(jù)企業(yè)特點提出更優(yōu)的核心數(shù)據(jù)管理機制建議，設(shè)計適合企業(yè)長遠發(fā)展的數(shù)據(jù)管理機構(gòu)體系和工作管理流程，并對組織結(jié)構(gòu)進行崗位職能設(shè)置。? 數(shù)據(jù)集成平臺

神州數(shù)碼的數(shù)據(jù)集成平臺是企業(yè)數(shù)據(jù)管理部門的工作手段，須依賴于一套嚴謹?shù)臄?shù)據(jù)管理規(guī)范。數(shù)據(jù)集成平臺是以企業(yè)數(shù)據(jù)統(tǒng)一存儲模型作為依托，提供完備的數(shù)據(jù)存取、清洗、轉(zhuǎn)換等處理功能，為企業(yè)各業(yè)務(wù)部門提供準確、單一的數(shù)據(jù)服務(wù)，并對數(shù)據(jù)服務(wù)各環(huán)節(jié)進行審批、監(jiān)控、分析和管理。? 數(shù)據(jù)集成產(chǎn)品

神州數(shù)碼公司專注為中國重要行業(yè)提供全方位IT服務(wù)，集合全球資源，立足國內(nèi)市場，提供基于客戶需求的，以應(yīng)用軟件為核心的IT服務(wù)。神州數(shù)碼是世界一流的數(shù)據(jù)集成產(chǎn)品廠商的總代理，其中包括有IBM、Oracle、Informatica等廠商的數(shù)據(jù)集成軟件產(chǎn)品。精通各廠商的數(shù)據(jù)集成產(chǎn)品工技術(shù)專家達數(shù)百名，為金融、電信、政府等多個行業(yè)客戶提供有多個數(shù)據(jù)集成成功案例。

第四篇：國土測繪與國土GIS一體化集成探析

國土測繪與國土GIS一體化集成探析

摘 要：國土測繪是國土資源信息數(shù)據(jù)采集的基本手段。原有的CAD類平臺存在數(shù)據(jù)源過多，數(shù)據(jù)使用繁瑣的缺陷，實現(xiàn)數(shù)據(jù)測繪與GIS系統(tǒng)集成是當前國土資源信息管理工作中的重要任務(wù)。文章圍繞國土測繪與國土GIS一體化集成有關(guān)問題進行探討，分析了現(xiàn)有的測繪生產(chǎn)和GIS應(yīng)用模式的優(yōu)點和不足，重點介紹了面向測繪生產(chǎn)的GIS一體化集成模式的技術(shù)特點。

關(guān)鍵詞：國土測繪；地理信息系統(tǒng)（GIS）；集成引言

土地是最基本的生產(chǎn)資料和資源形式。要實施科學(xué)、高效的國土資源管理與使用，必須要對國土資源情況有一個全面清晰的掌握與了解。國土測繪是國家國土管理機關(guān)和各級政府收集國土資源信息數(shù)據(jù)的重要手段。隨著經(jīng)濟發(fā)展水平的提高和社會活動規(guī)模的持續(xù)擴大，國土資源信息的需求不斷增強，給國土測繪工作提出了越來越高的要求。由于歷史原因，我國國土測繪領(lǐng)域中多種作業(yè)平臺長期共存，其中CAD類平臺占據(jù)著主要位置。不同的數(shù)據(jù)作業(yè)平臺形成了不同的國土信息數(shù)據(jù)來源，復(fù)雜的數(shù)據(jù)來源影響了數(shù)據(jù)的使用與管理效率，提高了數(shù)據(jù)的應(yīng)用難度。同時，隨著計算機技術(shù)、網(wǎng)絡(luò)技術(shù)等信息領(lǐng)域的高速發(fā)展，地理信息系統(tǒng)（GIS）的理論研究和實踐應(yīng)用都獲得了巨大的進步，憑借其強大的信息收集與處理功能，以GIS為基礎(chǔ)的國土空間數(shù)據(jù)管理與應(yīng)用已經(jīng)成為我國國土資源信息化建設(shè)的一個基礎(chǔ)載體和主流發(fā)展方向。以CAD為代表的國土資源信息數(shù)據(jù)來源與以GIS為基礎(chǔ)的信A息應(yīng)用平臺間的巨大沖突，給我國國土資源信息化建設(shè)的健康發(fā)展帶來了嚴重負面影響。為保障我國國土資源信息利用管理對國家經(jīng)濟建設(shè)、國防安全、科學(xué)研究等社會活動方面的持續(xù)、充分的服務(wù)與支持，必須改變目前的尷尬局勢。國土測繪與國土資源空間數(shù)據(jù)庫和國土資源信息系統(tǒng)的集成是現(xiàn)階段解決上述問題的有力手段。三者的集成不僅會改變國土資源數(shù)據(jù)庫現(xiàn)勢性，對于國土資源信息化應(yīng)用的具體效果也有著十分顯著的影響。但由于實施主體主觀認識上的不足，國土資源信息數(shù)據(jù)和GIS應(yīng)用數(shù)據(jù)現(xiàn)勢性需求間脫節(jié)較為嚴重，導(dǎo)致國土資源信息系統(tǒng)GIS無法充分發(fā)揮應(yīng)有效能，因此，必須深入推進國土資源信息測繪生產(chǎn)與GIS應(yīng)用一體化集成工作，以實現(xiàn)國土資源信息的及時更新與GIS間的有機融合。當前國土資源數(shù)據(jù)測繪生產(chǎn)和GIS應(yīng)用間的集成模式分析

國土資源數(shù)據(jù)測繪生產(chǎn)和GIS應(yīng)用集成是針對當前國土資源信息管理中數(shù)據(jù)更新遲緩，應(yīng)用效率低下的問題所開發(fā)制定出來的重要技術(shù)。目前主要有CAD與GIS混合集成和單一GIS集成兩種集成模式。

1.1 CAD與GIS混合集成模式

該方法以采用通用數(shù)據(jù)格式和明碼交換格式的數(shù)據(jù)為媒介，通過數(shù)據(jù)交換或轉(zhuǎn)換的方法實現(xiàn)信息共享，從而達到CAD與GIS間的集成。該集成模式是將CAD作為僅有的國土資源數(shù)據(jù)采集生產(chǎn)方式，將CAD產(chǎn)生的數(shù)據(jù)信息按照通用數(shù)據(jù)格式或明碼交換格式進行編制，經(jīng)由數(shù)據(jù)交換或轉(zhuǎn)換，傳送到GIS系統(tǒng)內(nèi)的業(yè)務(wù)單元，較為妥善的解決了國土資源信息數(shù)據(jù)來源繁多的問題。同時，通過使用GIS相關(guān)組件的的嵌入功能，還可以實現(xiàn)對國土資源空間數(shù)據(jù)進行瀏覽與查詢。該集成模式的缺點是使用數(shù)據(jù)交換、轉(zhuǎn)換作為系統(tǒng)集成的媒介，信息測繪生產(chǎn)和GIS管理兩部分仍然彼此孤立存在，盡管測繪作業(yè)產(chǎn)生的數(shù)據(jù)通過轉(zhuǎn)換或交換進入GIS系統(tǒng)，但后續(xù)信息處理與數(shù)據(jù)使用工作依然較為繁瑣。同時，經(jīng)由測繪生產(chǎn)出來的圖形與GIS圖形之間出地理空間、形狀一致以外沒有其他聯(lián)系，此外，數(shù)據(jù)轉(zhuǎn)換和交換過程中信息中的屬性部分和圖形部分發(fā)生分離，需要在后續(xù)工作中專門進行管理才能繼續(xù)使用，增加了工作量，使得整個作業(yè)更加復(fù)雜、繁瑣。

1.2 單一GIS集成模式

該模式摒棄了使用CAD作為國土資源信息采集方式，取而代之使用GIS系統(tǒng)全面負責信息的采集、管理和處理作業(yè)。由于整套系統(tǒng)采用一個規(guī)范標準，數(shù)據(jù)在使用、管理、傳輸過程中不必進行不必須有的轉(zhuǎn)換，提高了數(shù)據(jù)的整體性和完整性。在CAD與GIS混合集成模式中由于使用CAD測繪生產(chǎn)數(shù)據(jù)導(dǎo)致的圖形和屬性聯(lián)系不緊密，生產(chǎn)數(shù)據(jù)和管理數(shù)據(jù)不統(tǒng)一的問題得以有效解決。和采用GIS平臺的國土資源管理業(yè)務(wù)子系統(tǒng)天然上就具有極高水平的相容性。數(shù)據(jù)入庫順暢無礙。通過GIS的嵌入組件的功能，可以直接對國土資源管理業(yè)務(wù)子系統(tǒng)中數(shù)據(jù)進行圖形編輯、更新與出圖作業(yè)，集成水平很高。

從上面討論可以看到，作為實現(xiàn)測繪生產(chǎn)和GIS應(yīng)用一體化集成的方式，單一GIS集成模式無疑更具有競爭力。但由于目前已有的測繪數(shù)據(jù)中，使用CAD技術(shù)進行采集的占據(jù)很大一部分。這部分數(shù)據(jù)依然面臨更新和入庫的需要。同時，CAD技術(shù)經(jīng)過多年的使用和改進，技術(shù)發(fā)展較為成熟，特別是在數(shù)據(jù)采集、整理和制圖方面，CAD類平臺更富有競爭力。所以基于整個作業(yè)成本的原因，目前使用CAD類平臺的生產(chǎn)單位在總體中所占據(jù)的比例更大，尤其是在大比例尺數(shù)據(jù)生產(chǎn)方面，CAD類平臺占據(jù)著絕對優(yōu)勢。另外，單一GIS集成系統(tǒng)目前僅適用于為同一GIS平臺上開發(fā)完整的測繪子系統(tǒng)并與業(yè)務(wù)系統(tǒng)的集成，不同GIS平臺間的業(yè)務(wù)系統(tǒng)數(shù)據(jù)共享還是只能采用數(shù)據(jù)交換或數(shù)據(jù)轉(zhuǎn)換的方式實現(xiàn)。面向測繪生產(chǎn)的GIS一體化集成模式

基于上面兩種集成模式所具有的優(yōu)勢和不足，為更好地實現(xiàn)數(shù)據(jù)生產(chǎn)和國土資源信息管理系統(tǒng)間的集成，一種在符合當前數(shù)據(jù)生產(chǎn)實際情況的同時，很好地適應(yīng)GIS空間數(shù)據(jù)管理應(yīng)用的新型集成模式，以GIS為核心的面向測繪的一體化集成技術(shù)形成了。該模式通過測繪數(shù)據(jù)和GIS數(shù)據(jù)一體化，以GIS為平臺進行數(shù)據(jù)的管理和控制，測繪數(shù)據(jù)和GIS數(shù)據(jù)的更新則有測繪平臺負責實現(xiàn)，從而實現(xiàn)數(shù)據(jù)采集、內(nèi)業(yè)處理、質(zhì)量檢查、版本控制、入庫更新、應(yīng)用和編輯更新等作業(yè)的規(guī)范化和流程化。該模式具有以下幾方面的技術(shù)特性：

2.1 規(guī)范化的空間數(shù)據(jù)組織結(jié)構(gòu)及數(shù)據(jù)更新機制

空間要素編碼、數(shù)據(jù)分層和存儲組織構(gòu)成了空間數(shù)據(jù)組織；而描述GIS數(shù)據(jù)和測繪數(shù)據(jù)間的對應(yīng)關(guān)系，包括存儲映射描述和分層組織描述的功能則由數(shù)據(jù)映射關(guān)系組織予以實現(xiàn)。該組織中對數(shù)據(jù)更新過程中數(shù)據(jù)庫服務(wù)器的訪問方式，位置，存儲方式進行了明確說明。

2.2 數(shù)據(jù)更新模式呈現(xiàn)出多層次特性

該系統(tǒng)在數(shù)據(jù)更新方面存在多個層次的系統(tǒng)模式：一是參考引用模式，該模式主要應(yīng)用于標示空間數(shù)據(jù)，沒有編輯數(shù)據(jù)功能。二是定期更新模式，該模式采用文件級更新力度，通過導(dǎo)入文件進行更新。主要用于現(xiàn)勢性較弱、更新頻率較小和對具體業(yè)務(wù)涉及不大的空間數(shù)據(jù)。三是實時更新模式，該模式是系統(tǒng)數(shù)據(jù)更新的關(guān)鍵部分。針對涉及具體業(yè)務(wù)、現(xiàn)勢性較強的空間數(shù)據(jù)進行更新。在該模式下，數(shù)據(jù)更新引擎對測繪平臺更新的空間數(shù)據(jù)進行實時入庫更新。每次更新都需依照數(shù)據(jù)管理規(guī)范進行，避免隨意性。結(jié)束語

具有上述優(yōu)勢技術(shù)的面向測繪生產(chǎn)的多引擎驅(qū)動GIS一體化更新系統(tǒng)，在實際工作中較為充分地實現(xiàn)了測繪生產(chǎn)和GIS應(yīng)用間的無縫集成，該集成模式通過數(shù)據(jù)冗余技術(shù)，構(gòu)建了以GIS為核心的存儲體系，而對象粒度級的測繪數(shù)據(jù)和GIS數(shù)據(jù)的空間關(guān)聯(lián)工作，則交由商業(yè)測繪單位通過二次開發(fā)實現(xiàn)。同時，該系統(tǒng)通過開放式的GIS引擎接口更新技術(shù)實現(xiàn)不同GIS平臺數(shù)據(jù)庫間的信息實時同步更新，證明了數(shù)據(jù)測繪生產(chǎn)和GIS一體化集成理論的可行性與可靠性。

參考文獻

[1]鄧美容，王曉娟，等.房產(chǎn)測繪GIS的研究與應(yīng)用[J].電腦知識與技術(shù)，2009，5（11）：2873-2874.

第五篇：企業(yè)數(shù)據(jù)論文

企業(yè)管理離不開大數(shù)據(jù)的應(yīng)用，以下是小編收集的相關(guān)論文，僅供大家閱讀參考!

一、培養(yǎng)大數(shù)據(jù)高端人才

大數(shù)據(jù)管理與大數(shù)據(jù)應(yīng)用都離不開大數(shù)據(jù)技術(shù)，但更離不開大數(shù)據(jù)人才。沒有人才，再先進的設(shè)備只能是“豪華擺設(shè)”;沒有人才，再先進的技術(shù)也只能是“紙上談兵”。因此，推進大數(shù)據(jù)管理，除了需要培養(yǎng)一大批優(yōu)秀的IT人才外，還迫切需要培養(yǎng)一大批大數(shù)據(jù)人才———數(shù)據(jù)管理師、數(shù)據(jù)分析師，造就一批數(shù)據(jù)科學(xué)家等高端人才。因為只有他們才能駕輕就熟處理海量的信息，并從中挖掘出“數(shù)據(jù)財富”。此外，面對全體員工傳播大數(shù)據(jù)知識，普及大數(shù)據(jù)技術(shù)，培訓(xùn)大數(shù)據(jù)技能，奠定推進大數(shù)據(jù)管理的群眾基礎(chǔ)和技術(shù)基礎(chǔ)，同樣也是一項長期而艱巨的任務(wù)。

二、構(gòu)筑大數(shù)據(jù)管理“一站式”工程，建設(shè)“大數(shù)據(jù)管理智庫”新平臺

1．加強內(nèi)、外部數(shù)據(jù)的“一站式”管理。對企業(yè)來說，數(shù)據(jù)無處不在，無時不有，究其來源，無非企業(yè)內(nèi)部和外部兩個渠道。內(nèi)部數(shù)據(jù)的活水源頭是各單位、各部門、各專業(yè)的統(tǒng)計報表提供的數(shù)據(jù);外部數(shù)據(jù)一方面是國家管理部門、行業(yè)管理部門、權(quán)威機構(gòu)等發(fā)布的統(tǒng)計數(shù)據(jù)，另一方面是來自互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、各種傳感器等信息感知和采集終端采集的數(shù)據(jù)。這些數(shù)據(jù)，日積月累，最終“百川歸?！?，匯成大數(shù)據(jù)的海洋。大數(shù)據(jù)時代，企業(yè)通過建立“大數(shù)據(jù)管理智庫”，打破渠道的邊界，把不同來源的數(shù)據(jù)整合在一起，實施一站式管理，讓數(shù)據(jù)時時刻刻為企業(yè)提供服務(wù)。

2．注重數(shù)據(jù)挖掘環(huán)節(jié)的“一站式”管理。企業(yè)數(shù)據(jù)挖掘過程也是數(shù)據(jù)發(fā)現(xiàn)和梳理的過程，其有4個重要環(huán)節(jié):采集、存儲、分析、預(yù)測。企業(yè)建立了“大數(shù)據(jù)管理智庫”，對這4個環(huán)節(jié)實施一站式管理，可以大大“提純”數(shù)據(jù)價值。首先是盡可能采集異源甚至是異構(gòu)的數(shù)據(jù)，去偽存真，多角度驗證數(shù)據(jù)的全面性和可信性。其次是要用到冗余配置、分布化和云計算技術(shù)，分類、過濾和去重，減少存儲量，同時加入便于檢索的標簽。第三是將高維數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進行語義分析，從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，導(dǎo)出可理解的內(nèi)容。第四是將數(shù)據(jù)分析后預(yù)測出的結(jié)論應(yīng)用到企業(yè)中去。

3．突出價值鏈上數(shù)據(jù)的“一站式”管理。企業(yè)價值鏈可以分為基本增值活動和輔助性增值活動兩大部分。基本增值活動，即一般意義上的“生產(chǎn)經(jīng)營環(huán)節(jié)”，如材料供應(yīng)、成品開發(fā)、生產(chǎn)運行、成品儲運、市場營銷和售后服務(wù)。這些活動都與商品實體的加工流轉(zhuǎn)直接相關(guān);輔助性增值活動，包括組織建設(shè)、人事管理、技術(shù)開發(fā)和采購管理。價值鏈的每一個環(huán)節(jié)都有相伴而生的數(shù)據(jù)。過去這些數(shù)據(jù)處在分散狀態(tài)。大數(shù)據(jù)時代，企業(yè)通過“大數(shù)據(jù)管理智庫”平臺，對這些數(shù)據(jù)實施一站式管理，有利于每一個環(huán)節(jié)的價值再創(chuàng)造和價值鏈的增值。

三、構(gòu)筑大數(shù)據(jù)管理“一體化”工程，打造“大數(shù)據(jù)管理融合”新生態(tài)

1．大數(shù)據(jù)與云計算技術(shù)融合。大數(shù)據(jù)作為非結(jié)構(gòu)化和電子化的海量數(shù)據(jù)，數(shù)量之大、類型之多、變化之快，前所未有。以云計算為代表的計算技術(shù)的不斷進步，為我們提供了強大的計算能力，從而構(gòu)建起了一個與物質(zhì)世界相平行的數(shù)字世界。國有企業(yè)推進大數(shù)據(jù)管理，就必須建立和完善自己的云計算系統(tǒng)，否則，就是“巧婦難為無米之炊”。

2．大數(shù)據(jù)與市場調(diào)研的融合。大數(shù)據(jù)時代，沒有數(shù)據(jù)是不能的，但數(shù)據(jù)也不是萬能的。比如:數(shù)據(jù)不懂社交、不知道背景;數(shù)據(jù)不能反映客戶的心理;數(shù)據(jù)分析擅長的是“量”而非“質(zhì)”等。因此，國有企業(yè)在推進大數(shù)據(jù)管理時，如果將傳統(tǒng)的市場調(diào)研智慧與大數(shù)據(jù)的巨大威力相結(jié)合，可能會在定性分析和定量分析方面產(chǎn)生巨大的優(yōu)勢。尤其在背景分析、心理分析方面，可以彌補大數(shù)據(jù)的短板。大數(shù)據(jù)時代，沒有調(diào)查研究、沒有大數(shù)據(jù)，就沒有發(fā)言權(quán)，就沒有決策權(quán)。

3．大數(shù)據(jù)與信息化建設(shè)融合。大數(shù)據(jù)發(fā)軔于信息化建設(shè)，伴隨著信息化建設(shè)的進程同步成長，但同時又遵循自身發(fā)展的規(guī)律，自成一體。改革開放以來，國有企業(yè)在信息化建設(shè)方面邁出了堅實的步伐，這為推進大數(shù)據(jù)管理奠定了扎實的基礎(chǔ)和一個高的起點。大數(shù)據(jù)時代，可以真正實現(xiàn)大數(shù)據(jù)管理與信息化“一體化建設(shè)”，相互促進，共同發(fā)展。

4．大數(shù)據(jù)與電子商務(wù)的融合。大數(shù)據(jù)與電子商務(wù)是“前店后廠”的關(guān)系。電子商務(wù)在前臺直接面對客戶，大數(shù)據(jù)則在后臺充當“幕后英雄”，默默無聞為前臺提供強大支撐和優(yōu)質(zhì)服務(wù)。電子商務(wù)作為一個新的商業(yè)模式從真正的興起、發(fā)展，也僅僅只有短短十多年的時間。實踐證明，電子商務(wù)相較傳統(tǒng)的鋼鐵貿(mào)易交易，能夠極大節(jié)約時間、人力、資金和渠道成本，能夠更快速、更深入、更廣泛的開發(fā)消費市場，同時，也能夠密切聯(lián)系供應(yīng)商、采購商、服務(wù)商等產(chǎn)業(yè)鏈上的各個環(huán)節(jié)，不斷拓展企業(yè)的發(fā)展空間。當前，由于制約鋼鐵企業(yè)電子商務(wù)發(fā)展的因素還很多，因此，鋼鐵企業(yè)電子商務(wù)發(fā)展非常緩慢，這顯然落后于時代前進的步伐。相信在大數(shù)據(jù)時代，電子商務(wù)將煥發(fā)出勃勃生機，成為鋼鐵企業(yè)獨領(lǐng)風(fēng)騷的新的商業(yè)模式。