第一篇：資源數(shù)據(jù)采集技術(shù)方案

資源數(shù)據(jù)采集

技術(shù)方案

公司名稱 2011年7月

二O一一年七月

目錄

第 1 部分 概述...............................................................................................................................3

1.1 項目概況............................................................................................................................3 1.2 系統(tǒng)建設(shè)目標....................................................................................................................3 1.3 建設(shè)的原則........................................................................................................................4

1.3.1 建設(shè)原則.................................................................................................................4 1.4 參考資料和標準................................................................................................................5 第 2 部分 系統(tǒng)總體框架與技術(shù)路線...........................................................................................5

2.1 系統(tǒng)應(yīng)用架構(gòu)....................................................................................................................6 2.2 系統(tǒng)層次架構(gòu)....................................................................................................................6 2.3 關(guān)鍵技術(shù)與路線................................................................................................................7 第 3 部分 系統(tǒng)設(shè)計規(guī)范...............................................................................................................9 第 4 部分 系統(tǒng)詳細設(shè)計...............................................................................................................9

第 1 部分 概述

1.1 項目概況

Internet已經(jīng)發(fā)展成為當今世界上最大的信息庫和全球范圍內(nèi)傳播知識的主要渠道，站點遍布全球的巨大信息服務(wù)網(wǎng)，為用戶提供了一個極具價值的信息源。無論是個人的發(fā)展還是企業(yè)競爭力的提升都越來越多地依賴對網(wǎng)上信息資源的利用。

現(xiàn)在是信息時代，信息是一種重要的資源，它在人們的生活和工作中起著重要的作用。計算機和現(xiàn)代信息技術(shù)的迅速發(fā)展，使Internet成為人們傳遞信息的一個重要的橋梁。網(wǎng)絡(luò)的不斷發(fā)展，伴隨著大量信息的產(chǎn)生，如何在海量的信息源中查找搜集所需的信息資源成為了我們今后建設(shè)在線預(yù)訂類旅游網(wǎng)重要的組成部分。

因此，在當今高度信息化的社會里，信息的獲取和信息的及時性。而Web數(shù)據(jù)采集可以通過一系列方法，依據(jù)用戶興趣，自動搜取網(wǎng)上特定種類的信息，去除無關(guān)數(shù)據(jù)和垃圾數(shù)據(jù)，篩選虛假數(shù)據(jù)和遲滯數(shù)據(jù)，過濾重復(fù)數(shù)據(jù)。直接將信息按照用戶的要求呈現(xiàn)給用戶?？梢源蟠鬁p輕用戶的信息過載和信息迷失。

1.2 系統(tǒng)建設(shè)目標

在線預(yù)訂類旅游網(wǎng)是在線提供機票、酒店、旅游線路等旅游商品為主，涉及食、住、行、游、購、娛等多方面的綜合資訊信息、全方位的旅行信息和預(yù)訂服務(wù)的網(wǎng)站。

如果用戶要搜集這一類網(wǎng)站的相關(guān)數(shù)據(jù)，通常的做法是人工瀏覽網(wǎng)站，查看最近更新的信息。然后再將之復(fù)制粘貼到Excel文檔或已有資源系統(tǒng)中。這種做法不僅費時費力，而且在查找的過程中可能還會遺漏，數(shù)據(jù)轉(zhuǎn)移的過程中會出錯。針對這種情況，在線預(yù)訂類旅游網(wǎng)信息自動采集的系統(tǒng)可以實現(xiàn)數(shù)據(jù)采集的高效化和自動化。1.3 建設(shè)的原則 1.3.1 建設(shè)原則

由于在線預(yù)訂類旅游網(wǎng)的數(shù)據(jù)采集涉及的方面多、數(shù)據(jù)量大、采集源數(shù)據(jù)結(jié)構(gòu)多樣化的特點。因此，在進行項目建設(shè)的過程中，應(yīng)該遵循以下原則：

可擴充性

根據(jù)實際的要求，系統(tǒng)可被方便地載減和靈活的擴展，使系統(tǒng)能適應(yīng)變化和新情況?？梢詫崿F(xiàn)模塊級別的動態(tài)擴展，而且是運行時的。所謂運行時模塊的動態(tài)擴展，比如說你需要增加一些新的功能，你可以將新開發(fā)的類和文件按照Bundle進行組織，然后直接扔到運行時環(huán)境下，這些功能就可以用了。因此系統(tǒng)不會受技術(shù)改造而重新做出調(diào)整。

創(chuàng)新性

軟件的投資要考慮到今后的發(fā)展，不能使用落后的產(chǎn)品與技術(shù)，避免投資的浪費；在系統(tǒng)軟件選型、開發(fā)技術(shù)上，達到國內(nèi)外先進水平。

規(guī)范性和標準性

整個設(shè)計方案從網(wǎng)絡(luò)協(xié)議、操作系統(tǒng)到各個設(shè)計細節(jié)，應(yīng)該全部遵循通用的國際或行業(yè)標準，符合國家有關(guān)標準規(guī)范的。

低耦合性

采集系統(tǒng)與其它系統(tǒng)彼此間相對獨立，直接進行數(shù)據(jù)庫入庫、sql同步或者基于txt/xml的數(shù)據(jù)交換，保證整體系統(tǒng)的低耦合性。

高效性

在底層的技術(shù)實現(xiàn)上采用java語言，跨平臺，跨數(shù)據(jù)庫，運行效率卓越。

安全、穩(wěn)定、準確、及時性

采用先進的算法，采用多個子系統(tǒng)和工具組成一個安全、穩(wěn)定、準確、及時的解決方案。方案在總體設(shè)計上遵循穩(wěn)定、開放、可擴展、經(jīng)濟、安全的原則，從而使整個方案組成合理，技術(shù)先進，易于擴展，既能滿足當前的業(yè)務(wù)數(shù)據(jù)處理要求，又能符合長期發(fā)展的需要。易操作和易維護原則

整個系統(tǒng)易于維護，容易操作，易學，易用，完全通過WEB方式完成，降低維護的技術(shù)難度，也減少了人為隱患的發(fā)生。

1.4 參考資料和標準

主要參閱并依據(jù)以下一些參考資料及標準：

? 《中國項目管理知識體系》（C-PMBOK），2001.5

? GB/T 1526-1989《信息處理

數(shù)據(jù)流程圖、程序流程圖、系統(tǒng)流程圖、程序網(wǎng)絡(luò)圖、系統(tǒng)資源圖的文件編制符號及約定》 ? GB/T 8566-1995《信息技術(shù)

軟件生存期過程》 ? GB/T 8567-1988《計算機軟件產(chǎn)品開發(fā)文件編制指南》 ? GB/T 9385-1988《計算機軟件需求說明編制指南》 ? GB/T 13702-1992《計算機件分類與代碼》 ? GB/T 11457-1995《軟件工程術(shù)語》

第 2 部分 系統(tǒng)總體框架與技術(shù)路線

網(wǎng)絡(luò)信息資源采集系統(tǒng)是一套功能強大的網(wǎng)絡(luò)信息資源開發(fā)利用與整合系統(tǒng)，可用于定制跟蹤和監(jiān)控互聯(lián)網(wǎng)實時信息，建立可再利用的信息服務(wù)系統(tǒng)。能夠從各種網(wǎng)絡(luò)信息源，包括網(wǎng)頁、BLOG、論壇等采集用戶感興趣的特定信息，經(jīng)自動分類處理后,以多種形式提供給最終用戶使用。2.1 系統(tǒng)應(yīng)用架構(gòu)

數(shù)據(jù)流控制流采集應(yīng)用服務(wù)互聯(lián)網(wǎng)網(wǎng)絡(luò)蜘蛛數(shù)據(jù)分析網(wǎng)絡(luò)蜘蛛數(shù)據(jù)解析分組分析數(shù)據(jù)庫資源發(fā)布系統(tǒng)客戶端

? 網(wǎng)絡(luò)蜘蛛：按照指定規(guī)則抓取網(wǎng)站數(shù)據(jù)。

? 數(shù)據(jù)分析：分析從網(wǎng)絡(luò)蜘蛛來的數(shù)據(jù)，過濾掉我們不需要的信息。? 數(shù)據(jù)解析：根據(jù)指定資源格式(字段)的定義，進行數(shù)據(jù)庫字段級別的解析。? 分組分析：根據(jù)不同的網(wǎng)絡(luò)資源類型進行分類，并以多種存儲方式進行存儲。

2.2 系統(tǒng)層次架構(gòu)

瀏覽器網(wǎng)絡(luò)資源采集數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)導(dǎo)出數(shù)據(jù)發(fā)布網(wǎng)絡(luò)請求表現(xiàn)層應(yīng)用層采集監(jiān)控數(shù)據(jù)分析消息通知登錄驗證數(shù)據(jù)處理任務(wù)計劃常用腳本庫認證碼識別WEB服務(wù)器關(guān)系數(shù)據(jù)應(yīng)用服務(wù)器規(guī)范接口其他圖片視頻數(shù)據(jù)支撐層數(shù)據(jù)層

文本文件數(shù)據(jù)整個系統(tǒng)分為四層，分別為：

? 數(shù)據(jù)層：數(shù)據(jù)層負責存儲抓取來的各種信息及數(shù)據(jù)，這里面包括網(wǎng)頁、文檔、關(guān)系型數(shù)據(jù)、多媒體數(shù)據(jù)等。? 支撐層：支撐層提供了關(guān)鍵的硬、軟件支撐系統(tǒng)，包括應(yīng)用服務(wù)器、WEB服務(wù)器、規(guī)范接口等規(guī)范支撐系統(tǒng)。

? 應(yīng)用層：在應(yīng)用層主要提供網(wǎng)絡(luò)資源采集、數(shù)據(jù)轉(zhuǎn)換、分析、處理、導(dǎo)出、發(fā)布、采集監(jiān)控、消息通知、登錄驗證、任務(wù)計劃、認證碼識別等服務(wù)。? 表現(xiàn)層：表現(xiàn)層通過瀏覽器等方式，為用戶提供多樣化的信息服務(wù)。

2.3 關(guān)鍵技術(shù)與路線

為了充分滿足本項目的建設(shè)：我們采用先進、主流、可靠、實用、性價比好的三層架構(gòu)體系，充分考慮今后縱向、橫向擴張能力。采用構(gòu)件化和面向?qū)ο蠹夹g(shù)，使系統(tǒng)具有靈活的擴展性和良好的移植性。

2.3.1 J2EE規(guī)范體系

從軟件層次上看，我們采用了典型的J2EE三層架構(gòu)體系，即應(yīng)用—支撐—數(shù)據(jù)三層。簡單地說，J2EE（Java[tm] 2 Platform Enterprise Edition）是一個標準中間件體系結(jié)構(gòu)，旨在簡化和規(guī)范多層分布式應(yīng)用系統(tǒng)的開發(fā)和部署，有了它，開發(fā)者只需要集中精力編寫代碼來表達應(yīng)用的商業(yè)邏輯和表示邏輯，至于其他系統(tǒng)問題，如內(nèi)存管理，多線程，資源分布和垃圾收集等，都將由J2EE自動完成。

J2EE已經(jīng)被證明是一個穩(wěn)定的、可擴展的、成熟的平臺，在國內(nèi)外擁有眾多成功的應(yīng)用實例。J2EE 應(yīng)用服務(wù)器（Application Server）采用目前國際最先進的開發(fā)理念、擁有許多適合基于Internet應(yīng)用需求的特點：

? 三層結(jié)構(gòu)體系——最適合Internet環(huán)境，可以使系統(tǒng)有很強的可擴展性和可管理性。

? 面向?qū)ο?、組件化設(shè)計——2EE是一種組件技術(shù)，已完成的模塊能方便的移植到其它地方，可以提高開發(fā)速度，降低開發(fā)成本。

? 基于JAVA完全跨平臺特性——與平臺無關(guān)，適應(yīng)Internet需要，并能得到大多數(shù)廠商支持，用戶可根據(jù)需要選擇合適的服務(wù)器硬件和數(shù)據(jù)庫。并且如果需要更換系統(tǒng)平臺時，J2EE也能方便的進行移植。

把J2EE三層架構(gòu)軟件體系引用到資源采集系統(tǒng)，將大大提高系統(tǒng)的可移植性、可伸縮性和可擴展性。

2.3.2 XML技術(shù)

XML（eXtensible Markup Language，可擴展標記語言），是當前最熱門的網(wǎng)絡(luò)技術(shù)之一，被稱為“第二代Web語言”、“下一代網(wǎng)絡(luò)應(yīng)用的基石”。自它被提出以來，幾乎得到了業(yè)界所有大公司的支持。XML具有卓越的性能，它具有四大特點：

? 優(yōu)良的數(shù)據(jù)存儲格式 ? 可擴展性 ? 高度結(jié)構(gòu)化 ? 方便的網(wǎng)絡(luò)傳輸

以XML技術(shù)作為支持，為用戶自定義應(yīng)用界面和業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)，并將其與底層數(shù)據(jù)庫定義格式、界面標準輸入、輸出的接口轉(zhuǎn)換作了實現(xiàn)，可實現(xiàn)分布式、異構(gòu)應(yīng)用系統(tǒng)之間的數(shù)據(jù)交換。

我們將在本項目中主要以XML為存儲方式，方便擴展和數(shù)據(jù)分析。

2.3.3 WEB2.0技術(shù)

Web2.0，是相對Web1.0（2003年以前的互聯(lián)網(wǎng)模式）的新的一類互聯(lián)網(wǎng)應(yīng)用的統(tǒng)稱，是一次從核心內(nèi)容到外部應(yīng)用的革命，是依據(jù)“六度分隔”(注：由美國哈佛大學社會心理學教授斯坦利·米爾格蘭姆發(fā)現(xiàn)的，你和任何一個陌生人之間所間隔的人不會超過六個，也就是說，最多通過六個人你就能夠認識任何一個陌生人。)、XML、AJAX等新理論和技術(shù)實現(xiàn)的互聯(lián)網(wǎng)新一代模式。由Web1.0單純通過網(wǎng)絡(luò)瀏覽器瀏覽html網(wǎng)頁模式向內(nèi)容更豐富、聯(lián)系性更強、工具性更強的Web2.0互聯(lián)網(wǎng)模式的發(fā)展已經(jīng)成為互聯(lián)網(wǎng)新的發(fā)展趨勢。Web1.0到Web2.0的轉(zhuǎn)變，具體的說，從模式上是單純的“讀”向“寫”、“共同建設(shè)”發(fā)展；由被動地接收互聯(lián)網(wǎng)信息向主動創(chuàng)造網(wǎng)絡(luò)信息邁進。運行機制上，由“Client Server”向“Web Services”轉(zhuǎn)變；作者由程序員等專業(yè)人士向全部普通用戶發(fā)展；應(yīng)用上由初級的“滑稽”的應(yīng)用向全面大量應(yīng)用發(fā)展。采用創(chuàng)新的Ajax技術(shù)，同等網(wǎng)絡(luò)環(huán)境下，頁面響應(yīng)時間最高減少90％。

2.3.4 系統(tǒng)集成API XML文檔結(jié)構(gòu)在很多方面可以方便地反映對象的結(jié)構(gòu)，這也是其適合面向?qū)ο蟮能浖夹g(shù)的一個關(guān)鍵點。使用XML對數(shù)據(jù)源的數(shù)據(jù)進行處理，它起著接口層或者封裝的作用，這樣不同的應(yīng)用程序之間，不同的操作系統(tǒng)之間，不同的數(shù)據(jù)庫之間都可以交換數(shù)據(jù)。使用XML作為數(shù)據(jù)交換工具還可以解決異構(gòu)數(shù)據(jù)庫之間的集成。

對本項目中涉及到的數(shù)據(jù)采集、轉(zhuǎn)換、分析、處理等問題，我們將開發(fā)專用的數(shù)據(jù)接口，采用XML技術(shù)作為數(shù)據(jù)交換的頁面描述規(guī)范。

XStream是一個Java和XML相互轉(zhuǎn)換的工具。使用非常的簡單，并且可以自定義轉(zhuǎn)換的過程，但是這個組件僅能做的就是這些最基本的工作，有了這個組件，我們可以不用考慮具體一個Java對象和XML之間問題了。

第 3 部分 系統(tǒng)設(shè)計規(guī)范

第 4 部分 系統(tǒng)詳細設(shè)計

4.1 應(yīng)用功能設(shè)計 4.1.1 資源采集

我們可以使用采集，對網(wǎng)絡(luò)上的各種資源進行挖掘。a)采集工程：采集工作的詳細設(shè)置文件，包含了要采集的資源鏈接。

1.精確：根據(jù)指定資源格式(字段)的定義，進行數(shù)據(jù)庫字段級別的采集。2.蜘蛛/爬蟲：根據(jù)指定的文件匹配表達式，自動對指定網(wǎng)站的資源進行全面分析和采集。

b)字段：各種資源的最小單位，譬如您要采集某個網(wǎng)站的多個帖子，那么每個帖子可能包含以下字段：作者、標題、日期、內(nèi)容等。

c)鏈頁：一些帖子在多頁面里的，這種情況下您可以為帖子的內(nèi)容字段設(shè)置鏈頁屬性，自動把多個分頁的內(nèi)容合并到內(nèi)容字段。

d)追蹤：一些資源是要從列表頁面中，通過點擊多個頁面才顯示的，這種情況下，您可以為內(nèi)容自動設(shè)置跟蹤屬性，自動獲取最終的內(nèi)容。

e)登錄驗證：一些資源網(wǎng)站需要您登錄后才可以訪問內(nèi)容，這種情況下下，您可以為整個網(wǎng)站、每個鏈接甚至每個資源單獨定義登錄驗證以滿足具體需求。1.參數(shù)：這是模擬登錄需要的參數(shù)，譬如用戶名、密碼等。

2.登錄采集工程：一些網(wǎng)站的登錄認證相當復(fù)雜，往往會采用一些動態(tài)參數(shù)/值，如果用固定的參數(shù)是無法滿足登錄需求的，這個時候，您可以使用采集工程來自動獲取登錄參數(shù)的值。

3.登錄腳本：如果即便使用采集工程仍然無法滿足一些特別網(wǎng)站的登錄需求，您可以使用自定義的登錄腳本來實現(xiàn)相應(yīng)的登錄認證。

f)數(shù)據(jù)處理：

1.臟字過濾：對符合國家規(guī)定的敏感字符的過濾，還可以自定義要過濾的字符，以確保采集到的內(nèi)容符合相關(guān)法律法規(guī)。

2.垃圾內(nèi)容過濾：使用貝葉斯概率模型對已采集的內(nèi)容自動分析判定是否為垃圾內(nèi)容，您可以自行對各種垃圾內(nèi)容進行過濾。

3.內(nèi)容嗅探：對于Flash/Silverlight播放器，會在頁面加載之后才從后臺獲取實際的文件(.FLV/MP3/.XAP等)，您可以使用內(nèi)容嗅探實現(xiàn)對這些實際內(nèi)容的采集。

4.關(guān)鍵字/標簽(Tag)自動分析：利用全文分詞對采集的內(nèi)容進行分析，自動獲取內(nèi)容的關(guān)鍵字/標簽列表。

5.文件格式批量轉(zhuǎn)換：對大量文件的快速轉(zhuǎn)換，改變圖片或視頻的大小/添加水印/改變格式，抽取壓縮文件，Office系列文檔轉(zhuǎn)換為HTML，以多種方式修改文件名稱和內(nèi)容，修改圖片文件屬性，文本排版，文本混淆，文本簡繁大小寫編碼互轉(zhuǎn)，文本切分合并，網(wǎng)頁文本互轉(zhuǎn)，不良圖片過濾，數(shù)據(jù)轉(zhuǎn)換等。

g)圖片轉(zhuǎn)換：改變圖片大小和格式，添加水印，支持jpg、bmp、png、gif、icl、jpeg等。

h)壓縮文檔：抽取/轉(zhuǎn)換/生成壓縮文檔，支持zip、rar等。i)j)Office文檔支持：支持doc、docx、xls、xlsx、xml、pdf、rtf等。

文本排版：段落智能修正、去掉干擾符、修正段落首尾空格、修正標點符號，支持txt,htm,eml。

k)文本切分合并：按大小、行數(shù)或段落數(shù)剪切文本內(nèi)容、和并內(nèi)容，支持txt,htm,eml。l)不良圖片過濾：識別并過濾不良圖片，支持所有圖片。

m)數(shù)據(jù)轉(zhuǎn)換：使用自定義腳本轉(zhuǎn)換數(shù)據(jù)和文件，支持采集工程、各種數(shù)據(jù)庫和各種文件。n)快速下載：

1.鏈接分析：復(fù)制要下載各種資源(如圖片等)的鏈接或網(wǎng)頁內(nèi)容，全自動分析并下載到本地磁盤。

2.嗅探：復(fù)制視頻地址或內(nèi)容，全自動分析并下載視頻，特有嗅探功能，支持所有視頻網(wǎng)站。

o)通過多線程并行采集，加快采集速度。

4.1.2 數(shù)據(jù)導(dǎo)出

a)導(dǎo)出數(shù)據(jù)庫：把采集后的數(shù)據(jù)導(dǎo)出到各大數(shù)據(jù)庫/數(shù)據(jù)文件中。b)以Excel、XML等文件形式導(dǎo)出。c)可以把文件導(dǎo)出到FTP。d)自定義導(dǎo)出腳本。

4.1.3 資源信息發(fā)布

a)采集后的數(shù)據(jù)：可以把采集后的數(shù)據(jù)，發(fā)布到指定網(wǎng)站或系統(tǒng)。b)網(wǎng)絡(luò)請求：可以自定義請求，譬如網(wǎng)絡(luò)投票等。4.1.4 任務(wù)計劃

可以指定采集、轉(zhuǎn)換、導(dǎo)出、發(fā)布、請求等各種任務(wù)定時執(zhí)行。

a)可啟用多個線程來完成同一個采集任務(wù)。

b)可自由設(shè)定采集網(wǎng)頁數(shù)和暫停的時間，此功能主要解決采集過快而被屏閉或禁止訪問等問題。

c)可以在采集當中隨身暫停、啟動或停止任務(wù)。

4.1.5 消息通知

能夠自動通過多種方式（郵件、系統(tǒng)日志、系統(tǒng)聲音等）通知采集發(fā)布情況。

a)在各種任務(wù)完成之后，如采集，發(fā)布，計劃任務(wù)等。b)監(jiān)控指定網(wǎng)站并在數(shù)據(jù)改變時。

4.1.6 監(jiān)控設(shè)置

當網(wǎng)絡(luò)資源更新或采集到新的資源信息時，通過各種通知方式，隨時提醒。

4.1.7 腳本定義

腳本是對各種功能的自定義擴展，支持JavaScript語言編寫。

a)采集腳本：在采集工程中，如果遇到一些特殊的資源，正常的采集方式無法勝任的時候，可以通過腳本來進行自定義的采集。b)發(fā)布腳本：可以針對特殊的網(wǎng)站進行發(fā)送請求。

c)常用腳本：系統(tǒng)內(nèi)置的常用的腳本，如對專用鏈的解釋/編碼、條形碼的生成、敏感字符的過濾、中文分詞/Tag識別、計算數(shù)學表達式、RSS解釋與生成、消息通知等。4.1.8 認證碼識別

系統(tǒng)自動識別各種登錄頁面的認證碼、驗證碼等。

a)默認識別：全自動識別各種常見的認證碼。b)智能識別：自定義識別各種特殊的認證碼。

4.1.9 系統(tǒng)擴展

系統(tǒng)提供以下豐富的程序接口，方便系統(tǒng)進行二次開發(fā)。

a)消息通知：編寫各種特定的消息通知方式以滿足需求。b)中文分詞/Tag識別。

c)數(shù)據(jù)轉(zhuǎn)換：轉(zhuǎn)換各種采集后的數(shù)據(jù)到系統(tǒng)當中。

d)功能擴展：對各種功能(采集、發(fā)布、腳本、消息通知、計劃任務(wù)等)進行自定義設(shè)置并應(yīng)用到實際的系統(tǒng)運行中。

4.1.10 任務(wù)管理

可以對采集、發(fā)布、請求、計劃任務(wù)、腳本、消息通知等各種任務(wù)進行全面管理。

4.1.11 地圖周邊資源采集

可根據(jù)采集到的數(shù)據(jù)在地圖上顯示，以該點為中心，在指定的搜索范圍內(nèi)搜索其周邊的所有資源信息，并采集到系統(tǒng)當中。

以酒店為例：以酒店為中心的5公里范圍內(nèi)，在這范圍內(nèi)的所有酒店、旅行社、小吃、旅游景點、購物場所、公交信息等都可以搜索到并采集下來。

第二篇：遙感應(yīng)用方面技術(shù)質(zhì)量匯報-數(shù)據(jù)采集

生產(chǎn)質(zhì)量和技術(shù)工作會議匯報材料

黑龍江第三測繪工程院 2015年1月26日

黑龍江第三測繪工程院生產(chǎn)質(zhì)量和技術(shù)工作會議匯報材料

1.資

三、高分一號等遙感影像處理及應(yīng)用

為實現(xiàn)大范圍海量遙感數(shù)據(jù)的快速處理，我院應(yīng)用GXL、COLORMAPPING等大型軟件，硬件上購置刀片機，搭建局域萬兆網(wǎng)，使用48核工作站采用分布集群式和單機作業(yè)結(jié)合的方式，在基礎(chǔ)資料方面，除了根據(jù)我院生產(chǎn)項目積攢的控制和DOM資料外，我院一直較為重視在2012年完成的基于SPOT影像建成的黑龍江省控制點影像庫（此項目我院隨國家局衛(wèi)星中心一起獲得測繪科技進步獎特等獎）。

基于軟硬件配合和傳統(tǒng)DOM、DEM制作的流程，并且結(jié)合控制點影像庫，研究和優(yōu)化了海量遙感數(shù)據(jù)快速處理技術(shù)流程和方法，在區(qū)域網(wǎng)平差、自動匹配DSM、影像糾正、配準、融合、調(diào)色、裁切等工序上實現(xiàn)自動化程度高的作業(yè)模式，減少人工干預(yù)，實現(xiàn)快速、高效的遙感數(shù)據(jù)處理流程，完成了多項遙感應(yīng)用項目。

在介紹具體的生產(chǎn)項目前，要說明的四點，一是在DOM和DSM的制作上，因為我院在制作“全國一版圖”的項目時，較為注重對原始資料的收集（包括下視和立體相對），所以在處理大范圍海量遙感數(shù)據(jù)時，我院采取在原有DEM和資三相對新匹配的DSM數(shù)據(jù)相結(jié)合的方式，保證地形信息的準確性。二是在我院具備擁有較新較全的影像資料的基礎(chǔ)上，注意收集各個分環(huán)節(jié)的數(shù)據(jù)成果，以備應(yīng)用到應(yīng)急保障的工作中，當出現(xiàn)應(yīng)急需求時，我們能夠根據(jù)要求按需提供高分、資三等衛(wèi)星傳感器的遙感數(shù)據(jù)成果，在此基礎(chǔ)上，我院考慮在條件允許的情況下，引入無人機及處理軟件，增強應(yīng)急測繪的能力。三是在精度保障上，無控時，以資三為基礎(chǔ)資料時，平面中誤差可達到8米左右（完全滿足1：25000的精度需求），高程中誤差在考慮加入似大地水準面差值改正，平地高程精度可達到1米；丘陵地高程精度可達到2米，完全滿足應(yīng)急需求。有控時平面中誤差可達到2.7米左右（滿足1：10000精度指標），有控時高程可達到0.6米左右（滿足丘陵地、山地1：10000的精度指標）。四是在分析資源三號衛(wèi)星數(shù)據(jù)精度后，其可應(yīng)用于一些不可到達區(qū)或者不利于開展航攝地區(qū)的地貌、地形要素的獲取，而且在實際外業(yè)控制點的需求上，一景資三影像的范圍可能只需要一個或兩個外業(yè)控制點，大大減少了外業(yè)工作量，基于資三的這些特點，可應(yīng)用到邊境測繪等類型的項目。

基于衛(wèi)星傳感器的遙感應(yīng)用可應(yīng)用于邊境測繪。具體的項目完成：

首先是利用衛(wèi)星自帶參數(shù)類的（無控）

（1）天地圖產(chǎn)業(yè)化項目，我院完成新疆、黑龍江、吉林、遼寧、內(nèi)蒙古東部近280萬平方公里的資源三號公眾服務(wù)正射影像的制作，今年7月15日項目順利通過驗收。今年我們又在去年五個省的基礎(chǔ)上承接了臺灣、海南、廣西三個省的影像制作任務(wù)，并且承接了新的“全國一版圖”任務(wù)。

（2）長江水利委員會項目，完成長江流域前后三期共7.2萬平方公里，資三和高分一號數(shù)據(jù)源的DOM制作。

（3）海河水利委員會項目，完成河南、河北、山西三省交界處6600平方公里資三數(shù)據(jù)源的DOM、DEM制作。

（4）廣州電力項目，完成西藏瓊結(jié)縣2500平方公里DSM、DOM制作以及三維展示。

（5）完成陜西2000多平方千米的DSM、DOM制作。

（6）完成珠峰主峰地區(qū)1萬平方公里范圍三維展示任務(wù)，云南大理地區(qū)6000平方公里三維展示任務(wù)，陜西全境的DOM、DEM修改、接邊和裁切。

（7）幾個國外或者邊境地區(qū)小范圍DOM、DSM制作。第二是基于控制點影像庫完成的項目

（1）武漢國土督察局項目，完成鄂、湘、黔三省共1.1萬平方公里的DOM制作。

（2）黃河水利委員會項目，完成黃河流域兩期共8萬平方公里DOM數(shù)據(jù)制作。

（3）雙城規(guī)劃局項目，完成雙城市轄區(qū)2景QB影像的快速制作； 第三是比較突出的其它的遙感應(yīng)用項目：

2014年6月，我院協(xié)助合作單位做了一個路網(wǎng)項目的實驗，9月以路網(wǎng)實驗為基礎(chǔ)，我院承擔來自國家審計署的全國重點城市閑置用地采集任務(wù)，完成全國220個城市的閑置用地采集工作，從工作區(qū)搭建、技術(shù)路線研究、網(wǎng)絡(luò)機頂盒調(diào)試，人員培訓(xùn)，到最后的成果提交，一共20多天的時間。這些項目均順利提交，成果質(zhì)量也得到甲方好評。2.“機頂盒”的研發(fā)與應(yīng)用

受路網(wǎng)實驗和重點城市閑置用地采集項目啟發(fā)，從11月開始，我院開始研制“便攜式影像機頂盒”，利用瓦片技術(shù)形成影像切片，通過自主研發(fā)，實現(xiàn)影像的發(fā)布與快速更新，完成了“多源遙感影像輔助系統(tǒng)”的研發(fā)。目前已經(jīng)應(yīng)用到我院外業(yè)中隊和檢查科，實現(xiàn)了影像的便攜式快速訪問和統(tǒng)一管理，使用效果良好，提高了我院整體的生產(chǎn)工作效率，也解決了整體質(zhì)量控制的關(guān)鍵問題；同時該系統(tǒng)也是我院信息化測繪體系建設(shè)的一部分，計劃通過進一步研發(fā)，實現(xiàn)“電子調(diào)繪”和“電子控制”，甚至“網(wǎng)絡(luò)化作業(yè)”等工作模式；接下來也計劃通過進一步的開發(fā)推廣，獲得更廣泛的應(yīng)用和經(jīng)濟價值。3.引入“適宜質(zhì)量”的概念

現(xiàn)階段，市場上遙感應(yīng)用方面項目的需求，更多的是側(cè)重實際應(yīng)用效果，并且生產(chǎn)周期較短。在這些項目的完成過程中我院按照甲方的實際要求，制定項目生產(chǎn)方案提高生產(chǎn)效率，縮短工期，實現(xiàn)成果的快速提交，成果提交后均順利通過驗收并獲得甲方的好評。通過這種項目完成方式，也逐漸摸索出了應(yīng)對不同需求下的遙感數(shù)據(jù)生產(chǎn)的流程、質(zhì)檢方式及管理模式，能夠更好的應(yīng)對測繪應(yīng)急服務(wù)需求。

4.針對地理國、省情項目生產(chǎn)的具體需求、有針對性的進行軟件開發(fā)工作

在地里國情、省情生產(chǎn)中開發(fā)編寫了部分程序?？偟膩碚f可分為以下兩個大類：

（1）國情數(shù)據(jù)批處理程序集

地理國情普查項目覆蓋面積廣，涉及的行政單元較多，生產(chǎn)作業(yè)過程中需要對數(shù)據(jù)庫進行拼接、拆分等一些處理。由于數(shù)據(jù)處理量大、人為生產(chǎn)耗時長。針對此問題，我院開發(fā)了“國情數(shù)據(jù)批處理程序集”，主要包含數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)處理、數(shù)據(jù)檢查、數(shù)據(jù)拼接、數(shù)據(jù)分離等功能模塊。該程序的每個功能模塊在具體的生產(chǎn)中又都經(jīng)過了進一步優(yōu)化和調(diào)整，最終程序穩(wěn)定可靠。例如：“數(shù)據(jù)轉(zhuǎn)換”模塊加入了GDB數(shù)據(jù)與MDB數(shù)據(jù)相互批量轉(zhuǎn)換的兩種方式，“數(shù)據(jù)處理”模塊，針對國情數(shù)據(jù)屬性賦默認值、賦空值、賦特定值進行優(yōu)化；“數(shù)據(jù)拼接”模塊更新了有關(guān)MDB與GDB數(shù)據(jù)混合合并的方法。在完善國情數(shù)據(jù)批處理程序集的基礎(chǔ)上，又編寫了一些輔助功能程序，主要有查找文件、數(shù)據(jù)庫管理系統(tǒng)、生成錯誤檢查記錄、生成time文件等。

查找文件程序主要是將選擇路徑下的相同后綴名的文件按文件名和含完整路徑的方式提取出來，生成TXT文件，該功能可以對路徑下的子文件夾進行深度搜索，方便對數(shù)據(jù)進行整合、查缺。數(shù)據(jù)管理系統(tǒng)，通過數(shù)據(jù)借記記錄、歸還記錄、數(shù)據(jù)狀態(tài)等信息監(jiān)測達到數(shù)據(jù)管理的一致性。（2）樣本管理程序集

由于省情樣本數(shù)據(jù)采集量大；照片、樣本庫出現(xiàn)的問題較多；為了控制遙感解譯樣本數(shù)據(jù)的質(zhì)量和外業(yè)實際需求，開發(fā)了樣本管理程序集。

其實現(xiàn)了對樣本庫中記錄進行逐條查看、修改、刪除、檢查操作；并集成了批量刪除、批量修改、合并樣本庫、樣本檢查等方便、實用的工具；該程序在樣本處理工序提高兩倍以上工作效率。

在實際工作中，隨著樣本量不斷增大、在樣本制作過程中出現(xiàn)的照片坐標、方位角偏移等問題越來越凸顯。對于此，又相繼開發(fā)了①通過矢量文件給對應(yīng)樣本賦值程序；②根據(jù)矢量文件的記錄提取樣本庫數(shù)據(jù)的分離程序；③根據(jù)展點文件和鑲嵌線景號的關(guān)系挑選每個樣本對應(yīng)所裁影像的影像挑選程序；④根據(jù)照片號、照片經(jīng)緯度、照片方位角批量改照片信息的照片修改程序。應(yīng)用上述些程序，并配合“交互式樣本處理”和“樣本批量加描述”等我院自己總結(jié)的方法，能有效的修改、編輯、檢查樣本相關(guān)項，在大量減少人工工作量的同時，避免了人為錯誤的出現(xiàn)，即保證了質(zhì)量，又提高了生產(chǎn)效率。

第三篇：視頻監(jiān)控和試驗室數(shù)據(jù)采集方案

視頻監(jiān)控和試驗室數(shù)據(jù)采集方案

2018年，集團公司在建項目11個，總里程1045公里，計劃總投資180多億，建設(shè)規(guī)模大、投資金額多、安全質(zhì)量風險高，工程項目安全質(zhì)量管理面臨復(fù)雜艱巨的任務(wù)，為及時準確的掌握工程項目的安全質(zhì)量情況，集成管理工程項目的動態(tài)信息，亟需實施“視頻監(jiān)控和試驗室數(shù)據(jù)采集”措施，實現(xiàn)項目的有效管理。

1.視頻監(jiān)控方案

1.1 創(chuàng)建目的

項目現(xiàn)場存在施工地點分散、工序復(fù)雜、人員流動頻繁等特點，無法單純依靠人員巡防和盯守管理工地，實施視頻監(jiān)控措施，可以有效解決項目管理人員移動辦公等要求，及時掌控施工現(xiàn)場的工程進度、安全管理和施工質(zhì)量等情況。1.2 創(chuàng)建原則

（1）充分考慮實際應(yīng)用的具體情況，用最優(yōu)的技術(shù)方案完成視頻監(jiān)控任務(wù)；

（2）保證圖像清晰，網(wǎng)絡(luò)信號傳輸準確可靠、播放流暢；（3）保證整個系統(tǒng)穩(wěn)定，視頻數(shù)據(jù)備份及時，控制可靠；（4）系統(tǒng)具有一定的擴展冗余，可隨時擴展和升級。1.3 方案總體構(gòu)架

1.4 監(jiān)控范圍 1.4.1試驗室操作監(jiān)控

對工地試驗室的土工室、力學室、瀝青室、瀝青混合料室、水泥室、水泥混凝土室、化學室等主要功能室安裝攝像頭，實時監(jiān)控相應(yīng)試驗的操作過程。

圖1 試驗室操作監(jiān)控

1.4.2重要場站監(jiān)控

對預(yù)制梁場、小型構(gòu)件預(yù)制場、拌和站、鋼筋加工場等重要場站安裝攝像頭，實時監(jiān)控場站的規(guī)范化管理。

圖2 重要場站監(jiān)控

1.4.3橋梁、隧道施工關(guān)鍵部位監(jiān)控

對大橋、特大橋的兩端、隧道洞口等部位安裝攝像頭，實時監(jiān)控施工流程，規(guī)范現(xiàn)場作業(yè)行為。

圖3 橋梁、隧道施工關(guān)鍵部位監(jiān)控

1.4.4重大危險源的監(jiān)控

對梁場龍門架、現(xiàn)澆梁支架、高墩施工等重大危險源的部位安裝攝像頭，實時監(jiān)控重大危險源的作業(yè)。

圖4 重大危險源的監(jiān)控

1.4.5隱蔽工程的監(jiān)控

對粉噴樁、攪拌樁等隱蔽工程，采用拍攝圖像或錄制視頻方式存儲，并體現(xiàn)錄制部位、樁號、時間等信息，48小時內(nèi)上傳至“建設(shè)工程管理系統(tǒng)”。1.4.6安全和技術(shù)交底

施工單位應(yīng)最少留存包含每天班前培訓(xùn)人員信息在內(nèi)的照片兩張和不少于2min的視頻一段，并在48小時內(nèi)上傳至“建設(shè)工程管理系統(tǒng)-安全管理-班前培訓(xùn)交底”存檔。1.5 監(jiān)控方案布設(shè)

（1）監(jiān)控設(shè)備選型

監(jiān)控設(shè)備選型應(yīng)根據(jù)監(jiān)控對象的特點，在試驗室、重要場站及重大危險源的位置建議選擇拍攝角度范圍較大的半球攝像機；在橋梁兩端及隧道洞口為保證拍攝質(zhì)量，建議選擇槍式攝像機。經(jīng)過咨詢考察已安裝視頻的單位，螢石云方案在網(wǎng)絡(luò)接口、存儲和性價比方面比較合適，建議各單位自行聯(lián)系安裝。

（2）監(jiān)控點的立桿和基礎(chǔ)要求 現(xiàn)場監(jiān)控點的立桿和基礎(chǔ)要求應(yīng)按實際情況而定，一般可選擇5～6米高的優(yōu)質(zhì)無縫鋼管制作而成的主桿，立桿預(yù)埋件混凝土強度不低于C25。（4）監(jiān)控點的機箱要求

監(jiān)控點機箱尺寸應(yīng)便于電源設(shè)備等設(shè)備的安裝，箱體采用不銹鋼噴塑，厚度為0.8mm～1 mm，底部進線設(shè)計，箱體防護等級為IP54。

（5）監(jiān)控點的供電要求

監(jiān)控點可采用區(qū)域內(nèi)就近供電方式，盡量接入穩(wěn)定性較高的電源。整個供電系統(tǒng)應(yīng)穩(wěn)定可靠、擴展方便、易維護管理、全天候24小時確保前端設(shè)備的供電等特點。（6）網(wǎng)絡(luò)帶寬要求

視頻監(jiān)控傳輸網(wǎng)絡(luò)帶寬設(shè)計應(yīng)能滿足網(wǎng)絡(luò)播放流暢的要求，并留有余量。（7）存儲系統(tǒng)

各單位自行安裝的監(jiān)控設(shè)備，圖像上傳至自己攝像頭的網(wǎng)絡(luò)服務(wù)器，供自己內(nèi)部人員查看；所有視頻采用網(wǎng)絡(luò)云端存儲方式，室內(nèi)攝像頭應(yīng)設(shè)置為采用移動偵測錄像技術(shù)，存儲的視頻確保是有人員活動的有效視頻，存儲時間不小于60天。為實現(xiàn)與集團的“建設(shè)工程管理系統(tǒng)”對接，攝像頭安裝方需提供相應(yīng)視頻數(shù)據(jù)接口和基于云平臺的LSS直播服務(wù)。與項目管理系統(tǒng)進行集成后，可登錄PC端系統(tǒng)根據(jù)權(quán)限查看相關(guān)視頻。

2.試驗室數(shù)據(jù)采集

2.1 創(chuàng)建目的 為強化公路工程質(zhì)量監(jiān)督管理，規(guī)范公路試驗檢測機構(gòu)及建設(shè)項目工地試驗室的試驗檢測和信息化建設(shè)工作，提高檢測設(shè)備自動化水平及試驗檢測工作質(zhì)量，保證試驗檢測工作科學、真實、有序的開展，有效遏制質(zhì)量事故發(fā)生，結(jié)合建設(shè)項目的工地試驗室信息化建設(shè)，制定試驗室數(shù)據(jù)采集方案。

對試驗室的數(shù)據(jù)監(jiān)控，不僅可有效檢查是否按頻率要求進行相關(guān)試驗，而且可以有效杜絕數(shù)據(jù)造假，并提供各種分析服務(wù)，使管理人員實時了解諸如壓力機、萬能材料試驗機、瀝青針入度、軟化點、延度、瀝青混合料馬歇爾穩(wěn)定度、瀝青混合料瀝青含量、車轍試驗、標養(yǎng)室參數(shù)及不合格情況等，把控試驗室的工作開展情況。2.2 創(chuàng)建原則

（1）試驗操作正確規(guī)范，隨時監(jiān)控；（2）試驗數(shù)據(jù)真實可靠、實時上傳；

（3）試驗設(shè)備維護及時，試驗人員持證上崗。2.3 技術(shù)原理

（1）數(shù)據(jù)采集

利用試驗室現(xiàn)有設(shè)備，不符合數(shù)據(jù)采集要求的加以改造，在試驗人員試驗過程中，實時完成試驗數(shù)據(jù)采集，獨立于試驗人員操作過程，試驗數(shù)據(jù)不被造假，真實有效。

（2）數(shù)據(jù)傳輸

數(shù)據(jù)采集完成后，數(shù)據(jù)自動保存到本地PC上，數(shù)據(jù)利用Internet網(wǎng)絡(luò)，同步上傳至管理平臺，不干擾試驗室工作的進行，支持斷點續(xù)傳。

（3）互聯(lián)網(wǎng)技術(shù) 平臺采用J2EE技術(shù)開發(fā)，存儲采集到的數(shù)據(jù)，建立工程質(zhì)量數(shù)據(jù)庫，為質(zhì)量分析、質(zhì)量評定和質(zhì)量追溯提供依據(jù)。2.4 方案總體構(gòu)架

2.5 數(shù)據(jù)采集方案

“試驗室數(shù)據(jù)采集”的主要功能如下：

（1）查詢各項目工地試驗室名稱、所屬標段、人員、設(shè)備等基本信息；

（2）管理各項目工地試驗室人員、儀器設(shè)備臺賬；

（3）實時采集及上傳檢測數(shù)據(jù)，并預(yù)留實時采集其它試驗指標的擴展功能；

（4）預(yù)留統(tǒng)計處理和統(tǒng)計試驗檢測數(shù)據(jù)的接口；

“試驗室數(shù)據(jù)采集”統(tǒng)一在管理平臺上實現(xiàn)，數(shù)據(jù)采集根據(jù)上述功能可分為試驗人員信息采集、試驗設(shè)備信息采集、試驗數(shù)據(jù)采集、試驗頻率統(tǒng)計等4個模塊。（1）試驗人員信息采集

各工地試驗室按合同要求配備足夠的試驗人員，并將工地試驗室名稱、所屬標段、試驗人員基本信息等錄入管理平臺，項目管理人員可通過管理平臺按照“職稱、學歷、證書”等方式隨時查詢試驗人員基本信息。

圖5 試驗人員查詢界面（示意圖）

（2）試驗設(shè)備信息采集

各工地試驗室按合同要求配備足夠的試驗設(shè)備，并將試驗設(shè)備信息錄入管理平臺，項目管理人員通過管理平臺可隨時查詢試驗設(shè)備信息。

圖6 試驗設(shè)備查詢界面（示意圖）

（3）試驗數(shù)據(jù)采集

壓力試驗機（試件編號、試件尺寸、破壞荷載、抗壓強度、最大力值；生成力值-時間曲線）

萬能材料試驗機（試件編號、試件尺寸、屈服力、屈服強度、拉斷最大力、斷口位置、伸長率、最大力值；生成力值-時間曲線）

車轍試驗儀（采集車轍試件的變形值、動穩(wěn)定度）馬歇爾穩(wěn)定度儀（采集馬歇爾試件的流值、穩(wěn)定度）燃燒爐（采集瀝青混合料的瀝青用量）瀝青軟化點儀、延度儀和針入度儀（采集瀝青的三大指標）標養(yǎng)室控制器（采集標養(yǎng)室溫、濕度）

對上述9個儀器的試驗數(shù)據(jù)或控制參數(shù)實時采集，并上傳至管理平臺，項目管理人員通過管理平臺可隨時查詢試驗數(shù)據(jù)，不合格試驗數(shù)據(jù)將同步于手機短信發(fā)送至項目管理人員。

圖7 試驗數(shù)據(jù)采集界面（示意圖）

（4）試驗頻率統(tǒng)計

工地試驗室、監(jiān)理分別統(tǒng)計各時間段（一般以“月”為單位）自檢、抽簽情況，每月25號錄入管理平臺，項目管理人員通過管理平臺可隨時查詢試驗檢測頻率情況。

圖8 試驗頻率統(tǒng)計界面（示意圖）

2.6 試驗設(shè)備要求

2.6.1 壓力試驗機、萬能材料試驗機（1）試驗儀器要求

新型的壓力試驗機、萬能材料試驗機一般均具備數(shù)據(jù)接口和自配的數(shù)據(jù)保存軟件，能夠?qū)⒔涌跀?shù)據(jù)采集至PC系統(tǒng)軟件內(nèi)，并實現(xiàn)數(shù)據(jù)上傳功能，一般不需要儀器改造。（2）網(wǎng)絡(luò)要求

壓力試驗機、萬能材料試驗機的電腦主機應(yīng)有網(wǎng)絡(luò)連接，以便隨時上傳試驗數(shù)據(jù)。（3）視頻監(jiān)控要求

壓力試驗機、萬能材料試驗機的視頻監(jiān)控應(yīng)能清晰采集試驗人員操作圖像，項目管理人員可隨時視頻監(jiān)控，嚴禁試件造假；此外，公司將不定期的抽查“視頻監(jiān)控、數(shù)據(jù)上傳、儀器使用記錄”三者的“三對應(yīng)”。

2.6.2 馬歇爾穩(wěn)定度儀、車轍試驗儀、燃燒爐 馬歇爾穩(wěn)定度儀、車轍試驗儀、燃燒爐一般均具有串行數(shù)據(jù)接口，能夠?qū)⒃囼灁?shù)據(jù)采集至PC系統(tǒng)，但管理平臺與儀器自帶數(shù)據(jù)采集系統(tǒng)可能存在匹配的問題，儀器購置時通過與廠家聯(lián)系，對方提供或開發(fā)相應(yīng)的接口協(xié)議，再進行相關(guān)數(shù)據(jù)的采集。2.6.3 軟化點儀、延度儀、針入度儀

軟化點儀、延度儀、針入度儀等盡量選擇市場上功能較為齊全，技術(shù)手段較為先進的主流品牌，儀器應(yīng)自帶RS232以上信息數(shù)據(jù)接口，可進行儀器的PC數(shù)據(jù)采集。上述儀器盡量選擇同一廠家，以便于廠家提供或開發(fā)相應(yīng)的接口協(xié)議，實現(xiàn)與管理平臺對接。

圖9 瀝青延度儀試驗數(shù)據(jù)采集界面（示意圖）

2.6.4 標養(yǎng)室

標養(yǎng)室環(huán)境參數(shù)可以通過加裝溫、濕度傳感器，實時監(jiān)測并回傳溫度、濕度等指標。

聯(lián)系人：張磊，電話：***

第四篇：數(shù)據(jù)資源策劃書

甘肅政法學院圖書館

數(shù)據(jù)庫資源講座

策

劃

書

主辦單位：甘肅政法學院圖書館承辦單位：圖書館讀者管理委員會二O一三年九月二十三日

一、活動目的旨在提高同學們的圖書館資源的使用，增強本校學生的讀書熱情，弘揚“書香政法”的理念，進一步推動圖書館的信息化發(fā)展，面向甘肅。

二、活動主題

新的大學，新的讀書資源，新的夢想

三、主辦單位

甘肅政法學院圖書館

四、承辦單位

圖書館讀者管理委員會

五、活動對象

每次由2個二級學院分配2-3個班來參加

六、活動時間、地點

2013年10月份每周四 19:00-20：30

圖書館五樓學術(shù)報告廳

七、人員安排

1.文化宣傳部負責本次講座的宣傳工作，具體工作由分管主席安排；

2.學習實踐部負責參加講座的班級的引導(dǎo)并安排入座的工作；

3.秘書處負責學術(shù)報告廳的申請及布置工作；

4.讀者服務(wù)部負責本次活動的秩序工作；

5.信息技術(shù)部主管本次活動的所有工作，配合各部門完成此次活動；

八、前期的準備

1.由圖書館領(lǐng)導(dǎo)向各二級學院下達書面通知，由各二級學院準時的通知該學院的班級來參加講座，保證人員充足；

2.前期宣傳必須產(chǎn)生一定影響力，保證后期工作的順利開展；

3.學術(shù)報告廳的使用申請必須是按時、固定，要保證每次講座都能按時按地點的舉行；

4.參加講座的入場及退場安排必須井然有序，不能出現(xiàn)擁堵現(xiàn)象；

九、活動預(yù)算

宣傳的各項費用50元

第五篇：GPRS水行業(yè)數(shù)據(jù)采集系統(tǒng)應(yīng)用方案

GPRS水行業(yè)數(shù)據(jù)采集系統(tǒng)應(yīng)用方案

隨著我國經(jīng)濟社會的發(fā)展，對行業(yè)信息化建設(shè)不斷提出新要求，對觀測手段和方法以及水行業(yè)的監(jiān)測技術(shù)的研發(fā)和應(yīng)用提出了越來越高的要求；現(xiàn)代電子技術(shù)、傳感技術(shù)、通信技術(shù)和計算機技術(shù)的迅速發(fā)展，也促進了水行業(yè)監(jiān)測技術(shù)自動化的發(fā)展。在此方面易維就走在了水行業(yè)信息建設(shè)的前端。

一、水行業(yè)監(jiān)測自動化技術(shù)的應(yīng)用

1、水行業(yè)監(jiān)測的范圍與內(nèi)容：

水行業(yè)的監(jiān)測是傳感器技術(shù)與采集、存儲、傳輸、處理技術(shù)的集成。

監(jiān)測范圍：江、河、湖泊、水庫、渠道和地下水等。

監(jiān)測內(nèi)容：水位、流量、流速、壓力和水質(zhì)等。

2、水位的采集和傳輸

用于自動化監(jiān)測的水位傳感器主要有浮子式水位計、壓力式水位計、電子水尺和超聲波水位計等。這些傳感器可以直接接到PLC上，自動監(jiān)測水位參數(shù)。地下水位的監(jiān)測與地表水相同。目前，省水文監(jiān)測站與各采集點之間的數(shù)據(jù)通信主要采用手工抄錄或PSTN電話線傳輸。采用電話線傳輸數(shù)據(jù)時，由于每次撥號都需要等待，速度慢，而且費用也較高。同時，由于各監(jiān)控點分布范圍廣、數(shù)量多、距離遠，個別點還地處偏僻，因此需申請很多電話線，而且有些監(jiān)控點有線線路難以到達。

GPRS具有速度快、使用費用低的特點，其傳輸速度可達171.2kb/s。與有線通訊方式相比，采用GPRS無線通信方式則顯得非常靈活，它具有組網(wǎng)靈活、擴展容易、運行費用低投，維護簡單、性價比高等優(yōu)點因此，目前正考慮采用GPRS無線傳輸方式解決污染源監(jiān)測數(shù)據(jù)的實時傳輸問題。

二、解決方案介紹：

（一）系統(tǒng)結(jié)構(gòu)

（二）GPRS無線網(wǎng)絡(luò)與中心軟件的連方式：

A、公網(wǎng)方案：

中心用一個服務(wù)器組作為中心接收，中心采用ADSL等INTELNET公網(wǎng)連接，采用公網(wǎng)固定IP或者公網(wǎng)動態(tài)IP+DNS解析服務(wù)。此種方案先向INTERNET運營商申請ADSL等寬帶業(yè)務(wù)。

1)中心公網(wǎng)固定IP：監(jiān)控點直接向中心固定IP發(fā)起連接。運行可靠穩(wěn)定，推薦此種方案。（當然固定IP費用比較貴，視客戶財力決定）

2)中心公網(wǎng)動態(tài)IP+DNS 解析服務(wù)：大部分IP都是動態(tài)的，而且費用相對便宜?？蛻粝扰cDNS 服務(wù)商聯(lián)系開通動態(tài)域名，動態(tài)域名解析軟件網(wǎng)址如下：（可以先申請免費的二級域名）88IP名解析http://004km.cn 監(jiān)控點先采用域名尋址方式連接DNS 服務(wù)器，再由DNS 服務(wù)器找到中心公網(wǎng)動態(tài)IP，建立連接。此種方式可以大大節(jié)約公網(wǎng)固定IP的費用，但穩(wěn)定性受制于DNS服務(wù)器的穩(wěn)定，所以要尋找可靠的DNS服務(wù)商。

如上圖所示水文遠程測控調(diào)度系統(tǒng)由調(diào)度中心、無線GPRS網(wǎng)絡(luò)、遠程終端單元（GPRS無線傳輸設(shè)備，PLC）幾個部分組成：

1.遠程終端單元

遠程終端單元分散的分布在遠程各個遙測點上，主要由GPRS模塊、電源、天線、PLC及各種水行業(yè)傳感器等幾部分組成。PLC與現(xiàn)場儀表(傳感器)相連，對現(xiàn)場儀表(傳感器)的開關(guān)量、模擬量信號進行數(shù)據(jù)采集、處理、存儲并通過GPRS模塊向調(diào)度中心傳送數(shù)據(jù)，接收并執(zhí)行調(diào)度中心的命令。

PLC：根據(jù)客戶要求選擇使用品牌，如LG、西門子、三菱、歐姆龍等。

無線傳輸設(shè)備： LQ1200 GPRS DTU透明無線數(shù)據(jù)傳輸終端，通過RS232/RS485/TTL與水行業(yè)設(shè)備采集點的各個PLC連接，通過 GPRS網(wǎng)絡(luò),把數(shù)據(jù)傳到調(diào)度中心。

2.調(diào)度中心

調(diào)度中心計算機處理系統(tǒng)是一個開放式實時應(yīng)用系統(tǒng)，實現(xiàn)全部的數(shù)據(jù)處理工作。中心的功能有：數(shù)據(jù)收發(fā)管理、站點管理、水行業(yè)數(shù)據(jù)管理和系統(tǒng)管理。

數(shù)據(jù)遙測功能：定時巡測、手動巡測、隨機抽測、分組召測。

遙控功能：控制RTU 開關(guān)量輸出點的開、關(guān)狀態(tài)、遙信開關(guān)狀態(tài)。

參數(shù)狀態(tài)管理功能：設(shè)置修改各測量數(shù)據(jù)上、下限值，通訊參數(shù)。

在線組態(tài)功能：新增數(shù)據(jù)采集點等參數(shù)通過組態(tài)定義即可完成。

數(shù)據(jù)庫管理功能：對測得的數(shù)據(jù)建庫，對數(shù)據(jù)進行處理，查詢歷史數(shù)據(jù)，報表打印。

數(shù)據(jù)顯示功能： 能顯示測量的各種數(shù)據(jù)、遙信開關(guān)狀態(tài)、各種系統(tǒng)圖形等，具有圖形功能,模擬顯示管網(wǎng)圖、水廠工藝流程圖等。

搶修修理、停水、管網(wǎng)沖洗等數(shù)據(jù)錄入及統(tǒng)計。

數(shù)據(jù)共享功能：提供一個WEB站點，該WEB站點使公司寬帶內(nèi)部網(wǎng)的任意一臺工作站只通過WEB瀏覽器就可以登陸查看所有監(jiān)控點的實時數(shù)據(jù)和存儲的任何時間段的歷史數(shù)據(jù)。WEB 站點通過用戶身份認證授權(quán)方式控制該用戶可訪問那些監(jiān)控點的實時監(jiān)控數(shù)據(jù)和存儲的任何時間段的歷史數(shù)據(jù)。調(diào)度中心系統(tǒng)管理員能增加、刪除可訪問用戶，并對用戶進行不同權(quán)限的授權(quán)。該WEB站點應(yīng)能通過超鏈接方式聯(lián)入公司統(tǒng)一平臺。

三、專業(yè)的開發(fā)實施團隊