第一篇：輿情信息監(jiān)測(cè)服務(wù)系統(tǒng)

輿情信息監(jiān)測(cè)服務(wù)系統(tǒng)

輿情信息監(jiān)測(cè)服務(wù)系統(tǒng)是一個(gè)高度集成的專業(yè)化數(shù)據(jù)檢索和分析系統(tǒng)，總體上包括輿情信息采集、輿情分析引擎、輿情監(jiān)測(cè)應(yīng)用三個(gè)核心功能。從互聯(lián)網(wǎng)采集新聞、論壇、博客、微博、平面媒體、微博等輿情信息，并存儲(chǔ)到輿情數(shù)據(jù)庫中，并通過輿情搜索引擎對(duì)海量的輿情數(shù)據(jù)進(jìn)行實(shí)時(shí)索引。對(duì)采集的數(shù)據(jù)進(jìn)行智能篩選，萃取準(zhǔn)確的輿情信息。輿情分析引擎負(fù)責(zé)輿情數(shù)據(jù)庫進(jìn)行智能分析和加工。輿情服務(wù)平臺(tái)把輿情數(shù)據(jù)庫中經(jīng)過加工處理的輿情數(shù)據(jù)發(fā)布到Web界面上并展示給客戶?？蛻敉ㄟ^輿情服務(wù)平臺(tái)瀏覽輿情信息，通過簡報(bào)生產(chǎn)等功能完成對(duì)輿情的深度加工。整個(gè)系統(tǒng)結(jié)合了C/S、B/S兩種不同的應(yīng)用模式，并形成了優(yōu)勢(shì)互補(bǔ)。系統(tǒng)共分四大功能模塊。分別為：信息采集功能、信息處理功能、輿情分析功能、輿情展示功能。

（1）信息采集

信息采集可自定義監(jiān)測(cè)站點(diǎn)擊監(jiān)測(cè)關(guān)鍵詞，新聞、論壇、博客、微博。結(jié)合元搜索技術(shù)（搜索引擎結(jié)果補(bǔ)充），確保信息全面性。

定向抓取源：云騰輿情監(jiān)測(cè)分析系統(tǒng)收錄7000個(gè)監(jiān)測(cè)網(wǎng)站，包含站點(diǎn)數(shù)約為15萬個(gè)站點(diǎn)，對(duì)這些站點(diǎn)中的新聞，論壇，博客等實(shí)現(xiàn)全面的抓取，同時(shí)支持對(duì)主流新聞網(wǎng)頁分頁、評(píng)論內(nèi)容的采集以及對(duì)評(píng)論點(diǎn)擊數(shù)、回帖數(shù)的抓取。

搜索引擎結(jié)果：云騰智能爬蟲系統(tǒng)還可以自動(dòng)跟蹤多個(gè)搜索引擎的搜索結(jié)果，對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行補(bǔ)充。

自定義URL來源采集頻率：除系統(tǒng)常規(guī)監(jiān)測(cè)范圍外，還可以自定義需要重點(diǎn)監(jiān)測(cè)的信

息，客戶可以設(shè)定采集的欄目、URL、更新時(shí)間、掃描間隔等，以便及時(shí)發(fā)現(xiàn)目標(biāo)信息源的最新變化，并以最快的速度將個(gè)性化關(guān)注內(nèi)容采集到本地。

（2）信息處理

垃圾信息過濾：基于機(jī)器學(xué)習(xí)的垃圾過濾機(jī)制可以自動(dòng)過濾廣告、水貼等無效垃圾信息。

智能去重：采用“文章相似度技術(shù)”，根據(jù)文檔內(nèi)容的匹配度確定是否重復(fù)、去重的級(jí)別；根據(jù)不同的需要特點(diǎn)分為：URL去重、標(biāo)題去重、正文去重三個(gè)級(jí)別。

HTML內(nèi)容提?。翰捎米灾髦R(shí)產(chǎn)權(quán)的HTML網(wǎng)頁文本萃取技術(shù)自動(dòng)提取任意復(fù)雜網(wǎng)頁中的標(biāo)題、內(nèi)容、作者、發(fā)布時(shí)間等信息，自動(dòng)跟蹤文章分頁；對(duì)于論壇信息自動(dòng)分析主貼、回帖以及作者等信息。

快照保存：對(duì)于每個(gè)經(jīng)過抓取和處理的網(wǎng)頁，系統(tǒng)都存有一個(gè)純文本的備份，方便客戶快速瀏覽，也方便客戶查看被刪除的文章或帖子。

（3）輿情分析

文章權(quán)重計(jì)算：綜合網(wǎng)站重要程度、文章出現(xiàn)位置、主題相關(guān)度、危機(jī)程度、點(diǎn)擊回復(fù)次數(shù)、傳播數(shù)量以及客戶自定義規(guī)則等復(fù)雜參數(shù)計(jì)算的文章權(quán)重，加上基于自然語言處理技術(shù)的訓(xùn)練系統(tǒng)，能準(zhǔn)確分析出重要輿情信息。

傳播軌跡分析：系統(tǒng)可以對(duì)于一段時(shí)間（自定義范圍）內(nèi)的輿情信息走勢(shì)進(jìn)行分析展示，同時(shí)可以以不同的載體如論壇、新聞等分類呈現(xiàn)。

自動(dòng)分類與情感分析：將自然語言處理技術(shù)（NLP）應(yīng)用于輿情監(jiān)測(cè)領(lǐng)域，對(duì)信息精準(zhǔn)分類并自動(dòng)做情感分析。

相似文章聚類去重：基于自然語言處理技術(shù)，系統(tǒng)根據(jù)文章內(nèi)容相似程度技術(shù)相似文章，方便獲取同一內(nèi)容文章的所有傳播網(wǎng)站。采用“文章相似性技術(shù)”，根據(jù)文檔內(nèi)容的匹配程

度確定是否重復(fù)、去重的級(jí)別；根據(jù)不同的需要特點(diǎn)分為：URL去重、標(biāo)題去重、正文去重三個(gè)級(jí)別。在詳細(xì)信息列表里，分為“過濾”與“不過濾”，展示相關(guān)文章；媒體覆蓋分析：系統(tǒng)可以對(duì)于監(jiān)測(cè)信息的媒體類型進(jìn)行展示，同時(shí)對(duì)于信息的主要傳播媒體自動(dòng)識(shí)別，進(jìn)行綜合分析，以圖表呈現(xiàn)。

（4）輿情展示

在輿情信息呈現(xiàn)上，信息監(jiān)測(cè)平臺(tái)支持多種互聯(lián)網(wǎng)終端設(shè)備和接入方式。除了傳統(tǒng)的移動(dòng)設(shè)備Web網(wǎng)頁接入方式，還可以通過短信、郵件對(duì)信息進(jìn)行及時(shí)推送，同時(shí)還可以通過移動(dòng)設(shè)備客戶端（Android客戶端、iOS客戶端、平板電腦客戶端等 如圖）進(jìn)行信息交互。

WEB客戶界面：基于云計(jì)算模式，客戶可以使用WEB瀏覽器隨時(shí)登陸系統(tǒng)，在客戶界面對(duì)輿情狀況進(jìn)行全面的了解?？蛻艚缑姘巳巛浨樽邉?shì)、輿情詳細(xì)信息、最新微博信息、載體覆蓋情況等主要內(nèi)容，并以列表以及圖表展示等可視化方式呈現(xiàn)，方便客戶查看。導(dǎo)航欄清晰明了，方便我們中心查看各種分類；實(shí)時(shí)搜索功能，可以自定義搜索條件查看系統(tǒng)抓取的最新監(jiān)測(cè)信息；支持關(guān)鍵詞組分類、媒體類型分類、信息屬性分類查看。

輿情預(yù)警：預(yù)警級(jí)別顯示，顯示當(dāng)日輿情級(jí)別，方便客戶整體把握，同時(shí)呈現(xiàn)預(yù)警信息走勢(shì)和預(yù)警信息列表。建立多個(gè)輿情指標(biāo)，對(duì)于突飛輿情自動(dòng)發(fā)出輿情信號(hào)，在最短時(shí)間內(nèi)通過郵件方式通知客戶，輔助進(jìn)行輿情干預(yù)和引導(dǎo)。

輿情分析報(bào)告：根據(jù)輿情分析引擎處理后的結(jié)果庫生產(chǎn)報(bào)告，客戶可通過瀏覽器瀏覽，并且可以導(dǎo)出生成為Word、PDF等格式的本地文檔。方便客戶對(duì)不同時(shí)段的重點(diǎn)和熱點(diǎn)以及對(duì)事件輿情數(shù)據(jù)的把握。

第二篇：云輿情監(jiān)測(cè)系統(tǒng)

云輿情監(jiān)測(cè)系統(tǒng)

隨著網(wǎng)絡(luò)日益的發(fā)達(dá)，網(wǎng)絡(luò)媒體已被公認(rèn)為是繼報(bào)紙、廣播、電視之后的“第四媒體”，網(wǎng)絡(luò)成為反映社會(huì)輿情的主要載體之一，網(wǎng)絡(luò)輿情的重要性凸顯出來。網(wǎng)絡(luò)輿論熱點(diǎn)層出不窮，各種突發(fā)性事件都是通過互聯(lián)網(wǎng)第一時(shí)間擴(kuò)大傳播。網(wǎng)絡(luò)輿情信息主要來源是新聞評(píng)論、bbs、博客等，這些成為政府了解社情民意的直接渠道，也是新形勢(shì)下政府的重要輿論陣地。因此，網(wǎng)絡(luò)輿論一旦被錯(cuò)誤地控制和引導(dǎo)，將成為影響社會(huì)穩(wěn)定的重大隱患。

輿情監(jiān)測(cè)系統(tǒng)在這樣的環(huán)境下產(chǎn)生，它可以通過采集各大門戶網(wǎng)站信息內(nèi)容來知曉最新的社情民意，民眾的輿論導(dǎo)向。

系統(tǒng)工作流程

采集新聞、論壇網(wǎng)站內(nèi)容→通過監(jiān)測(cè)系統(tǒng)網(wǎng)站分析、輿情分析第一時(shí)間發(fā)現(xiàn)敏感、熱點(diǎn)話題→由專家學(xué)者、評(píng)論員或是新聞發(fā)言人分析報(bào)告、進(jìn)行及時(shí)的輿論引導(dǎo)。

系統(tǒng)介紹

系統(tǒng)對(duì)所需信息進(jìn)行過濾、分析、聚合和數(shù)據(jù)挖掘，以傳播力和影響力作為分析指標(biāo)，及時(shí)發(fā)現(xiàn)信息，分析并追蹤傳播及演變過程，并對(duì)指定重點(diǎn)敏感事件進(jìn)行專項(xiàng)監(jiān)測(cè)與分析。

云輿情監(jiān)測(cè)系統(tǒng)提供對(duì)互聯(lián)網(wǎng)信息（新聞、論壇、博客、貼吧、微博客等）實(shí)時(shí)采集、內(nèi)容提取及排重；并且對(duì)獲取的信息進(jìn)行全面檢索、主題檢測(cè)、話題聚焦、相關(guān)信息推薦；按需求定制主題分類；為輿情研判提供時(shí)間趨勢(shì)、傳播路徑、話題演化等工具，統(tǒng)計(jì)輿情信息，生成輿情報(bào)告。

全面實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)輿情

采用定向采集為主、全網(wǎng)監(jiān)控為輔的方式，自動(dòng)對(duì)新聞（新聞跟帖、新聞評(píng)論、RSS）、論壇（回帖、點(diǎn)擊數(shù)、回復(fù)數(shù)等）、博客、貼吧、微博客等網(wǎng)絡(luò)媒體進(jìn)行全面實(shí)時(shí)監(jiān)測(cè)。智能處理輿情信息

對(duì)互聯(lián)網(wǎng)輿情信息自動(dòng)提取關(guān)鍵詞、摘要、分類、聚類、主題檢測(cè)、關(guān)聯(lián)分析、情感分析。

完善的輿情監(jiān)控業(yè)務(wù)

自動(dòng)監(jiān)測(cè)敏感信息，自動(dòng)聚焦熱點(diǎn)話題，自動(dòng)追蹤潛在輿情事件?？深A(yù)置審核流程，逐級(jí)審核、上報(bào)輿情信息。自動(dòng)探測(cè)頁面刪除狀態(tài)，統(tǒng)計(jì)研判網(wǎng)絡(luò)輿情，生成可定制輿情報(bào)告。提供對(duì)本地網(wǎng)站的屬地化管理，支持違規(guī)網(wǎng)站信息統(tǒng)計(jì)管理。

行業(yè)特色功能

支持實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿論導(dǎo)向的全面掌控、效果評(píng)估。

第三篇：奧搜互聯(lián)網(wǎng)輿情信息監(jiān)測(cè)系統(tǒng)白皮書

北京杰諾在線科技有限公司

輿情信息監(jiān)測(cè)系統(tǒng)

白皮書

北京杰諾在線科技有限公司

http://www.aosou.net全國統(tǒng)一咨詢電話：400-656-0601

北京杰諾在線科技有限公司

目 錄

杰諾在線輿情監(jiān)測(cè)系統(tǒng)............................................3

一、系統(tǒng)說明...................................................3

二、系統(tǒng)架構(gòu)...................................................4

三、軟件特點(diǎn)...................................................4

四、軟件功能...................................................4

(2)功能特點(diǎn)................................................5(3)特點(diǎn)....................................................6

五、輿情加工...................................................8

六、輿情規(guī)劃..................................................13

七、輿情服務(wù)..................................................14

八、評(píng)估反饋..................................................16

九、服務(wù)器要求................................................17

十、性能指標(biāo)..................................................18

前 言

“互聯(lián)網(wǎng)不完全是一個(gè)虛擬的世界，它的本質(zhì)是現(xiàn)實(shí)的?；ヂ?lián)網(wǎng)面向公眾，直接對(duì)社會(huì)產(chǎn)生影響?！眹鴦?wù)院新聞辦公室副主任蔡名照曾這樣描述互聯(lián)網(wǎng)與社會(huì)的關(guān)系。我們還應(yīng)該看到，在我國，互聯(lián)網(wǎng)的受眾是一個(gè)特殊的群體，因?yàn)檎即蠖鄶?shù)的農(nóng)民、民工都不使用互聯(lián)網(wǎng)，由于互聯(lián)網(wǎng)在我國傳播的歷史原因，稍長年齡段的人對(duì)互聯(lián)網(wǎng)的使用也并不熟悉。因此，互聯(lián)網(wǎng)直接面向公眾，也就是具有局限性的這個(gè)公眾，對(duì)社會(huì)影響的力量是有限的。

通過近期對(duì)本地BBS信息的觀察發(fā)現(xiàn)，相當(dāng)多的言論已經(jīng)不是滿足于一些日常生活的需要，而是在試圖去喚起大眾的注意，去改變令人不滿意的現(xiàn)實(shí)狀況。特別是對(duì)社會(huì)生活中出現(xiàn)的一些不正常現(xiàn)象，進(jìn)行了尖銳的批判和抨擊。

全國統(tǒng)一咨詢電話：400-656-0601

北京杰諾在線科技有限公司

C.自動(dòng)分類，聚類

D.網(wǎng)頁非結(jié)構(gòu)化信息抽取

E.基于語義分析的高級(jí)分詞技術(shù)

F.信息指紋去重

G.多語言、編碼格式自動(dòng)識(shí)別

H.搜索引擎與數(shù)據(jù)庫無縫集成 I.圖片搜索

J.分布式系統(tǒng)、支持億級(jí)數(shù)據(jù)檢索

K.智能摘要、關(guān)鍵字提取技術(shù)(2)功能特點(diǎn)

A.信息實(shí)時(shí)監(jiān)測(cè)

通過信息實(shí)時(shí)監(jiān)測(cè)，可以分區(qū)域，按關(guān)鍵詞，IP段進(jìn)行實(shí)時(shí)監(jiān)測(cè)

在快捷菜單中也可以對(duì)設(shè)置關(guān)鍵詞匯，預(yù)警級(jí)別，監(jiān)控網(wǎng)站，刷新速率，監(jiān)控深度，郵件發(fā)送人，手機(jī)接收人等參數(shù)設(shè)置 B.自動(dòng)聚類、分類

自動(dòng)分類聚類功能，可以將信息監(jiān)測(cè)搜索到的信息進(jìn)行處理，幫助用戶對(duì)數(shù)據(jù)進(jìn)行 信息整理，系統(tǒng)支持人工分類和自動(dòng)學(xué)習(xí)功能，也支持基于統(tǒng)計(jì)模型的自動(dòng)分類。

C.監(jiān)控管理

用戶可以自行設(shè)置監(jiān)控的關(guān)鍵詞匯或語句，并可根據(jù)詞語進(jìn)行分類，例如：氣候變化等。并可以設(shè)置即時(shí)發(fā)現(xiàn)后對(duì)敏感詞匯的處理方式，以email或短信方式實(shí)時(shí)提醒。保留原始網(wǎng)頁快照以備追蹤熱點(diǎn)信息，自動(dòng)收集最新熱門關(guān)鍵詞匯（即熱門話題）D.統(tǒng)計(jì)分析

分布統(tǒng)計(jì)：通過圖表展示監(jiān)控詞匯和時(shí)間的分布關(guān)系以及趨勢(shì)分析，包括地域信息分布。

熱點(diǎn)統(tǒng)計(jì)：根據(jù)時(shí)間統(tǒng)計(jì)熱點(diǎn)的分類和熱門關(guān)鍵詞，包括地域信息分布。

預(yù)警信息：對(duì)于敏感信息和預(yù)警級(jí)別重點(diǎn)信息監(jiān)控。

信息報(bào)告：智能和人工生成信息報(bào)告，支持報(bào)告導(dǎo)出功能。

E.多用戶和分級(jí)

支持用戶管理，不同用戶可以設(shè)置不同的監(jiān)控源以及監(jiān)控關(guān)鍵詞匯，預(yù)警提醒等相關(guān)信息參數(shù)設(shè)置。支持競爭情報(bào)的報(bào)表的生成和上報(bào)。F.一鍵結(jié)果上傳

一鍵或批量將所監(jiān)測(cè)的信息第一時(shí)間轉(zhuǎn)載到自己的網(wǎng)站，自動(dòng)提取正文和自動(dòng)編寫摘要。G.一鍵導(dǎo)出

將信息導(dǎo)出到WORD文檔中，可供二次編輯或打印，自動(dòng)編寫摘要，自動(dòng)提取正文！H.信息加工

將信息導(dǎo)出到WORD文檔中，可供二次人工編輯，自動(dòng)編寫摘要，自動(dòng)提取正文！I.追加文檔

全國統(tǒng)一咨詢電話：400-656-0601

北京杰諾在線科技有限公司

3、添加監(jiān)測(cè)頁

4、添加關(guān)鍵字

全國統(tǒng)一咨詢電話：400-656-0601

北京杰諾在線科技有限公司

5、監(jiān)控文件導(dǎo)入導(dǎo)出，定時(shí)保存快捷操作

五、輿情加工

１、自動(dòng)處理輿情：可自動(dòng)分類、自動(dòng)排重、自動(dòng)編寫摘要，自動(dòng)提取正文和提取關(guān)鍵詞等。能篩選出重要性強(qiáng)，急待處理輿情信息，過濾無用，過時(shí)，低影響力的信息。

（1）、右鍵常用操作功能

全國統(tǒng)一咨詢電話：400-656-0601

910111213

北京杰諾在線科技有限公司

（3）個(gè)性化定制和郵件訂閱：用戶可以根據(jù)要求，分類定制輿情信息，收藏重要的輿情信息，以及通過訂閱獲取輿情郵件自動(dòng)送服務(wù)，實(shí)現(xiàn)個(gè)性化和及時(shí)便捷的輿情服務(wù)。

全國統(tǒng)一咨詢電話：400-656-0601

北京杰諾在線科技有限公司

3、分析網(wǎng)絡(luò)輿情傳播路徑，并能通過反向解析出url所對(duì)應(yīng)的網(wǎng)站名稱。

4、一鍵轉(zhuǎn)載，輕松將標(biāo)題，來源，正文，摘要等參數(shù)轉(zhuǎn)到自己的網(wǎng)站。

八、評(píng)估反饋

1、輿情反饋、批注、評(píng)論：

（1）反饋輿情需求：用戶可以提交輿情需求信息，成為改進(jìn)輿情規(guī)劃的依據(jù)。

全國統(tǒng)一咨詢電話：400-656-0601

北京杰諾在線科技有限公司

（2）輿情批注和輿情評(píng)論：領(lǐng)導(dǎo)可以對(duì)輿情信息進(jìn)行批注，一般用戶可以對(duì)輿情信息給予評(píng)論。批注和評(píng)論成為下一步改進(jìn)輿情規(guī)劃的依據(jù)。

（3）統(tǒng)計(jì)匯總：支持對(duì)輿情信息瀏覽量、輿情加工工作量統(tǒng)計(jì)和輿情采集源有效性的統(tǒng)計(jì)。以文字和圖表的形式直觀的形成、生成各種網(wǎng)絡(luò)輿情趨勢(shì)圖表。利用這些統(tǒng)計(jì)數(shù)字和圖表可以有效地對(duì)輿情內(nèi)容、采集源和輿情加工人員績效進(jìn)行評(píng)估，推動(dòng)輿情工作持續(xù)改進(jìn)。

九、服務(wù)器要求

(1)CPU： P4 2.8以上

全國統(tǒng)一咨詢電話：400-656-0601

第四篇：最新輿情監(jiān)測(cè)系統(tǒng)采集技術(shù)分享

輿情系統(tǒng)原理-參考

輿情調(diào)查軟件就從輿情監(jiān)測(cè)系統(tǒng)的架構(gòu)說起是：

1、輿情采集系統(tǒng)：

一、只要是互聯(lián)網(wǎng)上發(fā)生的與“我”相關(guān)的輿情信息，都可以第一時(shí)間監(jiān)測(cè)到，并且以最直觀的方式顯示出來，“一網(wǎng)打盡，一目了然”。監(jiān)測(cè)網(wǎng)站類型包括：新聞、論壇、博客、貼吧、微博、電子報(bào)、搜索引擎等。

二、對(duì)于重點(diǎn)輿情以及負(fù)面信息通過手機(jī)短信等方式及時(shí)預(yù)警，不需要有專人值守就可以隨時(shí)掌握輿情。

三、自動(dòng)分析輿情信息的發(fā)展變化趨勢(shì)、輿情信息的首發(fā)網(wǎng)站、作者、轉(zhuǎn)載情況、熱度變化、評(píng)估干預(yù)處理之后的效果等。

四、自動(dòng)生成各種統(tǒng)計(jì)分析報(bào)表和輿情報(bào)告，助力輿情工作。配合相應(yīng)的工作機(jī)制，可以有效提升輿情監(jiān)管的質(zhì)量和效率，提升輿情應(yīng)對(duì)水平。

五、除了提供系統(tǒng)級(jí)7*24小時(shí)的運(yùn)維服務(wù)，還配備專門的輿情分析師協(xié)助監(jiān)測(cè)，人工預(yù)警。系統(tǒng)建設(shè)目標(biāo)是整合互聯(lián)網(wǎng)信息渠道，形成系統(tǒng)、有效的輿情監(jiān)測(cè)機(jī)制。實(shí)現(xiàn)系統(tǒng)運(yùn)行，監(jiān)控互聯(lián)網(wǎng)信息、新浪、騰訊等主要微博微博，對(duì)其進(jìn)行實(shí)時(shí)數(shù)據(jù)采集、全網(wǎng)監(jiān)控、分析、檢索，對(duì)敏感信息進(jìn)行預(yù)警，防止負(fù)面信息傳播，對(duì)重大事件做出最及時(shí)的反應(yīng)和相應(yīng)處理建議。并對(duì)近一段時(shí)期的熱點(diǎn)問題、敏感詞句進(jìn)行搜索，從而掌握網(wǎng)絡(luò)輿情，輔助領(lǐng)導(dǎo)決策服務(wù)。

主要的門戶網(wǎng)站，主要的報(bào)紙、主要的大型網(wǎng)絡(luò)論壇、社區(qū)、貼吧、博客、微博。例如新浪新聞、各大報(bào)紙的電子報(bào)、天涯論壇、新浪微博、百度貼吧等。各類與我相關(guān)的以及區(qū)域內(nèi)有影響力的網(wǎng)站。百度、谷歌、360搜索等搜索引擎。論論壇搜索，博客搜索、微博搜索等專業(yè)搜索引擎。重點(diǎn)網(wǎng)站提供的站內(nèi)搜索等。

2、輿情分析系統(tǒng)：

分析引擎是本系統(tǒng)的關(guān)鍵組成部分。其主要作用是對(duì)采集系統(tǒng)采集的數(shù)據(jù)，自動(dòng)進(jìn)行智能分析。分析引擎的主要功能包括：自定分析輿情級(jí)別、自動(dòng)生成熱點(diǎn)、負(fù)面輿情研判、自動(dòng)分類、自動(dòng)生成專題、轉(zhuǎn)載計(jì)算、自動(dòng)抽取輿情要素和關(guān)鍵詞、自動(dòng)摘要、自動(dòng)預(yù)警、自動(dòng)生成統(tǒng)計(jì)圖表等功能。例如：多瑞科輿情數(shù)據(jù)分析站系統(tǒng)引擎內(nèi)置了政府輿情模型、企業(yè)輿情模型和垂直監(jiān)控模型，這些分析模型，是在多年輿情行業(yè)中按照客戶的實(shí)際需求，不斷重構(gòu)和完善起來的，具有良好的實(shí)際應(yīng)用效果。在實(shí)際項(xiàng)目中，不用通過二次開發(fā)就可以全面滿足政府、企業(yè)單獨(dú)應(yīng)用?；蛘咄ㄟ^SAAS平臺(tái)完成從上到下的垂直監(jiān)測(cè)需求。對(duì)于特殊的應(yīng)用需要，分析引擎還支持?jǐn)U展插件，用于快速完成二次開發(fā)，支持各種需求定制。

3、輿情服務(wù)平臺(tái)：

主要是用戶進(jìn)行日常輿情管理的平臺(tái)，能夠及時(shí)接受輿情信息，進(jìn)行一些常規(guī)的輿情管理工作。4.輿情系統(tǒng)原理: 全網(wǎng)輿情監(jiān)測(cè)的手段：數(shù)據(jù)源的獲取是做輿情監(jiān)測(cè)的第一步，有了米才能做粥嘛。從獲取的方法上有簡單的取巧辦法，也有復(fù)雜到需要應(yīng)對(duì)各類網(wǎng)站難題的情況。方法大致如下： 使用搜索入口作為捷徑

搜索入口有兩類：一類是搜索引擎的入口，一類是網(wǎng)站的站內(nèi)搜索。做輿情監(jiān)測(cè)往往是有主題、有定向的去做，所以很容易就可以找到監(jiān)測(cè)對(duì)象相關(guān)的關(guān)鍵字，然后利用這些關(guān)鍵字去各類搜索入口爬取數(shù)據(jù)。

當(dāng)然也會(huì)遇到反扒的問題，例如你長時(shí)間、高頻次的爬取搜索引擎的結(jié)果頁面，網(wǎng)站的反扒策略就會(huì)被觸發(fā)，讓你輸入驗(yàn)證碼來核實(shí)是否是人類行為。使用搜索入口作為捷徑也會(huì)帶來一些好處，除了爬取門檻低，不需要自己收錄各類網(wǎng)站信息外，另一個(gè)特別明顯的好處是可驗(yàn)證性非常好，程序搜索跟人搜索的結(jié)果會(huì)是一致的，所以人很難驗(yàn)證出你獲取的數(shù)據(jù)有偏頗。爬蟲根據(jù)網(wǎng)站入口遍歷爬取網(wǎng)站內(nèi)容

第一步要規(guī)劃好待爬取的網(wǎng)站有哪些？ 根據(jù)不同的業(yè)務(wù)場景梳理不同的網(wǎng)站列表，例如主題中談到的只要監(jiān)測(cè)熱門的話題，這部分最容易的就是找門戶類、熱門類網(wǎng)站，爬取他們的首頁推薦，做文章的聚合，這樣就知道哪類是最熱門的了。思路很簡單，大家都關(guān)注的就是熱門。至于內(nèi)容網(wǎng)站怎么判斷熱門，這個(gè)是可以有反饋機(jī)制的：一類是編輯推薦；一類是用戶行為點(diǎn)擊收集，然后反饋排序到首頁。

第二步是使用爬蟲獲取數(shù)據(jù)。爬蟲怎么寫是個(gè)非常大的話題，在這里不展開說明，需要提一嘴的是，爬蟲是個(gè)門檻很低但是上升曲線極高的技術(shù)。難度在于：網(wǎng)站五花八門；反扒策略各有不同；數(shù)據(jù)獲取后怎么提取到想要的內(nèi)容。數(shù)據(jù)檢索與聚合

數(shù)據(jù)獲取下來后哪些是你關(guān)心的、哪些是垃圾噪聲，需要用一些NLP處理算法來解決這些問題。這方面門檻高、難度大。首先大規(guī)模的數(shù)據(jù)如何被有效的檢索使用就是個(gè)難題。比如一天收錄一百萬個(gè)頁面（真實(shí)環(huán)境往往比這個(gè)數(shù)量級(jí)高很多），上百G的數(shù)據(jù)如何存儲(chǔ)、如何檢索都是難題。值得高興的是業(yè)內(nèi)已經(jīng)有一些成熟的方案，比如使用solr或者es來做存儲(chǔ)檢索，但隨著數(shù)據(jù)量的增多、增大，這些也會(huì)面臨著各種問題。

通常對(duì)熱門的判斷邏輯是被各家網(wǎng)站轉(zhuǎn)載、報(bào)道的多，所以使用NLP的手段來做相似性計(jì)算是必須的，業(yè)內(nèi)常用的方法有Simhash或者計(jì)算相似性余弦夾角。有些場景不單單是文章相似，還需要把類似談及的文章都做聚合，這時(shí)就需要用到一些聚類算法，例如LDA算法。從實(shí)踐經(jīng)驗(yàn)來看，聚類算法的效果良莠不齊，需要根據(jù)文本特征的情況來測(cè)試。

目前輿情監(jiān)測(cè)的現(xiàn)狀存在很多待改進(jìn)的地方。首先，手工監(jiān)測(cè)存在天然局限性。通過安排固定人手24小時(shí)值班，不間斷地瀏覽目標(biāo)站點(diǎn)并搜索目標(biāo)關(guān)鍵詞，是在缺少自動(dòng)化系統(tǒng)時(shí)最直接也是最初級(jí)的輿情監(jiān)測(cè)方式。由于受到每個(gè)人主觀思想的限制，手工監(jiān)測(cè)總會(huì)有觀察盲區(qū)，總會(huì)有覺得不重要但事后被證明很嚴(yán)重的地方，且手工無法察覺到一些站點(diǎn)或者一些偏僻的網(wǎng)頁內(nèi)容發(fā)生改變；同時(shí)，人不是機(jī)器，長期反復(fù)監(jiān)測(cè)容易導(dǎo)致疲勞，經(jīng)常會(huì)使得該判斷出來的輿情，一不留神就漏掉了。這些都會(huì)在實(shí)時(shí)性和準(zhǔn)確性上存在很大波動(dòng)。

其次是過度依賴搜索引擎。人們往往認(rèn)為在網(wǎng)絡(luò)輿情的大海里也只有搜索引擎才可能具備撈針的本領(lǐng)。但是，搜索引擎仍然具有不少局限性。除了搜索結(jié)果受關(guān)鍵詞影響很大外，搜索引擎返回的結(jié)果往往來自不受任何訪問限制的網(wǎng)站，而諸如論壇等需要登錄的網(wǎng)站則完全被排除在外。但是網(wǎng)民發(fā)表意見最多的地方，恰恰是這些提供互動(dòng)功能的網(wǎng)站。更進(jìn)一步的，搜索引擎的網(wǎng)絡(luò)爬蟲具有一定的時(shí)延性，因此不能實(shí)時(shí)搜索到最新的網(wǎng)頁更新。因此，搜索引擎不能為我們提供問題的全貌，因?yàn)樗会槍?duì)關(guān)鍵詞而不針對(duì)問題，所以談不上全面性；搜索引擎也不能在第一時(shí)間得到我們所想要的結(jié)果，因?yàn)椴粌H是它的內(nèi)容更新不夠快，而且它也不能提供針對(duì)時(shí)效性的服務(wù)，所以談不上及時(shí)性；搜索引擎只能在海量網(wǎng)頁中返回另一個(gè)海量的結(jié)果，而且是以雜亂無章的形式，對(duì)于我們關(guān)心什么，它一無所知，所以它給出的結(jié)果是所有人都關(guān)心的，而非我關(guān)心的，因此也談不上準(zhǔn)確性?？梢?，我們不能完全依賴搜索引擎來監(jiān)測(cè)網(wǎng)絡(luò)輿情，需要提出全新的技術(shù)手段來獲知網(wǎng)絡(luò)輿情，并跟蹤和分析輿情。

因此，要想保證輿情監(jiān)測(cè)的實(shí)時(shí)性、全面性和準(zhǔn)確性，最可靠的辦法就是使用自動(dòng)化的多瑞科輿情數(shù)據(jù)分析站系統(tǒng)輿情監(jiān)測(cè)系統(tǒng)，依靠軟件系統(tǒng)來消除人工方式的不足，依靠軟件系統(tǒng)來定點(diǎn)的監(jiān)測(cè)目標(biāo)站點(diǎn)及整個(gè)網(wǎng)絡(luò)，跟蹤分析各個(gè)輿情主題的發(fā)展軌跡，并自動(dòng)地整理生成日?qǐng)?bào)/周報(bào)等報(bào)告，將輿情與政府的日常工作業(yè)務(wù)有機(jī)整合在一起.

第五篇：輿情監(jiān)測(cè)系統(tǒng)的主要流程

輿情監(jiān)控，整合互聯(lián)網(wǎng)信息采集技術(shù)及信息智能處理技術(shù)通過對(duì)互聯(lián)網(wǎng)海量信息自動(dòng)抓取、自動(dòng)分類聚類、主題檢測(cè)、專題聚焦，實(shí)現(xiàn)用戶的網(wǎng)絡(luò)輿情監(jiān)測(cè)和新聞專題追蹤等信息需求，形成簡報(bào)、報(bào)告、圖表等分析結(jié)果，為客戶全面掌握群眾思想動(dòng)態(tài)，做出正確輿論引導(dǎo)，提供分析依據(jù)。

天互云鏡輿情監(jiān)控系統(tǒng)的大致工作流程分為如下三個(gè)部分：

1.制定危機(jī)預(yù)警方案。針對(duì)各種類型的危機(jī)事件，制定比較詳盡的判斷標(biāo)準(zhǔn)和預(yù)警方案，以做到有所準(zhǔn)備，一旦危機(jī)出現(xiàn)便有章可循、對(duì)癥下藥。此步驟主要是確定好監(jiān)控的目標(biāo)網(wǎng)站和過濾關(guān)鍵詞。

2.密切關(guān)注事態(tài)發(fā)展。保持第一時(shí)間知悉事態(tài)發(fā)展，加強(qiáng)監(jiān)測(cè)力度。這個(gè)可以通過第一時(shí)間大量采集、匯總各種互聯(lián)網(wǎng)上的信息。

3.及時(shí)傳遞和溝通信息。即與輿論危機(jī)涉及的政府相關(guān)部門保持緊密溝通。建立和運(yùn)用這種信息溝通機(jī)制，已經(jīng)成為網(wǎng)絡(luò)輿情管理部門的重要經(jīng)驗(yàn)。以上海為例，無論在涉日輿情、地鐵調(diào)價(jià)，還是城管打人等“網(wǎng)絡(luò)熱點(diǎn)輿情”處理上，各部門協(xié)同作戰(zhàn)、相互配合、共同商議，判斷危機(jī)走向，對(duì)預(yù)案進(jìn)行適當(dāng)修正和調(diào)整，以符合實(shí)際所需是危機(jī)應(yīng)對(duì)的重要措施。