第一篇：貝葉斯技術(shù)在反垃圾郵件中的應(yīng)用研究

淘寶網(wǎng)減肥藥排行榜 易購(gòu)網(wǎng)

貝葉斯技術(shù)研究及在反垃圾郵件系統(tǒng)中的應(yīng)用

王鵬飛王騰

(浙江廣廈建設(shè)職業(yè)技術(shù)學(xué)院 信息與控制工程學(xué)院，浙江 東陽(yáng)322100)

摘 要：貝葉斯方法在垃圾郵件處理上具有速度快、準(zhǔn)確率高的優(yōu)點(diǎn)，基于貝葉斯分類的垃圾郵件分類方法受到廣泛的關(guān)注。我們主要研究制約中文郵件過濾效果的中文分詞方法，比較基于統(tǒng)計(jì)的多種方法，并根據(jù)需要對(duì)其中幾種算法進(jìn)行改進(jìn)。關(guān)鍵詞：貝葉斯技術(shù)垃圾郵件分布式過濾協(xié)作更新

Research and Application of Bayesian in Anti-Spam systems

Wang PengfeiWang Teng

(Computer & electric engineering Institute, Guangsha College of Applied Construction Technology, Dongyang 322100)

Abstract：At present, Anti-Spam technique is a research hotspot in international academe.There into Bayesian has high speed and high nicety rate in dealing with junk mail, therefore Anti-Spam based on Bayesian has been widely paid attention.The emphases of text in carnets Chinese participial ways of restricting Chinese mail filtration effect, comparing multi-ways based on statistic and improves some arithmetic on demands.Keywords：Bayesian；Spam；Distributed filtering；Collaboration update引言

垃圾郵件目前己經(jīng)成為世界各國(guó)共同面臨的棘手問題。安全廠商Sophos發(fā)布了一份報(bào)告，列出了2006年的12個(gè)垃圾郵件大國(guó)。美國(guó)是垃圾郵件第一大國(guó)，是全球22%的垃圾郵件的發(fā)源地。中國(guó)的垃圾郵件問題同樣不容樂觀。根據(jù)中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)反垃圾郵件中心2006 年第二次反垃圾郵件調(diào)查報(bào)告的統(tǒng)計(jì)，中國(guó)互聯(lián)網(wǎng)用戶平均每周收到垃圾郵件數(shù)量為17.43封，占到了用戶接收郵件的61.99%。貝葉斯基本理論

貝葉斯統(tǒng)計(jì)源于英國(guó)學(xué)者貝葉斯撰寫發(fā)表(1763年)的一篇具有哲學(xué)性的論文：《An Essay Towards solving a problem in the doctrine of chances》，后來發(fā)展形成了貝葉斯學(xué)派。Stanford大學(xué)的 Sahami(1998)最早把Bayes方法用于到垃圾郵件過濾，取得了較好的效果。

2.1向量空間模型(Vector Space Model)

郵件是一個(gè)無結(jié)構(gòu)的文本，需要把它表示成一個(gè)向量才能進(jìn)行計(jì)算。一般采用向量空間模型來實(shí)現(xiàn)郵件向量化。

定義長(zhǎng)度為l的詞匯表V?{w1,?,wj,?,wl}，對(duì)于長(zhǎng)度為m，由單詞(稱為一個(gè)Token)

即?中的分量表示詞匯表V的對(duì)應(yīng)位置的單詞是否在d中出現(xiàn)。

收稿日期：2008-04-15

作者簡(jiǎn)介：王鵬飛（1981-），男，安徽肥東人，碩士，教師，主要從事數(shù)據(jù)挖掘和無線網(wǎng)絡(luò)技術(shù)研究。?k順序組成的郵件d{w1,?,wm}定義一個(gè)向量??x1,?,xi,?,xj?，其中xi?{0,1當(dāng)wi?d時(shí)，xi=1，否則xi=0。}，2.2Naive Bayes公式

Naive Bayes郵件過濾算法是基于內(nèi)容的垃圾郵件過濾方法中的一種簡(jiǎn)單有效的法。它的原理是把一封郵件dx當(dāng)作一份文本文件，來進(jìn)行文本分類。

郵件dx屬于郵件類別集合cj中的一種，這里 C={Cspam，Clegit}

貝葉斯用于垃圾郵件過濾時(shí)，通過計(jì)算郵件dx屬于某個(gè)類別cj的概率P(cj|dx)，對(duì)該郵件進(jìn)行分類。計(jì)算公式如下：

P(c j | dx)?

P(cj)P(dx|cj)

P(dx)

j?1,2,...,|C|(公式1)

其中，P(cj)是類的先驗(yàn)概率，P(dx|cj)是類條件概率。對(duì)同一封郵件，P(dx)不變。根據(jù)全概率公式有：

j?

1樸素貝葉斯中假設(shè)dx表示為特征集合(t1,t2,...,tn)，n為特征個(gè)數(shù)，各特征之間相互獨(dú)立。則有：

P(dx|cj)?P(t1|cj)*P(t2|cj)*...*P(tn|cj)??P(ti|cj)(公式3)

i?1n

P(dx)??P(cj)P(dx|cj)

|C|

(公式2)

公式1重新表示為：

P(d x)

P(cj|dx)?

P(cj)?P(ti|cj)

i?1

n

(公式4)

Naive Bayes文本分類存在多種變形模型，如二元獨(dú)立模型(Binary Independence Model)、多項(xiàng)式模型(Multinomial Model)、泊松分布模型(Poisson Model)、負(fù)二元獨(dú)立模型(Negative Binary Model)，其中多項(xiàng)式模型具有最佳的效果。

在訓(xùn)練集上估計(jì)P(ti|cj)時(shí)，取訓(xùn)練樣本中特征項(xiàng)ti的最大似然估計(jì)作為給定類別下的條件概率

P(ti|cj)即：

n cj

其中，ncj是類別cj的樣本中的特征項(xiàng)總出現(xiàn)次數(shù)，nti_cj是類別cj的樣本中特征項(xiàng)ti出現(xiàn)次數(shù)。為避免出現(xiàn)0概率，對(duì)其進(jìn)行簡(jiǎn)單的平滑處理，其中m是訓(xùn)練樣本中不重復(fù)的特征向量的總數(shù)：公式5可重新表示為:

P(ti|cj)?

nti_cj

(公式5)

j

in cj

P(t|c)?

nti_cj?(公式6)

貝葉斯分類方法的優(yōu)勢(shì)有：在效率上優(yōu)于其他算法；占用的存儲(chǔ)空間少；易于收集最新的垃圾郵件特征；適合于作為個(gè)性化的過濾器等。

3隱馬爾可夫模型及其改進(jìn)

3.1隱馬爾可夫模型

一個(gè)隱馬爾可夫模型是一組有限的狀態(tài)，其中的某一個(gè)狀態(tài)可以以一定的概率轉(zhuǎn)移到另外的狀態(tài)（終止?fàn)顟B(tài)除外），而且在轉(zhuǎn)移時(shí)產(chǎn)生輸出，能產(chǎn)生的輸出是有限的，輸出也是以一定的概率產(chǎn)生的。它的形式化描述是HMM =< S,W,A,B,π>。應(yīng)用在分詞問題中的隱馬爾可夫模型可以定義為：1)S 表示模型中的狀態(tài)，N 是其的狀態(tài)數(shù)。在分詞中，狀態(tài)就是統(tǒng)計(jì)得到的所有字，N為統(tǒng)計(jì)所得的總字?jǐn)?shù)。所有獨(dú)立的字都屬于集合S,S={S1,S2,...,Sn}。2）對(duì)于任何的句子都可以用集合S中的N個(gè)狀態(tài)來表示，并定義qt為一個(gè)句子中第t個(gè)字，它可能是N個(gè)字中的任一個(gè)。對(duì)于具體的算法來說，要確切計(jì)算如下的概率，需要統(tǒng)計(jì)(q1=Si1,q2=Si2，qt=Sit)，t?詞的最大長(zhǎng)度。這在實(shí)際的應(yīng)用中是不可行的，所以對(duì)條件概率的計(jì)算被縮短為只看當(dāng)前的狀態(tài)和其前一個(gè)狀態(tài)(見公式a)。3)狀態(tài)轉(zhuǎn)移概率矩陣A={aij}。此矩陣中的各元素在分詞中表示為某一字向其它字轉(zhuǎn)移的概率，即當(dāng)字A出現(xiàn)時(shí)，其他的字出現(xiàn)在A之后的概率見公式b。4)初始狀態(tài)分布矢量∏={∏i}，在分詞中表示在t = 1時(shí)刻字為狀態(tài)Si的概率，即詞的第一個(gè)字為

Si的概率（見公式c）。5）在給定的模型下，根據(jù)已經(jīng)確定的需要結(jié)合的字來確定后一個(gè)相鄰的字要不要

結(jié)合到此新詞中（見公式d）。公式a、b、c、d如下：

P(qt?1?Sj|(q1?Si1,q2?Si2?,qt?Sit))?P(qt?1?Sj|qt?Sit)

（a）

ai,j?P(qt?1?Sj|qt?Si)?

Num_of_word[Si,Sj]

?Num_of_word[S,S]

i

j

j?1

N

1?i?N，（b）

（c）

Num_of_Si_in_word_as_first_character

?i?P(q1?Si)?

Num_of_Si_appear

P(O|Model)?P[Si1，Si2，Sim|Model]?

?P[Si1]?P[Si2|Si1]?P[Si3|Si2]???P[Sim|Sim?1]

(d)

＝?i1?ai1,i2?ai2,i3???aim?1,im

3.2改進(jìn)的隱馬爾可夫模型

由于在隱馬爾可夫模型中，后一個(gè)字要不要與前面的字串組合成詞，此條件概率最終轉(zhuǎn)化為只與每個(gè)字的前一個(gè)字相關(guān)，在本文中把此鏈改進(jìn)為與前兩個(gè)字相關(guān)，這樣準(zhǔn)確性比HMM要高，但代價(jià)是在用n-gram算法的統(tǒng)計(jì)過程中，從原來的n=1，2變?yōu)閚=1，2，3。后面將通過實(shí)驗(yàn)來確定用哪種方法更合理。

改進(jìn)HMM中的公式(a)為：

P(qt?1?Sj|(q1?Si1,q2?Si2?,qt?Sit))?P(qt?1?Sj|(qt?1?Sit?1,qt?Sit))

改進(jìn)公式(b),(c)為：

ak,i,j?P(qt?1?Sj|(qt?1?Sk,qt?Si))?

Num_of_word[Sk,Si,Sj]

?Num_of_word[S,S,S]

k

i

j

j?1

N

?i?P(q1?Si1,q2?Si2)?

改進(jìn)公式(d)為：

Num_of_word_beginning_with_Si1Si2

Num_of_Si1Si2

P(O|Model)?P[Si1,Si2,?,Sim|Model]

?P[Si1,Si2]?P[Si3|(Si1,Si2)]?P[Si4|(Si2,Si3)]???P[Sim|(Sim?2,Sim?1)]??i?ai1,i2,i3?ai2,i3,i4???aim?2,im?1,im結(jié)語(yǔ)

由于貝葉斯技術(shù)在英文郵件分類中已經(jīng)取得了良好的效果，所以本文把研究的重點(diǎn)放在了貝葉斯技術(shù)應(yīng)用研究上，目前還沒有公開的、公認(rèn)的最有效的發(fā)垃圾方法，因此在本文中研究比較了基于隱馬爾可夫模型并進(jìn)行了改進(jìn)。

參考文獻(xiàn)：

[1] 雷杰,王明哲,孫德寶.基于貝葉斯網(wǎng)絡(luò)的特征分類器[J].情報(bào)指揮控制系統(tǒng)與仿真技術(shù), 2001,(9).[2] 余東峰,孫兆林.基于貝葉斯網(wǎng)絡(luò)不確定推理的研究[J].微型電腦應(yīng)用,2004,(8).[3] 馮楠,李敏強(qiáng),寇紀(jì)淞,方德.基于貝葉斯網(wǎng)絡(luò)的軟件項(xiàng)目風(fēng)險(xiǎn)管理模型[J].計(jì)算機(jī)工程,2007,(7).[責(zé)任編輯：程 娟]

第二篇：反垃圾郵件技術(shù)初探

反垃圾郵件技術(shù)初探

摘要：如今，電子郵件的應(yīng)用已經(jīng)非常廣泛，給人們的工作和生活帶來了很大的方便。但是垃圾郵件的泛濫也給用戶帶來了諸多不便，尤其是病毒類垃圾郵件已經(jīng)嚴(yán)重威脅用戶信息的安全。在本文中，筆者通過對(duì)Internet存在的垃圾郵件問題進(jìn)行探討，從垃圾郵件的起因和特點(diǎn)出發(fā)，闡述了反垃圾郵件的技術(shù)。關(guān)鍵詞：垃圾郵件；技術(shù)；過濾

隨著計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)的發(fā)展，電子郵件成為人們生活、工作中不可缺少的一項(xiàng)互聯(lián)網(wǎng)服務(wù)，電子郵件費(fèi)用低廉、使用方便、信息量大、信息傳遞速度快，極大的滿足了人們的需求。正是因?yàn)猷]件的這些特點(diǎn)，使垃圾郵件泛濫，而且具有反復(fù)性、不健康性和強(qiáng)制性，嚴(yán)重干擾了人們的正常生活，因此，要對(duì)反垃圾郵件技術(shù)進(jìn)行探討。

一、垃圾郵件簡(jiǎn)介

（一）垃圾郵件的概念

垃圾郵件是指收件人沒有事先提出要求或者同意接受的電子刊物、廣告等具有宣傳性質(zhì)的電子郵件；隱藏發(fā)件人身份、標(biāo)題、地址等信息的電子郵件；收件人無法拒收的電子郵件；含有虛假信息源、路由、發(fā)件人的電子郵件?？傊?，垃圾郵件是指和內(nèi)容無關(guān)，發(fā)送給多個(gè)未明確要求該郵件的收件人的郵件，也指發(fā)送給與信件主體不相關(guān)的新聞組或列表服務(wù)器的同一信件的重復(fù)郵件。

（二）垃圾郵件發(fā)送手段

1.以圖片方式代替文字內(nèi)容發(fā)送。把將要傳送的內(nèi)容以圖片的形式附入郵件中，過濾器很難識(shí)別圖片文件包含的內(nèi)容。

2.郵件內(nèi)容、發(fā)件信息偽裝。通過隨機(jī)內(nèi)容生成器等將收信人地址加到正文或標(biāo)題中，吸引收件人查看。

3.利用受病毒感染的“僵尸網(wǎng)絡(luò)”發(fā)送。比如說利用蠕蟲病毒，將垃圾郵件發(fā)送給世界各地可被蠕蟲病毒感染的機(jī)器，使被感染的電腦在機(jī)主不知情的情況下發(fā)送垃圾郵件。

4.采用“視覺戰(zhàn)術(shù)”，采用HTML格式，把內(nèi)容加噪，干擾反垃圾郵件系統(tǒng)對(duì)于郵件內(nèi)容的判斷，但是垃圾郵件的接受者依然可以接受垃圾郵件的原始信息。

二、反垃圾郵件技術(shù)

（一）規(guī)則過濾技術(shù)

規(guī)則過濾技術(shù)是指通過設(shè)置一些基本規(guī)則，對(duì)要識(shí)別的郵件進(jìn)行評(píng)估，只有符合這些規(guī)則的一條或幾條規(guī)定，就認(rèn)為是垃圾郵件。這些規(guī)則主要有：

1.通過SMTP通信鏈接頻度、速率的設(shè)定，過濾垃圾郵件。垃圾郵件的發(fā)送者常常試圖通過在很短一段時(shí)間內(nèi)發(fā)送大量郵件來阻塞郵件服務(wù)器，所以，可通過對(duì)每個(gè)IP地址可用的帶寬比例或并發(fā)SMTP連接數(shù)目進(jìn)行限制，限制異常的網(wǎng)絡(luò)流量，達(dá)到限制垃圾郵件的目的，也減少服務(wù)器因?yàn)槔]件耗費(fèi)的能源。

2.利用郵件地址、反向域名、域名“黑白名單”、IP查詢進(jìn)行郵件的過濾和限制。①實(shí)時(shí)黑名單技術(shù)就是通過檢查收到郵件的IP地址，與實(shí)時(shí)黑名單中的IP地址進(jìn)行核對(duì)阻止垃圾郵件，同時(shí)，實(shí)時(shí)黑名單是通過DNS來查找IP地址的A記錄是否存在，并不需要手工維護(hù)IP地址的列表清單。②反向域名驗(yàn)證方法是通過啟動(dòng)郵件服務(wù)器的反省域名解析功能，對(duì)收到來源的IP地址采用反向的DNS驗(yàn)證真實(shí)性，有效過濾掉來自動(dòng)態(tài)IP的垃圾郵件，降低垃圾郵件的數(shù)量。

（二）圖片垃圾郵件的判別技術(shù)

1.杜絕圖片垃圾郵件的關(guān)鍵在于分層處理，分層處理的解決方案加上有效的過濾原則，可幫助用戶解決圖片垃圾郵件帶來的網(wǎng)絡(luò)資源和網(wǎng)絡(luò)帶寬的浪費(fèi)。

2.通信協(xié)議掃描技術(shù)是針對(duì)垃圾郵件的發(fā)信行為，對(duì)發(fā)件人進(jìn)行監(jiān)控和阻擋，減少垃圾郵件。通過對(duì)垃圾郵件行為解析，透過SMTP聯(lián)機(jī)實(shí)時(shí)通信協(xié)議，對(duì)寄件者真實(shí)身份進(jìn)行分析判斷并適時(shí)回饋，判斷其通訊行為，到圖像式垃圾郵件實(shí)現(xiàn)高效的阻擋。

（三）基于統(tǒng)計(jì)的內(nèi)容過濾技術(shù)

1.基于統(tǒng)計(jì)的內(nèi)容過濾技術(shù)，是利用統(tǒng)計(jì)分類算法與文本分類對(duì)垃圾郵件進(jìn)行檢測(cè)，典型技術(shù)是貝葉斯過濾器。

2.貝葉斯過濾器的基本流程是：①在已經(jīng)確定的正常郵件集和垃圾郵件集中進(jìn)行學(xué)習(xí)，根據(jù)每個(gè)單詞都兩個(gè)集合中分別出現(xiàn)的次數(shù)，計(jì)算單詞為垃圾詞匯的概率。②當(dāng)新郵件到達(dá)時(shí)，對(duì)信件內(nèi)容進(jìn)行系統(tǒng)性的分詞和選詞，得到一組組單詞，根據(jù)在集合中學(xué)到的信息，計(jì)算整個(gè)單詞流的概率，判斷信件是否是垃圾郵件。

3.在實(shí)際應(yīng)用中，因?yàn)樨惾~斯分類法是利用概率推斷郵件是否是垃圾郵件，為了方便管理，系統(tǒng)通過對(duì)郵件的打分確定郵件是否是垃圾郵件，為不同的概率設(shè)立不同的分?jǐn)?shù)，每封郵件是否是垃圾郵件就以分?jǐn)?shù)表示，確定一個(gè)闕值，查看郵件的分?jǐn)?shù)，如果郵件的分?jǐn)?shù)超過了闕值，郵件就是垃圾郵件，反之不是。結(jié)語(yǔ)：

垃圾郵件是全球性的問題，也是一種社會(huì)現(xiàn)象，對(duì)于這一問題，應(yīng)該采用管理和技術(shù)相結(jié)合的方式，以先進(jìn)的技術(shù)手段為基礎(chǔ)，同時(shí)以完善的法律法規(guī)和管理規(guī)范為依托，通過建立國(guó)家性的反郵件服務(wù)體系，促進(jìn)郵件服務(wù)商和運(yùn)營(yíng)商的協(xié)調(diào)合作，推動(dòng)反垃圾郵件技術(shù)的發(fā)展。

參考文獻(xiàn)：

[1]熊應(yīng), 朱斌, 朱海云.電子郵件智能分類系統(tǒng)的設(shè)計(jì).電子學(xué)報(bào), 2011, 29(12)

[2]楊清, 楊岳湘, 翟國(guó)平.智能文本分類系統(tǒng)的研究與設(shè)計(jì)，計(jì)算機(jī)應(yīng)用研究,2009,10

[3] 劉建毅, 張鵬飛, 王 極.高性能電子郵件過濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究, 2008(4): 224-225.[4] 李文斌, 劉椿年, 黃佳進(jìn).基于數(shù)據(jù)挖掘的垃圾E-mail 過濾方法[J].北京工業(yè)大學(xué)學(xué)報(bào), 2009, 29(2): 237-240.

第三篇：淺析反垃圾郵件技術(shù)

淺析反垃圾郵件技術(shù)

杜暖男 馬瑩瑩

（平頂山工業(yè)職業(yè)技術(shù)學(xué)院，河南平頂山 467001）

摘要：現(xiàn)如今，垃圾郵件已經(jīng)成為困擾人們網(wǎng)路交流的安全隱患之一，本文主要針對(duì)這個(gè)問題，簡(jiǎn)要分析一些較為實(shí)用的反垃圾郵件技術(shù)。

關(guān)鍵字：資訊安全；反垃圾郵件；過濾技術(shù)；

中圖分類號(hào)：TP393.08

眾所周知，電子郵件已成為人們進(jìn)行網(wǎng)路交流溝通的重要途徑，但是人們需要花費(fèi)時(shí)間來處理日益增長(zhǎng)的垃圾郵件。由於垃圾郵件數(shù)量多，具有反復(fù)性、強(qiáng)制性、欺騙性、不健康性和傳播速度快等特點(diǎn)，嚴(yán)重干擾了人們正常生活，浪費(fèi)用戶的時(shí)間、精力甚至造成很多額外的經(jīng)濟(jì)支出和資訊安全隱患。因此，對(duì)反垃圾郵件技術(shù)的研究已經(jīng)成為影響互聯(lián)網(wǎng)發(fā)展的重要課題之一。本文主要對(duì)反垃圾郵件技術(shù)進(jìn)行簡(jiǎn)要的分析。

目前存在的垃圾郵件主要有帶附件的垃圾郵件、內(nèi)容為圖片的垃圾郵件和文本型垃圾郵件三種類型。針對(duì)這三種類型的垃圾郵件的典型技術(shù)有通信協(xié)定掃描技術(shù)和貝葉斯過濾技術(shù)。1規(guī)則過濾技術(shù)

使用規(guī)則過濾技術(shù)進(jìn)行判斷可以相對(duì)快速的判斷垃圾郵件，這種技術(shù)通過設(shè)置一些規(guī)則，然後對(duì)要識(shí)別的郵件評(píng)估了大量的模式大多數(shù)是正則運(yùn)算式。只要符合這些規(guī)則的一條或幾條，就認(rèn)為是垃圾郵件。使用這種技術(shù)最重要的是評(píng)定規(guī)則的更新。這些規(guī)則通常有：

（1）利用郵件位址、IP、功能變數(shù)名稱“黑白名單”或反向功能變數(shù)名稱查詢進(jìn)行的郵件限制或過濾。為了有效地拒絕來自惡意的垃圾郵件來源站點(diǎn)和域被利用的垃圾郵件來源站點(diǎn)所發(fā)來的垃圾郵件，最直接和有效的辦法就是拒絕該來源的連接。

即時(shí)黑名單（Realtime Bolckhole List，簡(jiǎn)稱RBL）技術(shù)通過檢查收到郵件的IP地址，與在RBL中的IP地址核對(duì)來阻止垃圾郵件。即時(shí)黑名單不需要手工維護(hù)IP位址列表清單，而是通過DNS方式來動(dòng)態(tài)地查找一個(gè)IP位址的 A（Address）記錄是否存在。因此即時(shí)黑名單技術(shù)也被稱為RBLs。

反向功能變數(shù)名稱驗(yàn)證的方法就是啟動(dòng)郵件伺服器的反向功能變數(shù)名稱解析功能，對(duì)收到郵件的來源IP位址採(cǎi)用反向DNS查找驗(yàn)證真實(shí)性。如果反向DNS查找提供的域與郵件上的來源IP地址相符號(hào)，該郵件被接受，如果不符合，該郵件被拒絕。例如其聲稱的名字為mail.changan.net，而其IP位址為202.96.172.185，與其DNS記錄相符，則予以接收。這種方法可以有效過濾掉來自動(dòng)態(tài)IP的垃圾郵件，大大降低垃圾郵件的數(shù)量。但是，由於很多反向DNS目錄未被有效建立，或無法正常建立，在這種情況下，由這些域發(fā)送的郵件將被阻斷，造成不可接受的高誤報(bào)率。

（2）通過SMTP通信鏈結(jié)速率、頻度的設(shè)定，過濾不符合規(guī)定的郵件。垃圾郵件發(fā)送者經(jīng)常試圖通過在很短一段時(shí)間內(nèi)發(fā)送大量郵件阻塞郵件伺服器，這被稱為DOS（拒絕服務(wù)）攻擊。垃圾郵件的一個(gè)基本特徵是會(huì)在短時(shí)間內(nèi)發(fā)送大量的郵件，這就表現(xiàn)為某個(gè)IP地址會(huì)在短時(shí)間內(nèi)重複連接收件伺服器的SMTP埠，並佔(zhàn)用大量的帶寬。根據(jù)這個(gè)特點(diǎn)，一種方法是對(duì)每個(gè)IP位址可用的帶寬比例進(jìn)行限制，另一種是對(duì)每個(gè)IP位址的併發(fā)SMTP連接數(shù)目進(jìn)行限制。結(jié)合動(dòng)態(tài)黑名單方式，更好地限制那些異常的網(wǎng)路流量，採(cǎi)用郵件重複技術(shù)進(jìn)行限制，對(duì)那些郵件頭中關(guān)鍵資訊重複的郵件進(jìn)行限制，如發(fā)送IP位址、發(fā)件人、郵件主題。這樣既可以達(dá)到限制垃圾郵件的目的，也可以減少伺服器由於處理垃圾郵件所消耗的資源。

規(guī)則過濾技術(shù)雖然可以過濾一類垃圾郵件，但是不能適應(yīng)垃圾郵件的發(fā)展，只要垃圾郵件的郵件作了一些改變，就要手動(dòng)更新規(guī)則才能滿足垃圾郵件的變化。

2基於統(tǒng)計(jì)的內(nèi)容過濾技術(shù)

基於統(tǒng)計(jì)內(nèi)容的郵件過濾技術(shù)，可以不考慮語(yǔ)義環(huán)境，利用文本分類與統(tǒng)計(jì)分類演算法進(jìn)行垃圾郵件檢測(cè)。比較有代表性的是貝葉斯篩檢程式，貝葉斯分析採(cǎi)用過去事件的知識(shí)預(yù)測(cè)未來事件。

其基本流程是：首先在已經(jīng)確定的垃圾郵件集和正常郵件集中進(jìn)行學(xué)習(xí)，根據(jù)每個(gè)單詞分別在兩個(gè)集合中出現(xiàn)的次數(shù)，計(jì)算單詞為垃圾辭彙的概率。當(dāng)一封新郵件到達(dá)時(shí)，系統(tǒng)對(duì)信件內(nèi)容進(jìn)行分詞和選詞，得到一組單詞流，然後根據(jù)學(xué)習(xí)到的資訊，計(jì)算整個(gè)單詞流的概率，並最終判斷該信件是否為垃圾郵件。

因?yàn)樨惾~斯分類法是利用概率來推斷給定的郵件是垃圾郵件的可能性，在實(shí)際應(yīng)用中為了便於管理，系統(tǒng)採(cǎi)用了打分的方法來為垃圾郵件與正常郵件的區(qū)分設(shè)定界限。首先，為不同的可能性建立相應(yīng)的分?jǐn)?shù)，每封郵件是垃圾郵件的可能性就轉(zhuǎn)化為分?jǐn)?shù)來表示，增強(qiáng)了可讀性；然後，確定一個(gè)閾值，如果郵件的分?jǐn)?shù)超過了閾值，那麼該郵件就判定為垃圾郵件，反之為正常郵件。

3圖片垃圾郵件的判別技術(shù)

隨著垃圾郵件的日益複雜，其表現(xiàn)形式也千變?nèi)f化。垃圾郵件正由以往頗具迷惑性的URL位址鏈結(jié)和文字形式逐漸演變成圖片格式。杜絕圖片垃圾郵件的關(guān)鍵在於分層處理。當(dāng)分層處理的解決方案加上有效的過濾規(guī)則，用戶就會(huì)解決圖片垃圾郵件所帶來的網(wǎng)路資源和網(wǎng)路帶寬的大量浪費(fèi)。而採(cǎi)用典型的基於內(nèi)容過濾的貝葉斯演算法無法過濾此類垃圾郵件。通信協(xié)定掃描技術(shù)是防垃圾郵件技術(shù)領(lǐng)域的一種新型技術(shù)。此技術(shù)對(duì)於識(shí)別和阻攔圖片式的垃圾郵件起到很大的作用。

通信協(xié)定掃描技術(shù)主要針對(duì)垃圾郵件的發(fā)信行為，對(duì)發(fā)件人進(jìn)行監(jiān)控、阻擋，以達(dá)到減少垃圾郵件。通信協(xié)定掃描技術(shù)藉由匿名、偽造、濫發(fā)、非法的郵件行為判別，在不比對(duì)郵件內(nèi)容/黑名單下，進(jìn)行垃圾郵件行為解析，透過SMTP聯(lián)機(jī)即時(shí)通信協(xié)定，分析判斷並即時(shí)回溯追蹤寄件者真實(shí)身份，以判斷其通訊行為，對(duì)於圖像式垃圾郵件可以高效地實(shí)現(xiàn)阻擋。目前，垃圾郵件作為互聯(lián)網(wǎng)中的一個(gè)突出安全問題日益成為我們關(guān)注的重點(diǎn)和研究的熱點(diǎn)。單靠一種技術(shù)是無法徹底解決垃圾郵件，只有將各種反垃圾郵件技術(shù)結(jié)合起來運(yùn)用，研製出更好的反垃圾郵件產(chǎn)品，並採(cǎi)用法律管理手段才能有效地控制和治理垃圾郵件。

第四篇：反垃圾郵件技術(shù)——郵件過濾

在對(duì)抗垃圾郵件的技術(shù)中還有一種極為重要的技術(shù)是郵件過濾技術(shù)（Mail Filter）。通過實(shí)時(shí)黑名單技術(shù)并不能完全解決垃圾郵件的問題，使用郵件過濾技術(shù)與之配合才能更有效的消除垃圾郵件帶來的影響。

郵件過濾按照郵件系統(tǒng)的角色結(jié)構(gòu)可以分為三類：

MTA（郵件傳輸代理）過濾

MDA（郵件遞交代理）過濾

MUA（郵件用戶代理）過濾

MTA過濾是指MTA在會(huì)話過程中對(duì)會(huì)話的數(shù)據(jù)進(jìn)行檢查，對(duì)于符合過濾條件的郵件進(jìn)行過濾處理。郵件會(huì)話過程中有兩個(gè)階段可以進(jìn)行過濾：

第一個(gè)階段，郵件發(fā)送郵件數(shù)據(jù)前，即在發(fā)送DATA指令前的過濾。在發(fā)送DATA指令前，郵件對(duì)話可以在SMTP連接開始、HELO/EHLO指令、MAIL FROM指令和RCPT TO指令中對(duì)會(huì)話數(shù)據(jù)進(jìn)行檢查。

如果在檢查中該會(huì)話符合過濾的條件，就可以按照規(guī)則采取相應(yīng)的動(dòng)作，如直接在會(huì)話階段斷開連接、發(fā)出警告代碼等。郵件發(fā)送郵件數(shù)據(jù)前的檢查也叫做信封檢查。

第二個(gè)階段，郵件發(fā)送郵件數(shù)據(jù)后，即在發(fā)送DATA指令后的過濾。在通過一個(gè)點(diǎn)的單行結(jié)束DATA指令后，可以對(duì)DATA指令接收到的數(shù)據(jù)進(jìn)行檢查，這包括信頭檢查和信體檢查。在DATA指令所傳送的數(shù)據(jù)中，信頭和信體是通過一個(gè)空行分隔開的。

信頭一般都比較小，通常在1KB－10KB之間，檢查信頭也比較快。而信體檢查就要檢查大量的數(shù)據(jù)，會(huì)給郵件服務(wù)器帶來很大的負(fù)載。所以通常不做信體檢查。

郵件發(fā)送郵件數(shù)據(jù)后的檢查實(shí)際上是在郵件數(shù)據(jù)傳輸基本完畢后進(jìn)行的，因此并不能節(jié)省下被垃圾郵件占用的帶寬和處理能力，只是可以讓用戶不再收到這些已被過濾的垃圾郵件。MDA過濾是指MDA在從MTA中接收到信件，在本地或遠(yuǎn)程進(jìn)行遞交時(shí)進(jìn)行檢查，對(duì)于符合過濾條件的郵件進(jìn)行過濾處理。

很多的MDA都支持在這個(gè)過程進(jìn)行過濾，如Procmail、Maildrop和Cyrus-IMAP等，甚至它們本身就是作為過濾器使用的。這些過濾器使用過濾語(yǔ)言（如Sieve，它是一個(gè)標(biāo)準(zhǔn)化的郵件過濾語(yǔ)言，現(xiàn)在已成為IETF標(biāo)準(zhǔn)）。來制訂過濾規(guī)則，因此配置比較靈活、功能強(qiáng)大。但是由于是在郵件遞交階段進(jìn)行過濾，同MTA的郵件發(fā)送郵件數(shù)據(jù)后的檢查一樣，并不能節(jié)省下被垃圾郵件占用的帶寬和處理能力，只是可以讓用戶不再收到這些已被過濾的垃圾郵件。

MTA和MDA過濾都是郵件服務(wù)器端的過濾，而MUA過濾是郵件用戶的客戶端的過濾。多數(shù)流行的郵件客戶端，如Outlook、Outlook Express、Netscape Mail、Foxmail等都支持MUA過濾。

郵件過濾技術(shù)作為一個(gè)有效的對(duì)抗垃圾郵件的手段，就如同殺毒軟件對(duì)病毒的查殺一樣，也是需要不斷根據(jù)情況更新郵件過濾規(guī)則的。通常都是管理員自行根據(jù)垃圾郵件監(jiān)測(cè)情況來更新過濾規(guī)則。不過本站即將推出一個(gè)推薦的信頭過濾規(guī)則和信體過濾規(guī)則，并不斷根據(jù)情況進(jìn)行更新。用戶可以訂閱這些規(guī)則并參考應(yīng)用到自己的郵件系統(tǒng)中。

郵件過濾是一項(xiàng)應(yīng)用的相當(dāng)早的技術(shù)，因而也發(fā)展的比較完善。已經(jīng)有很多主流的郵件系統(tǒng)支持郵件過濾，一些不直接支持該功能的郵件系統(tǒng)也可以通過補(bǔ)丁或外置的郵件過濾器來實(shí)現(xiàn)郵件過濾。

不過由于多數(shù)的黑名單服務(wù)提供者是國(guó)外的組織和公司，所以其提供的黑名單并不能有效地反映出國(guó)內(nèi)的垃圾郵件情況，因此國(guó)內(nèi)使用實(shí)時(shí)黑名單服務(wù)的郵件商很少，這也是我們之所以要提供自己的實(shí)時(shí)黑名單服務(wù)的原因。我們希望提供一個(gè)主要針對(duì)國(guó)內(nèi)的垃圾郵件狀況和動(dòng)態(tài)地址分布的黑名單來為有效地遏制垃圾郵件做些有益的貢獻(xiàn)

第五篇：垃圾郵件與反垃圾郵件技術(shù)淺析[范文]

垃圾郵件與反垃圾郵件技術(shù)淺析

學(xué)號(hào)：

姓名：

院系：

郵件：

電話：

垃圾郵件與反垃圾郵件技術(shù)淺析

摘要：最近幾年，垃圾郵件肆虐橫行，危害越來越大，嚴(yán)重影響了正常的網(wǎng)絡(luò)運(yùn)行。本文簡(jiǎn)單地介紹了垃圾郵件的定義及垃圾郵件泛濫的原因；重點(diǎn)論述了當(dāng)前主要的反垃圾郵件技術(shù)，最后對(duì)未來反垃圾郵件技術(shù)提出了展望。

關(guān)鍵詞：垃圾郵件；反垃圾郵件；郵件過濾

1引言

隨著全球信息化的迅猛發(fā)展，互聯(lián)網(wǎng)絡(luò)已經(jīng)成為人們工作、學(xué)習(xí)和生活中不可或缺的部分，而電子郵件又是人們進(jìn)行信息交流的重要手段?？墒牵]件又是困擾網(wǎng)絡(luò)用戶的難題。垃圾郵件不僅消耗網(wǎng)絡(luò)頻寬，而且浪費(fèi)用戶的存儲(chǔ)空間，甚至有可能成為造成社會(huì)不穩(wěn)定的因素，所以我們有必要采取技術(shù)措施控制垃圾郵件的肆意蔓延。2什么是垃圾郵件

某種程度上，對(duì)垃圾郵件的定義可以是：人們沒有意愿去接收到的電子郵件都是垃圾郵件。比如：

（1）商業(yè)廣告。很多公司為了宣傳新的產(chǎn)品、新的活動(dòng)等通過電子郵件的方式進(jìn)行宣傳。

（2）政治言論。目前會(huì)收到不少來自其他國(guó)家或者反動(dòng)組織發(fā)送的這類電子郵件，這就跟垃圾的商業(yè)廣告一樣，銷售和販賣他們的所謂言論。

（3）蠕蟲病毒郵件。越來越多的病毒通過電子郵件來迅速傳播，這也的確是一條迅速而且有效的傳播途徑。

（4）惡意郵件。恐嚇、欺騙性郵件。比如phishing，這是一種假冒網(wǎng)頁(yè)的電子郵件，完全是一種詭計(jì)，來蒙騙用戶的個(gè)人信息、賬號(hào)甚至信用卡。

3垃圾郵件泛濫的原因

垃圾郵件的產(chǎn)生可以追溯到最開始的連鎖信，隨著郵件技術(shù)的發(fā)展，垃圾郵件技術(shù)也在逐步發(fā)展，要想找到徹底解決垃圾郵件問題的技術(shù)，必須從郵件傳輸?shù)脑砣胧?。目前郵件傳遞的主要協(xié)議是SMTP協(xié)議，該協(xié)議沒有任何認(rèn)證手段，因此缺省的SMTP郵件服務(wù)器是所謂的OpenRelay(開放轉(zhuǎn)發(fā)器)，無論郵件來自哪里或發(fā)到哪里，郵件服務(wù)器都會(huì)予以發(fā)送。

最常見的郵件發(fā)送過程是這樣：郵件的客戶端使用SMTP協(xié)議將郵件發(fā)送給一臺(tái)SMTP發(fā)送服務(wù)器，然后SMTP發(fā)送服務(wù)器根據(jù)郵件的目的地址，使用SMTP協(xié)議將該郵件轉(zhuǎn)發(fā)給目標(biāo)SMTP服務(wù)器(接收服務(wù)器)，接收服務(wù)器收到郵件后放入接收人的郵箱(Mailbox或Maildir，可能是單獨(dú)的服務(wù)器，也可能是同一臺(tái)機(jī)器上)，最后另一個(gè)郵件客戶端(接收方)使用POP3或IMAP協(xié)議從郵箱服務(wù)器上接收自己的郵件。整個(gè)過程中，發(fā)送方與發(fā)送服務(wù)器、發(fā)送服務(wù)器和接收服務(wù)器之間都不做認(rèn)證，因此發(fā)送方可以使用互聯(lián)網(wǎng)上任意一臺(tái)SMTP服務(wù)器來發(fā)送郵件，這就是Open Relay。

近年來由于垃圾郵件的泛濫，大部分郵件服務(wù)器關(guān)閉了Open Relay，在發(fā)送方與發(fā)送服務(wù)器間需要認(rèn)證，來保證發(fā)送服務(wù)器發(fā)送郵件的主機(jī)的合法性，這就是增強(qiáng)的ESMTP協(xié)議。但這并沒有解決第二個(gè)環(huán)節(jié)：發(fā)送郵件器和接收郵件服務(wù)器間的合法性認(rèn)證。因?yàn)椴豢赡芤蠼邮锗]件服務(wù)器上保存所有發(fā)送郵件服務(wù)器的合法用戶信息，因此發(fā)送郵件服務(wù)器無法向接收郵件服務(wù)器做認(rèn)證。

目前的郵件服務(wù)器的處理方式是：如果目的地址是本郵件服務(wù)器的用戶，則無需認(rèn)證予以接收；如果目的地址不是本郵件服務(wù)器的用戶，需要用本郵件服務(wù)器的合法用戶的用戶名和口令來認(rèn)證(該用戶可以不是該郵件的發(fā)件人)。這樣，就給自動(dòng)垃圾郵件發(fā)送程序提供了可能：它只要給郵件服務(wù)器發(fā)的郵件都是該郵件服務(wù)器的用戶，即可發(fā)送進(jìn)去。我們知道，可以隨處得到一個(gè)數(shù)百萬甚至上千萬的Email列表，使用程序自動(dòng)按照郵件服務(wù)器域名發(fā)送相應(yīng)的用戶是很容易的，這就導(dǎo)致了垃圾郵件的泛濫。

4垃圾郵件的危害

垃圾郵件可以說是互聯(lián)網(wǎng)帶給人類最具爭(zhēng)議性的副產(chǎn)品，它的泛濫已經(jīng)使整個(gè)互聯(lián)網(wǎng)不堪重負(fù)，并造成以下一些危害：

——占用網(wǎng)絡(luò)帶寬，造成郵件服務(wù)器擁塞，進(jìn)而降低整個(gè)網(wǎng)絡(luò)的運(yùn)行效率。

——侵犯收件人的隱私權(quán)，侵占收件人信箱空間，耗費(fèi)收件人的時(shí)間、精力和金錢。有的垃圾郵件還盜用他人的電子郵件地址做發(fā)信地址，嚴(yán)重?fù)p害了他人的信譽(yù)。

——被黑客利用，成為助紂為虐的工具。如2003年2月份，黑客攻擊雅虎等五大熱門網(wǎng)站就是一個(gè)例子。黑客先是侵入并控制了一些高帶寬的網(wǎng)站，集眾多服務(wù)器的帶寬能力，然后用數(shù)以億萬計(jì)的垃圾郵件猛烈襲擊目標(biāo)，造成被攻擊網(wǎng)站網(wǎng)路堵塞，最終癱瘓。

——嚴(yán)重影響ISP的服務(wù)形象。在國(guó)際上，頻繁轉(zhuǎn)發(fā)垃圾郵件的主機(jī)會(huì)被上級(jí)國(guó)際互聯(lián)網(wǎng)服務(wù)提供商列入國(guó)際垃圾郵件數(shù)據(jù)庫(kù)，從而導(dǎo)致該主機(jī)不能訪問國(guó)外許多網(wǎng)絡(luò)，而且收到垃圾郵件的用戶會(huì)因?yàn)镮SP沒有建立完善的垃圾郵件過濾機(jī)制，而轉(zhuǎn)向其它ISP。

——妖言惑眾，騙人錢財(cái)，傳播色情等內(nèi)容的垃圾郵件，已經(jīng)對(duì)現(xiàn)實(shí)社會(huì)造成了危害。

5當(dāng)前主要的反垃圾郵件技術(shù)

5.1貝葉斯算法

貝葉斯算法是一種比較智能的技術(shù)，用戶通過培訓(xùn)讓反垃圾郵件產(chǎn)品認(rèn)識(shí)什么樣的郵件是垃圾郵件，什么樣的郵件是正常的郵件，然后形成一個(gè)貝葉斯庫(kù)。根據(jù)分析以前發(fā)生的事情頻率和概率來預(yù)測(cè)將發(fā)生事情的頻率和概率，判斷垃圾郵件的依據(jù)就是貝葉斯庫(kù)。

貝葉斯算法的優(yōu)點(diǎn)是，垃圾郵件的判斷準(zhǔn)確性大大提高；缺點(diǎn)是，需要用戶進(jìn)行干預(yù)，判別的速度較慢。

5.2指紋識(shí)別

所謂郵件的指紋，就是郵件內(nèi)容中的一些字符串的組合，又稱為快照。就是從類似、但不相同的信息中，識(shí)別已經(jīng)被確認(rèn)為垃圾郵件的信息。反垃圾郵件產(chǎn)品通過確認(rèn)的指紋，完成對(duì)垃圾郵件的識(shí)別。

當(dāng)然，指紋檢查的準(zhǔn)確性依賴于垃圾郵件的指紋庫(kù)，反垃圾郵件產(chǎn)品先給郵件中出現(xiàn)的每一個(gè)字符賦予一個(gè)數(shù)值(這個(gè)數(shù)值的確是按照特定垃圾的用詞規(guī)律特點(diǎn)進(jìn)行分類)，再利用統(tǒng)計(jì)方法給這封郵件計(jì)算出一個(gè)綜合的數(shù)值。也可以根據(jù)是否與其他多次收到的郵件相似來判定。

指紋識(shí)別技術(shù)的缺點(diǎn)是，要經(jīng)常維護(hù)指紋庫(kù)。

5.3實(shí)時(shí)黑名單列表

為了有效地拒絕來自惡意的垃圾郵件來源站點(diǎn)和/或被利用的垃圾郵件來源站點(diǎn)所發(fā)來的垃圾郵件，最直接和有效的辦法就是拒絕該來源的連接。通過將確認(rèn)后的垃圾郵件來源站點(diǎn)(無論是否是惡意與否)放入一個(gè)黑名單，然后通過發(fā)布該名單來保護(hù)郵件服務(wù)器不受到黑名單中站點(diǎn)的侵?jǐn)_確實(shí)是一個(gè)目前對(duì)抗日益嚴(yán)重的垃圾郵件的行之有效的方法。

目前在黑名單技術(shù)上最流行的是實(shí)時(shí)黑名單(RealtimeBlackhole List，簡(jiǎn)稱RBL)技術(shù)。通常該技術(shù)是通過DNS方式(查詢和區(qū)域傳輸)實(shí)現(xiàn)的。目前國(guó)外流行的幾個(gè)主要的實(shí)時(shí)黑名單服務(wù)器都是通過DNS方式提供的，如Mail-Abuse的RBL、RBL+等。

實(shí)時(shí)黑名單技術(shù)的優(yōu)點(diǎn)是，減少用戶的工作量和設(shè)置難度，降低一定的誤報(bào)率；缺點(diǎn)是，有的RBL提供方提供的黑名單過于強(qiáng)硬。

5.4防止字典攻擊

在我們平時(shí)使用郵件系統(tǒng)給別人發(fā)信的時(shí)候遇到過這樣的情況，一不小心將收件人的地址寫錯(cuò)了，那么這樣的郵件是不可能被正確地送到目的地的，將被退回來。一些垃圾郵件的發(fā)送者就利用了郵件系統(tǒng)這個(gè)特點(diǎn)，大量地向郵件系統(tǒng)發(fā)送信件，沒有被退回來的信件就是郵件系統(tǒng)當(dāng)前擁有的郵件地址，這樣垃圾郵件的發(fā)送者就可以很輕松地得到發(fā)送垃圾郵件的對(duì)象了。采用防止字典攻擊的技術(shù)就是讓郵件系統(tǒng)在沒有真實(shí)用戶存在于系統(tǒng)當(dāng)中時(shí)不退信，這樣攻擊者就不能夠獲得有效的用戶列表。

5.5郵件域名過濾

IBM開發(fā)了代號(hào)為FairUCE的反垃圾郵件新技術(shù)。該技術(shù)使用網(wǎng)絡(luò)領(lǐng)域的內(nèi)置身份管理工具，通過分析電子郵件域名過濾并封鎖垃圾郵件。FairUCE把收到的郵件同其源頭的IP地址相連接，在電子郵件地址、電子郵件域和發(fā)送郵件的計(jì)算機(jī)之間建立起一種聯(lián)系，以確定電子郵件的合法性。IP地址是固定不變的，因此FairUCE就能夠識(shí)別信息是來自僵尸(Zombie)計(jì)算機(jī)、機(jī)器人Bot裝置還是來自合法的電子郵件服務(wù)器。

6結(jié)束語(yǔ)

制止垃圾郵件的困擾除了采用必要的技術(shù)手段，還必須尋求法律的支持。從法律角度看，發(fā)送垃圾郵件屬于言論自由的濫用，不但得不到法律的支持，相反，很多國(guó)家正積極制定相關(guān)法律來禁止垃圾郵件。另外，未來反垃圾郵件技術(shù)，在提高準(zhǔn)確率的同時(shí)，必須同時(shí)滿足以下條件：適應(yīng)各種網(wǎng)絡(luò)規(guī)模；支持用戶發(fā)信認(rèn)證功能；支持可游離于各種服務(wù)器之外的電子郵件過濾功能，可自動(dòng)關(guān)閉中轉(zhuǎn)訪問功能，保證郵件服務(wù)器不被非法利用，保證正常郵件到達(dá)的穩(wěn)定性和實(shí)時(shí)性。