第一篇：信息論概述與機(jī)械工程中的信息論

信息論概述與機(jī)械工程中的信息論

摘要

信息論是一門新興學(xué)科，是在長(zhǎng)期的通信工程實(shí)踐中，與通信技術(shù)、概率論、隨機(jī)過程和數(shù)理統(tǒng)計(jì)相結(jié)合逐步發(fā)展起來的一門學(xué)科。信息論中主要的概念包括信息，自信息，互信息和信息熵。本文介紹了信息論的產(chǎn)生和發(fā)展，簡(jiǎn)要介紹了信息論幾個(gè)主要概念的定義和推導(dǎo)，重點(diǎn)介紹了信息熵，最后討論了信息論相關(guān)知識(shí)在機(jī)械工程專業(yè)的應(yīng)用。

關(guān)鍵詞：信息論，信息熵，機(jī)械工程專業(yè)

第一章 緒論

§1-1 引言

人類的社會(huì)生活是不能離開信息的，人類不僅時(shí)刻需要從自然界獲得信息，而且人與人之間也需要進(jìn)行通訊，交流信息，離開信息，人類就不能生存。人們獲得信息的方式有兩種；一種是直接的，即通過自己的感覺器官，耳聞、目睹、鼻嗅、口嘗、體觸等直接了解外界情況；一種是間接的，即通過語言、文字、信號(hào)??等等傳遞消息而獲得信息。在人類社會(huì)的早期，只應(yīng)用語言手勢(shì)直接交流信息，但隨著社會(huì)的進(jìn)步，尤其是科學(xué)水平的進(jìn)步，傳統(tǒng)的信息獲取方式已經(jīng)不能滿足人類的發(fā)展要求，人類開始探索快速有效地獲取信息的方法，從而導(dǎo)致了一門新的學(xué)科——信息論的誕生。

§1-2 信息論

信息論是關(guān)于信息的本質(zhì)和傳輸規(guī)律的科學(xué)的理論，是研究信息的計(jì)量、發(fā)送、傳遞、交換、接收和儲(chǔ)存的一門學(xué)科。1-2-1 信息論的誕生和發(fā)展

信息論的創(chuàng)始人是美貝爾電話研究所的數(shù)學(xué)家香農(nóng)（C.E.Shannon1916——），他為解決通訊技術(shù)中的信息編碼問題，把發(fā)射信息和接收信息作為一個(gè)整體的通訊過程來研究，提出通訊系統(tǒng)的一般模型；同時(shí)建立了信息量的統(tǒng)計(jì)公式，奠定了信息論的理論基礎(chǔ)。1948年香農(nóng)發(fā)表的《通訊的數(shù)學(xué)理論》一文，成為信息論誕生的標(biāo)志。

其實(shí)，1922年卡松就提出邊帶理論，指明信號(hào)在調(diào)制（編碼）與傳送過程中與頻譜寬度的關(guān)系。1922年哈特萊發(fā)表《信息傳輸》的文章，首先提出消息是代碼、符號(hào)而不是信息內(nèi)容本身，使信息與消息區(qū)分開來，并提出用消息可能數(shù)目的對(duì)數(shù)來度量消息中所含有的信息量，為信息論的創(chuàng)立提供了思路。香農(nóng)創(chuàng)立信息論，實(shí)際是在前人研究的基礎(chǔ)上完成的。

在信息論的發(fā)展中，還有許多科學(xué)家對(duì)它做出了卓越的貢獻(xiàn)。法國(guó)物理學(xué)家L.布里淵（L.Brillouin）1956年發(fā)表《科學(xué)與信息論》專著，從熱力學(xué)和生命等許多方面探討信息論，使熱力學(xué)中爭(zhēng)論了一個(gè)世紀(jì)之久的“麥克斯韋爾妖”的佯謬問題得到了滿意的解釋。英國(guó)神經(jīng)生理學(xué)家（W.B.Ashby）1964年發(fā)表的《系統(tǒng)與信息》等文章，還把信息論推廣應(yīng)用于生物學(xué)和神經(jīng)生理學(xué)領(lǐng)域，也成為信息論的重要著作[1]。這些科學(xué)家們的研究，以及后來從經(jīng)濟(jì)、管理和社會(huì)的各個(gè)部門對(duì)信息論的研究，使信息論遠(yuǎn)遠(yuǎn)地超越了通訊的范圍。1-2-2 信息論的發(fā)展現(xiàn)狀

信息論近期發(fā)展的主要特點(diǎn)是向多學(xué)科結(jié)合方向發(fā)展，其重要的發(fā)展方向有如下幾種：

（1）信息論與密碼學(xué)

通信中的安全與保密問題是通信編碼問題的又一種表示形式，由香農(nóng)提出的保密系統(tǒng)模型仍然是近代密碼學(xué)的基本模型。

（2）算法信息論與分形數(shù)學(xué)

由于香農(nóng)熵，柯爾莫哥洛夫與豪斯道夫位數(shù)的等價(jià)性在理論上已經(jīng)得到證明，從而使信息論，計(jì)算機(jī)科學(xué)與分形理論都找到了他們的匯合點(diǎn)。

（3）信息論在統(tǒng)計(jì)與智能計(jì)算中的應(yīng)用

信息論與統(tǒng)計(jì)理論的結(jié)合已經(jīng)有許多突出的成果出現(xiàn)。其主要特點(diǎn)是統(tǒng)計(jì)理論正在從線性問題轉(zhuǎn)向非線性問題，信息的度量可以作為研究非線性問題的工具，如果用交互信息來取代統(tǒng)計(jì)中的相關(guān)系數(shù)，更能發(fā)現(xiàn)二維隨機(jī)變量的相互依賴程度。

智能計(jì)算中的信息統(tǒng)計(jì)問題，信息量與統(tǒng)計(jì)存在許多本質(zhì)的聯(lián)系，在微分流形中，F(xiàn)isher信息矩陣式Kullback-Laiber熵的偏微分，由此關(guān)系而引出的信息幾何理論是智能計(jì)算的基礎(chǔ)[2]。

§1-3 自信息與互信息

香農(nóng)在《通信的數(shù)學(xué)理論》引言部分就提出“通信中的基本問題就是在某一點(diǎn)精確或近似的再生另一點(diǎn)選擇的信息”。未解決這一問題，他在這篇論文中開創(chuàng)性的利用概率論、數(shù)理統(tǒng)計(jì)、隨機(jī)過程建立了通信系統(tǒng)的數(shù)學(xué)模型，提出了自信息、互信息、信息熵等概念，這一部分我們將重點(diǎn)討論自信息與互信息，信息熵留待下一部分具體描述。1-3-1 自信息

用I（xi）=log（1/pi）表示信源發(fā)出的符號(hào)xi的自信息。自信息具有兩個(gè)含義：當(dāng)符號(hào)xi輸出前，表示符號(hào)xi被輸出的不確定性；當(dāng)符號(hào)xi輸出后，表示符號(hào)xi所含有的信息量[3]。1-3-2 互信息

互信息有三個(gè)不同角度的定義。

從信源出發(fā)的定義：站在信源一端，當(dāng)信源沒有發(fā)送時(shí)，信息發(fā)送方對(duì)信宿收到符號(hào)yi的不確定度是I（yi）；而當(dāng)信源發(fā)送符號(hào)xi后，信息發(fā)送方對(duì)信宿收到符號(hào)yi的不確定度是I（yi|xi），從這個(gè)意義上定義互信息。

從信宿出發(fā)對(duì)互信息的定義：站在信宿一端，當(dāng)沒有接收時(shí)，信息接收方對(duì)信源發(fā)送符號(hào)xi的不確定度是I（yi）；而當(dāng)信宿接收到符號(hào)yi，信息接收方對(duì)信源發(fā)送符號(hào)xi的不確定度是I（yi|xi），從這個(gè)意義上定義互信息。

從整個(gè)系統(tǒng)出發(fā)對(duì)互信息的定義：如果從整個(gè)系統(tǒng)的全局出發(fā)，通信前，信源發(fā)送隨機(jī)變量X和信宿接收隨機(jī)變量Y之間沒有任何關(guān)聯(lián)關(guān)系，即X，Y統(tǒng)計(jì)獨(dú)立：P（xi，yi）= P（xi）·P（yi）

此時(shí)，有關(guān)符號(hào)xi和符號(hào)yi的聯(lián)合自信息量： I’（xi yi）=log[1/ P（xi）P（yi）]=I（xi）+I（yi）

通信后，信源發(fā)送隨機(jī)變量X和信宿接收隨機(jī)變量Y之間由信道的統(tǒng)計(jì)性相聯(lián)系，其聯(lián)合概率密度：

P（xi，yi）= P（xi）·P（yi |xi）= P（yi）·P（xi |yi）此時(shí)有關(guān)于符號(hào)xi和符號(hào)yi的聯(lián)合自信息量： I（xi yi）=log[1/ P（xi）·P（yi |xi）]=log[1/ P（yi）·P（xi |yi）]

通信后的互信息量，等于前后不確定度的差。事實(shí)上，以上三種互信息的定義是一致的[3]。

§1-4 本文的主要內(nèi)容

本文的大略概括了信息論的基本知識(shí)，介紹了信息論的發(fā)展過程，信息論中常見的名詞定義，重點(diǎn)介紹了信息熵的概念和推導(dǎo)公式（以離散信源模型為例），以及相關(guān)的條件熵，聯(lián)合熵等概念。并對(duì)信息論在機(jī)械工程領(lǐng)域的應(yīng)用做了大概說明。

第二章 信息熵及相關(guān)概念推導(dǎo)公式

信息熵是1948年香農(nóng)(Shannon)在論文“通信的數(shù)學(xué)理論”中引入的，解決了對(duì)信息的量化度量問題。他對(duì)信息的定義：事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。

在香農(nóng)一開始尋找信息量定名稱時(shí)，數(shù)學(xué)家馮.諾依曼建議稱為熵，理由是不定性函數(shù)在統(tǒng)計(jì)力學(xué)中已經(jīng)用在熵下面了。在熱力學(xué)中熵是物質(zhì)系統(tǒng)狀態(tài)的一個(gè)函數(shù)，它表示微觀粒子之間無規(guī)則的排列程度，即表示系統(tǒng)的紊亂度，維納說：“信息量的概念非常自然地從屬于統(tǒng)計(jì)學(xué)的一個(gè)古典概念——熵。

§2-1 信息熵

基于Shannon 創(chuàng)立的信息熵理論,信息是不守恒的、無序的，它可以共享、傳遞、儲(chǔ)存、轉(zhuǎn)換,系統(tǒng)要向有序方向發(fā)展必須有負(fù)熵的輸入[4]。信息和熵有內(nèi)在的聯(lián)系，一般地，信息量越大，熵就越小，系統(tǒng)就越有序,結(jié)構(gòu)性就越強(qiáng)；反之，信息量越小，熵就越高，系統(tǒng)就越無序，結(jié)構(gòu)性就越差[5]。信息與熵是一個(gè)相反的量，它表示系統(tǒng)獲得后無序狀態(tài)的減少或消除，即消除不定性的大小。

§2-2 信息熵公式推導(dǎo)

離散信源的模型：

定義1[6]：設(shè)某一概率系統(tǒng)X中有n個(gè)事件（X1，X2，??，Xi，??Xn），第i個(gè)事件Xi產(chǎn)生的概率為pi（i= 1，2，3，??n），當(dāng)事件Xi產(chǎn)生后, 給出的信息量就稱為自信息：I（Xi）= log2（1/pi）單位為bit。自信息的數(shù)學(xué)期望即平均自信息量，它的值稱為信息熵，簡(jiǎn)記為H(X)，則有如下公式：

由公式推導(dǎo)可以得知：（1）信息熵的大小可以用來描述信息系統(tǒng)的平均不確定程度。若某一信息系統(tǒng)中某一知識(shí)產(chǎn)生的概率為1，其他事件產(chǎn)生的概率為0，由上式計(jì)算后可知，該系統(tǒng)的信息熵H = 0，它就是一個(gè)確定系統(tǒng)，不確定度為0。（2）如果某一信息系統(tǒng)中，其等價(jià)類是均勻的則表示系統(tǒng)中每一知識(shí)產(chǎn)生的分類基數(shù)相等，該系統(tǒng)的信息熵具有最大值（在相同對(duì)象數(shù)的情況下）即該系統(tǒng)的不確定性最大。根據(jù)信息熵的定義可知熵值越大看，不確定性就越大。那么，搞清楚它所需要的信息量也就越大[7-8]。

§2-3 條件熵

在信源X輸出Xi的條件下，信源Y再輸出Yj所能提供的平均信息量[6]，稱為條件熵。記為H（Y | X)。條件熵有如下公式：

§2-4 聯(lián)合熵

兩個(gè)互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的信息熵為信源X的熵加上在X已知條件下信源Y的條件熵,稱為X Y的聯(lián)合熵[6]。符合記為H（X Y）或H（X∪Y）。

公式表達(dá): H（X∪Y）= H（X）+ H（Y|X）

第三章 信息理論在機(jī)械工程方面的應(yīng)用

目前，信息理論在機(jī)械工程方面的應(yīng)用并不普遍，這個(gè)結(jié)果通過論文搜索就可以看出，大概每搜索6篇有關(guān)信息論的論文，只能找到一篇論文與機(jī)械工程專業(yè)相關(guān)。

從目前論文檢索情況來看，信息論的應(yīng)用和它自身的特點(diǎn)有很密切的關(guān)系，常應(yīng)用于信息量大，需要進(jìn)行信息篩選整理，需要對(duì)信息數(shù)據(jù)進(jìn)行數(shù)理統(tǒng)計(jì)工作的領(lǐng)域，土地和城市規(guī)劃常用到信息論的有關(guān)知識(shí)。

機(jī)械工程方面的應(yīng)用，一是集中于傳感器的信息處理方面。例如視覺，聽覺，嗅覺等。這些傳感器研究的特點(diǎn)都是有大量信息需要接收，而接收之后必須篩選拋棄或放大部分?jǐn)?shù)據(jù)。已經(jīng)開始初步探索的是機(jī)器人的語音識(shí)別，主要研究方式依舊是模板匹配，音頻對(duì)比[9]。

二是在產(chǎn)品檢測(cè)，測(cè)量領(lǐng)域的應(yīng)用，例如目前的表面粗糙度Ra（算術(shù)平均偏差）往往只出檢驗(yàn)的結(jié)果，而沒有考慮檢驗(yàn)結(jié)果的不確定因素。為了保證Ra測(cè)量結(jié)果的完整性和有效性，有論文提出了一種表面粗糙度Ra測(cè)量不確定度的計(jì)算方法。該方法依據(jù)表面粗糙度最小二乘檢驗(yàn)的基本原理計(jì)算檢驗(yàn)結(jié)果，并根據(jù)信息熵與不確定度的關(guān)系計(jì)算檢驗(yàn)結(jié)果的不確定度，從而減少產(chǎn)品的誤收和誤廢[10]。

第四章 結(jié)論

物質(zhì)、能量、信息是構(gòu)成這個(gè)世界的三大要素，因此材料科學(xué)、能源科學(xué)和信息科學(xué)構(gòu)成了世界發(fā)展的三大支柱。信息論是信息科學(xué)中最基礎(chǔ)的理論，由香農(nóng)在1948年正式提出。信息論中最基礎(chǔ)的概念是信息，信息論是一門新興學(xué)科，其中重要的組成概念包括自信息，互信息，信息熵，在此基礎(chǔ)上，衍生出其他的相關(guān)概念。信息論目前在機(jī)械工程領(lǐng)域應(yīng)用還不是特別普遍，因?yàn)樾畔⒄摫旧硎腔跀?shù)理統(tǒng)計(jì)的學(xué)科，它的研究目的是收集大量信息進(jìn)行篩選甄別計(jì)算，得出整體結(jié)論而不是討論個(gè)體情況。信息論的這一特點(diǎn)意味著它將主要用于需接收大量數(shù)據(jù)的研究領(lǐng)域，包括機(jī)器人應(yīng)用傳感器的研究領(lǐng)域，尤其是視覺圖像采集，嗅覺，聽覺語音辨識(shí)等，還有質(zhì)量檢測(cè)領(lǐng)域。

參考文獻(xiàn)

[1]韓曉平.當(dāng)能源充滿智慧——中國(guó)能源網(wǎng)首席信息官.中外企業(yè)家，2009（5）

[2]沈世鎰.信息論基礎(chǔ)與應(yīng)用.北京，高等教育出版社，2004.15 [3]艾科拜爾.艾合麥提.信息論中關(guān)于互信息的三種不同理解的統(tǒng)一性.中小企業(yè)管理與科技，2009，（6）：225 [4]姬桂珍，吳承禎，洪偉，朱文華等.武夷山市土地利用結(jié)構(gòu)信息熵動(dòng)態(tài)研究[.安全與環(huán)境學(xué)報(bào)，2004，4(4)：41244.[5]嚴(yán)志強(qiáng)，路汝成.基于信息熵的小城鎮(zhèn)土地利用結(jié)構(gòu)變化及其持續(xù)利用研究_以廣西北流市為例.廣西師范學(xué)院學(xué)報(bào)（自然科學(xué)版），2008，25（4）：70-74 [6]傅祖蕓.信息論基礎(chǔ)理論與應(yīng)用.北京:電子工業(yè)出版社，2001 [7]Pawlak Z.Rough sets：probabilistic versus deterministic approach.International Journal of Man-Machine Studies，1998，29：81-95 [8]紀(jì)濱.信息熵在粗糙集中衍生的幾個(gè)概念.計(jì)算機(jī)技術(shù)與發(fā)展，2008，18（6）：73-75 [9]俞一彪.基于互信息理論的說話人識(shí)別研究.[博士學(xué)位論文]，上海大學(xué)，2004 [10]鐘艷如，郭德偉，黃美發(fā).信息熵原理在表面粗糙度Ra不確定度計(jì)算中的應(yīng)用.機(jī)械科學(xué)與技術(shù)，2009，28（6）：829-833

第二篇：信息論修改版

信息論局限性分析以及在光通信中的應(yīng)用

摘要

從新的角度指出了香農(nóng)信息論的局限性，這些局限性主要體現(xiàn)在對(duì)信息的可靠性和完備性的忽視，通過例子分析進(jìn)一步說明信息可靠性對(duì)于度量信息的重要意義。指出局限性產(chǎn)生的根源在于對(duì)信息多重不確定性的忽視，以及對(duì)概率值本身存在不確定性的認(rèn)識(shí)不足。后半部分介紹了信息論在光通信領(lǐng)域的一些應(yīng)用。

關(guān)鍵詞：信息論，通信，可靠性，糾錯(cuò)，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小節(jié)：信息論的局限性分析 1.引言

香農(nóng)(Shannon)信息論對(duì)通信技術(shù)的發(fā)展具有深遠(yuǎn)的影響。但是信息論的應(yīng)用一直限于通信等一些很局限的領(lǐng)域，信息論并不能夠完全地適用于一些信息技術(shù)相關(guān)的領(lǐng)域。關(guān)于香農(nóng)信息論的局限性，許多學(xué)者都有認(rèn)識(shí)，香農(nóng)本人也反對(duì)將信息論濫用。國(guó)內(nèi)外一些學(xué)者從許多角度討論了信息論的局限性，比如沒有考慮語義、語用，沒有考慮信息的模糊性和事件之間的相似性，沒有考慮事件劃分可能存在包含關(guān)系等。筆者發(fā)現(xiàn)信息論的局限性一個(gè)重要體現(xiàn)就是忽視信息的可靠性，缺乏對(duì)可靠性的度量。

2.香農(nóng)信息論針對(duì)現(xiàn)實(shí)問題的局限性

香農(nóng)對(duì)信息的定義，對(duì)信息的度量，以及他的信息論，基本上都是用熵來計(jì)算的隨機(jī)不確定性，并沒有考慮信息的可靠度，對(duì)信息的可靠度的考慮最多是從信息傳遞過程中的失真進(jìn)行了考慮。香農(nóng)將信息定義為消除不確定性的東西，與他研究通信中的條件熵不增加有密切關(guān)系。

現(xiàn)信息論存在如下局限性：第一，信息論沒有考慮信息的可靠性問題，而現(xiàn)實(shí)中的信息大多數(shù)都是不可靠的。而信息的可靠性卻是信息價(jià)值的前提，比如情報(bào)類信息的可靠性就非常重要。信息的可靠性是信息的主要指標(biāo)，但是信息論沒有考慮，僅僅是考慮到信息的不確定性。

第二，信息的完備性問題，信息論并沒有考慮信息并不完全發(fā)送的情況，而現(xiàn)實(shí)中許多信息都是不完全（完備）、片面的，需要融合。在沒有更加完備信息的場(chǎng)合下，人們往往權(quán)宜地將片面的信息姑且當(dāng)作全面的信息來對(duì)待這一些簡(jiǎn)單的信道并聯(lián)和串聯(lián)可以合為一個(gè)信道，比如簡(jiǎn)單的兩個(gè)串聯(lián)信道的信道矩陣可以直接通過相乘而當(dāng)作一個(gè)信道，但是信息論沒有考慮信息復(fù)雜的多重傳遞，比如，信息從一個(gè)信源傳遞到中間信宿，而中間信宿又轉(zhuǎn)發(fā)給一個(gè)最終信宿，而且在這個(gè)轉(zhuǎn)換的過程中，信息的表示發(fā)生了改變，在這種多重傳遞的過程中，可能會(huì)產(chǎn)生多重不確定性。

第三，現(xiàn)實(shí)中的信息往往需要經(jīng)過這種多重傳遞，導(dǎo)致多重不確定性。比如，當(dāng)然如果考慮前面提到的模糊集合等，這種多重不確定性性將更加復(fù)雜。信息論沒有考慮到信道矩陣的傳遞概率等參數(shù)的復(fù)雜性?，F(xiàn)實(shí)中這種傳輸特性可能不是確定不變的，而可能是隨機(jī)變量，甚至可能更加復(fù)雜。

第四，信息論中以通信為研究對(duì)象，其傳輸?shù)男盘?hào)本身是確定的，然而現(xiàn)實(shí)中卻存在許多不確定性問題。在通信中，定義信息為消除不確定性的東西無可厚非，但是面對(duì)本身不確定的信息，我們?nèi)绻ハ洳淮_定性。

第五，信息論中的條件相對(duì)而言是簡(jiǎn)單的，而且多是以條件概率來表示的。然而現(xiàn)實(shí)中許多中的信息的條件是比較復(fù)雜的，比如，給出的條件可能是知識(shí)、規(guī)律等等，在已知先驗(yàn)概率的情況下，又得知某一個(gè)規(guī)律，通過這個(gè)規(guī)律并不能簡(jiǎn)單得出相應(yīng)的條件概率來。

第六，信息論用先驗(yàn)概率來表示已知的信息，然而，現(xiàn)實(shí)中，許多已知的信息并不是可以用先驗(yàn)概率來表示，比如可能包含未知數(shù)，可能是某個(gè)約束條件，可能是某個(gè)規(guī)律，甚至可能是完全未知的。3.實(shí)際應(yīng)用分析

實(shí)例1：甲從乙處得到情報(bào)：“敵人明天早晨百分之九十九要發(fā)動(dòng)進(jìn)攻”。此后，甲同樣從丙處得到相同的情報(bào)。從信息論角度來看，對(duì)于問題“敵人明天早晨是否要發(fā)動(dòng)進(jìn)攻”，不確定性是一樣的，因而信息量一樣，丙似乎并不提供新的信息。但是人們依然會(huì)感覺從丙處得到了信息，這種信息使得甲更加確定“敵人明天早晨百分之九十九要發(fā)動(dòng)進(jìn)攻”，這一例子進(jìn)一步說明信息的可靠性應(yīng)當(dāng)是一個(gè)度量信息的指標(biāo)。

實(shí)例2：當(dāng)獲得消息“所有的事件都是等概率發(fā)生的”的時(shí)候，對(duì)這句話的內(nèi)容是什么，或者對(duì)于問題“所有的事件發(fā)生呈現(xiàn)什么樣的概率分布”而言，它消除了不確定性。但是對(duì)于什么事件將發(fā)生情況，不可能是更加確定，信息量不可能增加而只可能是減少。這一點(diǎn)說明信息量?jī)H僅是針對(duì)于消息本身的不確定性而言的，而該消息衍生出來的問題的不確定性并不與消息的信息量有必然聯(lián)系，因此，信息熵這一度量的應(yīng)用范圍也是有限的，并不適合應(yīng)用在日常的信息問題中。

通過以上的例子分析，暴露出信息論的一些局限性，為挖掘信息論局限性的根源提供了基礎(chǔ)。

4.信息論局限性的本質(zhì)及結(jié)論

由以上例子分析可以得出，信息論沒有考慮信息的可靠性，而信息的可靠性是一個(gè)非常重要的指標(biāo)。在通信中，由于消息是確定的，因此，不確定性的消除與可靠性的增加有一定的聯(lián)系。實(shí)際上，我們要消除不確定性是很容易的事情，而香農(nóng)信息論的消除不確定性是以保證信息的可靠性和完備性為基礎(chǔ)的，比如利用糾錯(cuò)碼糾錯(cuò)，利用后驗(yàn)概率來增強(qiáng)信息的完備性。假如把信息的確定性當(dāng)作唯一的指標(biāo)，拋開信息的可靠性問題，則可以隨便確定某一事件的概率為1，其余事件的概率為0 就可以了。再假如，我們把信息的確定性當(dāng)作首要考慮的目標(biāo)，其次考慮其可靠性，則我們也可以指定概率最大的事件概率為1，其余事件概率為0。這樣首先保證了確定性，可靠性也在一定程度上得到了滿足。如果如此，信息論和信息處理就變得相當(dāng)?shù)暮?jiǎn)單了。顯然現(xiàn)實(shí)中人們不是這樣的。根據(jù)以上多處的分析，可靠度是信息的一個(gè)首要指標(biāo)。以上的信息的可靠性、完備性以及經(jīng)典集合的不切和實(shí)際都可以歸結(jié)為對(duì)信息的多重不確定性的忽視，比如，在實(shí)例分析中，我們發(fā)現(xiàn)不可靠的信息，它的信息表示本身是不固定的，其概率值可能是隨機(jī)變量，不完備的信息也是類似。對(duì)于模糊集和粗糙集之類的非經(jīng)典集合，則可以認(rèn)為是某一個(gè)集合包含的對(duì)象不確定而造成的，比如，在粗糙集中，對(duì)象可能屬于也可能不屬于集合X，對(duì)象a 是否屬于集合X 就具有隨機(jī)不確定性。其中一些不確定性與信息論原有的不確定性疊加起來就可能產(chǎn)生多重不確定性。這里的不確定性除了隨機(jī)不確定性、模糊不確定性，還可能有更多形式的不確定性，包括某些不完全的約束條件造成的不確定性?？梢?，對(duì)信息多重不確定性的忽視是信息論的局限性的重要的根源。對(duì)信息可靠性的忽視也是信息論無法廣泛應(yīng)用的重要原因。鑒于所有的信息都很難可靠和完備，所以我們可以將可靠性和完備性問題總歸為信息的相對(duì)性問題。實(shí)際上，現(xiàn)實(shí)中人們很難得出完全可靠的信息，只有權(quán)宜地采用相對(duì)可靠的信息，當(dāng)有更加可靠的信息的時(shí)候，人們會(huì)利用更可靠的信息取代先驗(yàn)的信息。由于可靠性也與概率值的不確定性有關(guān)系，對(duì)信息可靠性的度量也可以借鑒香農(nóng)對(duì)信息不確定性的度量，然而，計(jì)算概率的不確定性會(huì)比信息熵的計(jì)算復(fù)雜，因?yàn)楦怕市枰獫M足更多的約束條件。

當(dāng)然，信息論也與現(xiàn)實(shí)信息問題具有很強(qiáng)相似性，信息論的方法很值得在現(xiàn)實(shí)的信息問題的研究中（包括信息的可靠性的研究中）借鑒，總而言之，信息論的局限性是源于信息論是針對(duì)通信問題的，其模型本身具有的局限性。當(dāng)然也與概率論的局限性有關(guān)系，由于對(duì)概率值隨機(jī)性和多重隨機(jī)不確定性研究的不足，使得人們?nèi)菀紫萑搿案怕剩ò?lián)合概率分布）就是確定值，而不可能是隨機(jī)變量”，“給定條件就可以得出條件概率”等思維定勢(shì)中，而這些思維定勢(shì)只是適用于現(xiàn)實(shí)概率論問題中的一部分。由于信息論的這些限制條件能夠較好地滿足通信問題，使得它能夠在通信領(lǐng)域得到成功的應(yīng)用，而推廣到一般的信息領(lǐng)域則需要針對(duì)它的局限性解除相應(yīng)的約束條件。

第二小節(jié)．信息論在光通信中的應(yīng)用

自香農(nóng)(C．E．Shannom)提出信息理論以來，信息論已經(jīng)成為通信理論中重要而又基礎(chǔ)的一部分。如今，通信中越來越多的使用光作為傳輸媒質(zhì)以及光器件的快速發(fā)展，電信道已被光信道所取代。光信道的信息容量的大小已成為人們關(guān)心的課題。對(duì)此進(jìn)行分析和比較。

光量子信道的信道容量從信息論的角度可以認(rèn)為光量子信道是信號(hào)和噪聲疊加的加性信道。假設(shè)在頻率

fi時(shí)，輸人信號(hào)產(chǎn)生的平均量子數(shù)為xi，噪聲產(chǎn)生的平均量子數(shù)為ni可得，對(duì)于頻率，輸出信號(hào)的平均量子數(shù)為

y=x+niii

p(xi)p()p(yi)，ni，假設(shè)xi與ni統(tǒng)計(jì)獨(dú)立。設(shè)xi，ni，p(yi的概率密度函數(shù)為yi且x)i=p(ni)在特定頻率 上，光量子信道的平均互信息:

I(y;xi)?H(y)?H(ni)ii（*）

因?yàn)楣潭〞r(shí)間間隔?t，?t?1/fi，所以單位時(shí)間內(nèi)的平均互信息:

1?I(X;Y)??I(y;xi)?H(Y)?H(n)i?ti?0

在f1上，假設(shè)接收信號(hào)的光量子的離散能譜為Ei?hfi(h是普朗克常數(shù)).由于熱輻射，光量子的波動(dòng)服從Gibb分布

p(ni)?1?exp[?hfi/kT]exp[nihfi/kT]

2H(n)??Kt/3hln2 可得，光量子的波動(dòng)引起的噪聲熵:信號(hào)最大熵：

H(Y)????p(y)logp(y)df?ii03hln2yi?0

C?由式（*）可得光量子信道容量：

??2kTe?2Kt3hln2[(1?6hs1/2)?1]?kT

6hs??12當(dāng)hf??kT,即信噪比(?kT)時(shí)，光量子信道的信道容量極限值為：

C光量子=2S1/2)ln23h

(1)

(?6hs??12當(dāng)信噪比很小(?kT)時(shí)，光量子信道的信道容量極限值為

C經(jīng)典=SN0ln2

(2)

此式正是由香農(nóng)公式得到的信道容量極限值式，其中N0?KT。

結(jié)論

從以上分析可看出，對(duì)于光量子信道來言，當(dāng)頻率很高時(shí)，信道容量的極限值是式(1)，而不是式(2)。只有當(dāng)信噪比很低時(shí)，光量子信道的極限值才等于香農(nóng)信道容量公式的極限值。因此，對(duì)于窄帶的光量子信道，帶寬?f??f（中心頻率)時(shí)，可計(jì)算得光量子信道的極限值就等于香農(nóng)信道容量公式。

參考文獻(xiàn)

[1]朱雪龍著．應(yīng)用信息論基礎(chǔ)．清華大學(xué)出版社.[2]傅祖蕓著．信息論基礎(chǔ)理論與應(yīng)用．電子工業(yè)出版社，2001(8).[3]陶純堪，陶純匡著．光學(xué)信息論．科學(xué)出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].鐘義信．信息科學(xué)原理[M]．福州：福建人民出版社，1988． [6].魯晨光．廣義信息論[M]．中國(guó)科技大學(xué)出版社，1993.[7].王勇，香農(nóng)信息定義分析與改進(jìn)[OL]，004km.cn, 2007年11月.

第三篇：信息論與編碼

信息論與編碼的應(yīng)用

信息論是信息科學(xué)的主要理論基礎(chǔ)之一，它是在長(zhǎng)期通信工程實(shí)踐和理論基礎(chǔ)上發(fā)展起來的。信息論是應(yīng)用概率論、隨機(jī)過程和數(shù)理統(tǒng)計(jì)和近代代數(shù)等方法，來研究信息的存儲(chǔ)、傳輸和處理中一般規(guī)律的學(xué)科。它的主要目的是提高通信系統(tǒng)的可靠性、有效性和安全性，以便達(dá)到系統(tǒng)的最優(yōu)化。編碼理論與信息論緊密關(guān)聯(lián)，它以信息論基本原理為理論依據(jù)，研究編碼和譯碼的理論知識(shí)和實(shí)現(xiàn)方法?！娟P(guān)鍵詞】信息論 電子信息工程 通信 網(wǎng)絡(luò)

一、信息論應(yīng)用

人類社會(huì)的生存和發(fā)展無時(shí)不刻都離不開信息的獲取、傳遞、再生、控制和利用。信息論正式一門把信息作為研究對(duì)象的科學(xué)，以揭示信息的本質(zhì)特性和規(guī)律為基礎(chǔ)，應(yīng)用概率論。隨機(jī)過程和樹立統(tǒng)計(jì)等方法來研究信息的存儲(chǔ)、傳輸、處理、控制和利用。它主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以使信息系統(tǒng)最優(yōu)化。許多 科學(xué)技術(shù)問題（如無線電通訊、電視、遙測(cè)、圖像和聲音識(shí)別等）都必須以信息論為理論指 導(dǎo)才能很好地解決。信息論的研究對(duì)象又可以是廣義的信息傳輸和信息處理系統(tǒng)。從最普通 的電報(bào)、電話、傳真、電視、雷達(dá)、聲納, 一直到各類生物神經(jīng)的感知系統(tǒng), 以及大到人類社會(huì)系統(tǒng),可以用同一的信息論觀點(diǎn)加以闡述, 都可以概括成某種隨機(jī)過程或統(tǒng)計(jì)學(xué)的數(shù)學(xué)模型加以深入研究。例如信息論在一下幾個(gè)方面都得到了廣泛的應(yīng)用。

信息論在數(shù)據(jù)壓縮理論中的應(yīng)用

數(shù)據(jù)壓縮的主要目的是力求用最少的數(shù)據(jù)表示信源所發(fā)出的信號(hào)，使信號(hào)占用的存儲(chǔ)空間盡可能小，以達(dá)到提高信息傳輸速度的目的。數(shù)據(jù)壓縮在近代信息處理問題中有大量的應(yīng)用，無論在數(shù)據(jù)存儲(chǔ)或傳送中，通過數(shù)據(jù)壓縮不僅可以大大節(jié)省資源利用的成本，而且把一些原來無實(shí)用意義的技術(shù)，如多媒體技術(shù)中的一些問題，達(dá)到具有實(shí)用意義的標(biāo)準(zhǔn)。

數(shù)據(jù)壓縮作為信息論研究中的一項(xiàng)內(nèi)容，主要是有關(guān)數(shù)據(jù)壓縮比和各種編碼方法的研究，即按某種方法對(duì)源數(shù)據(jù)流進(jìn)行編碼，使得經(jīng)過編碼的數(shù)據(jù)流比原數(shù)據(jù)流占有較少的空間。其中基于符號(hào)頻率統(tǒng)計(jì)的哈夫曼編碼效率高，運(yùn)算速度快，實(shí)現(xiàn)方式靈活，使得其在數(shù)據(jù)壓縮領(lǐng)域得到了廣泛的應(yīng)用。

數(shù)據(jù)壓縮技術(shù)的不斷完善是依靠在信息論這門學(xué)科的成長(zhǎng)上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關(guān)系，人工智能技術(shù)將會(huì)對(duì)數(shù)據(jù)壓縮的未來產(chǎn)生重大影響。

信息論在密碼學(xué)中的應(yīng)用

密碼學(xué)是研究編制密碼和破譯密碼的技術(shù)科學(xué)。從傳統(tǒng)意義上來說，密碼學(xué)是研究如何把信息轉(zhuǎn)換成一種隱蔽的方式并阻止其他人得到它。密碼術(shù)的研究和應(yīng)用雖有很長(zhǎng)的歷史，但在信息論誕生之前，它還沒有系統(tǒng)的理論，直到香農(nóng)發(fā)表的保密通信的信息理論一文，為密碼學(xué)確立了一系列的基本原則與指標(biāo)，如加密運(yùn)算中的完全性、剩余度等指標(biāo)，它們與信息的度量有著密切相關(guān)。之后才產(chǎn)生了基于信息論的密碼學(xué)理論，所以說信息論與密碼學(xué)的關(guān)系十分密切。

近代密碼學(xué)由于數(shù)據(jù)加密標(biāo)準(zhǔn)與公鑰體制的出現(xiàn)與應(yīng)用，使近代密碼學(xué)所涉及的范圍有了極大的發(fā)展，尤其是在網(wǎng)絡(luò)認(rèn)證方面得到廣泛應(yīng)用，但其中的安全性原理與測(cè)量標(biāo)準(zhǔn)仍未脫離香農(nóng)保密系統(tǒng)所規(guī)定的要求，多種加密函數(shù)的構(gòu)造，如相關(guān)免疫函數(shù)的構(gòu)造仍以香農(nóng)的完善保密性為基礎(chǔ)

信息論在數(shù)字移動(dòng)通信系統(tǒng)中的應(yīng)用

數(shù)字移動(dòng)通信系統(tǒng)主要包含編碼和譯碼兩種技術(shù)。移動(dòng)信道是最復(fù)雜的一種信道，為了保證在不利的條件下接受信號(hào)的傳輸質(zhì)量，就必須采用各種抗衰落技術(shù)和數(shù)字傳輸技術(shù)，如分集技術(shù)、擴(kuò)頻技術(shù)、均衡、交織和糾錯(cuò)編碼等。信息論在統(tǒng)計(jì)中的應(yīng)用

信息論在統(tǒng)計(jì)中的應(yīng)用一般指信息量在統(tǒng)計(jì)中的應(yīng)用，也有編碼定理與碼結(jié)構(gòu)在統(tǒng)計(jì)中的應(yīng)用等問題。由于統(tǒng)計(jì)學(xué)研究的問題日趨復(fù)雜，如統(tǒng)計(jì)模型從線性到非線性，統(tǒng)計(jì)分布從單一分布到混合分布，因此信息量在統(tǒng)計(jì)中的作用日趨重要，在許多問題中以信息量作為它們的基本度量 [2]。

在統(tǒng)計(jì)領(lǐng)域里，統(tǒng)計(jì)計(jì)算技術(shù)近年來發(fā)展很快，它使許多統(tǒng)計(jì)方法，尤其是Bayes統(tǒng)計(jì)得到廣泛的運(yùn)用。信息與統(tǒng)計(jì)相結(jié)合的其他典型問題還很多，如假設(shè)檢驗(yàn)中的兩類誤差估計(jì)問題，試驗(yàn)設(shè)計(jì)問題，信息量在有效估計(jì)中的應(yīng)用問題等，這些問題已使信息論與統(tǒng)計(jì)學(xué)想成相互推動(dòng)發(fā)展的局面。

編碼技術(shù)在調(diào)制解調(diào)技術(shù)中的應(yīng)用

在上個(gè)世紀(jì)80到90年代，信息編碼理論應(yīng)用的兩項(xiàng)重大成果是：調(diào)制解調(diào)理論及數(shù)據(jù)壓縮理論在多媒體技術(shù)領(lǐng)域的應(yīng)用。調(diào)制解調(diào)碼的出現(xiàn)從根本上改變了數(shù)據(jù)通信的狀況，使調(diào)制解調(diào)碼通信速度從原來的1200bit/s逐步增加到30000bit/s。我們可以簡(jiǎn)單計(jì)算得知，調(diào)制解調(diào)碼大大提高了數(shù)據(jù)傳輸速度，提高了25倍，從而使現(xiàn)有的網(wǎng)絡(luò)通信成為實(shí)用性的技術(shù)。

編碼技術(shù)在快速通信領(lǐng)域中的應(yīng)用

編碼理論在快速通信技術(shù)中已得到了大量的應(yīng)用，通信技術(shù)已從低速向高速發(fā)展，通信手段正向微波、衛(wèi)星等方向發(fā)展，因此誤差干擾問題突現(xiàn)出來，利用糾錯(cuò)碼可大大降低通信中的差錯(cuò)率。在20世紀(jì)70到80年代的代數(shù)碼，如BCH碼、R-S碼等為克服誤差干擾發(fā)揮了重要作用，成為通信工程不可缺少的一個(gè)組成部分。

3.7信息論在其他領(lǐng)域中的應(yīng)用

現(xiàn)今時(shí)代信息科學(xué)飛速發(fā)展，信息論已跨越了通信領(lǐng)域，在其他領(lǐng)域也得到了廣泛應(yīng)用。信息論不僅在計(jì)算機(jī)、自動(dòng)控制等方面突現(xiàn)作用，還開始涉及到物理學(xué)、化學(xué)、生物學(xué)、心理學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、人類學(xué)、語言學(xué)、統(tǒng)計(jì)學(xué)和管理學(xué)等學(xué)科。

比如信息論在水資源系統(tǒng)工程中可以利用信息論的方法建立模型推到降水、儲(chǔ)水量等分布的問題。在建筑工程故障診斷中信息論也得到了應(yīng)用，它用熵的概念對(duì)所測(cè)量的數(shù)據(jù)進(jìn)行處理和誤差分析。另外，信息論也能在作戰(zhàn)效能評(píng)估中得到應(yīng)用研究，我們可以從信息的不確定性著手評(píng)估其作戰(zhàn)效能。我們不難看出，信息論在很多領(lǐng)域都有所應(yīng)用。

結(jié) 論

信息是自從人類出現(xiàn)以來就存在于這個(gè)世界上了，天地萬物，飛禽走獸，以及人類的生存方式都離不開信息的產(chǎn)生和傳播。信息論方法具有普遍的適用性，因此可以把課上學(xué)習(xí)的內(nèi)容和我們的日常生活緊密結(jié)合起來，從而提高學(xué)習(xí)的興趣。例如，在學(xué)習(xí)多符號(hào)離散信源時(shí)，可以和日常生活中大家在電視上見到的搖獎(jiǎng)場(chǎng)面聯(lián)系起來。一臺(tái)簡(jiǎn)單的搖獎(jiǎng)機(jī)，從十個(gè)號(hào)碼球中搖出一個(gè)數(shù)字號(hào)碼，可以看作一個(gè)單符號(hào)離散信源，它有十個(gè)符號(hào)，從0至9。如果需要搖出七位數(shù)的體育彩票號(hào)碼，這可以看成是一個(gè)多符號(hào)信源，一次同時(shí)發(fā)出七個(gè)符號(hào)，而且是單符號(hào)離散信源的7次擴(kuò)展。又如，在學(xué)習(xí)漢明距離時(shí)，可以和英語學(xué)習(xí)聯(lián)系起來。在英語中拼寫非常接近的單詞很容易混淆或者拼寫錯(cuò)誤，用信息論的觀點(diǎn)來看就是兩個(gè)碼字的漢明距離（不同位的個(gè)數(shù)）太小，因此抗干擾的能力差。

由于信息論方法具有相當(dāng)普遍的意義和價(jià)值，因此在計(jì)算機(jī)科學(xué)、人工智能、語言學(xué)、基因工程、神經(jīng)解剖學(xué)甚至金融投資學(xué)等眾多領(lǐng)域都有廣泛的應(yīng)用，信息論促進(jìn)了這些學(xué)科領(lǐng)域的發(fā)展，同時(shí)也促進(jìn)了整個(gè)社會(huì)經(jīng)濟(jì)的發(fā)展。人們已經(jīng)開始利用信息論的方法來探索系統(tǒng)的存在方式和運(yùn)動(dòng)變化的規(guī)律，信息論已經(jīng)成為認(rèn)識(shí)世界和改造世界的手段，信息論對(duì)哲學(xué)領(lǐng)域也有深遠(yuǎn)的影響。由此可見，《信息論與編碼》的課程對(duì)我們至關(guān)重要！

參考文獻(xiàn)

[1] 曹雪虹，張宗橙．信息論與編碼[M]．北京：清華大學(xué)出版社．2004． [2] 沈世鎰，吳忠華．信息論基礎(chǔ)與應(yīng)用[M]．北京：高等教育出版社．2004． [3] 隋曉紅，王艷營(yíng)．信息論與編碼[M]．北京：北京大學(xué)出版社.2010 [4] 傅祖蕓.信息論—基礎(chǔ)理論與應(yīng)用[M]．北京：電子工業(yè)出版社．2004． [5] 維芬，云娜.信息論基本問題簡(jiǎn)述[J]．信息與控制.2006

第四篇：信息論發(fā)展

信息論的發(fā)展與現(xiàn)代信息論

現(xiàn)代信息論是從上世紀(jì)二十年代奈奎斯特和哈特萊的研究開始的,他們最早開始研究了通信系統(tǒng)傳輸信息的能力,并且試圖度量系統(tǒng)的信道容量。香農(nóng)于 1940 年在普林斯頓高級(jí)研究所期間開始思考信息論與有效通信系統(tǒng)的問題。經(jīng)過 8 年的努力,1948 年,來自貝爾研究所的 Claude Shannon（克勞德·香農(nóng)）的《通信的數(shù)學(xué)理論》論文公諸于世,從此宣告了嶄新的一門關(guān)于信息發(fā)面的學(xué)科──信息論的誕生。1949 年,香農(nóng)又在該雜志上發(fā)表了另一著名論文《噪聲下的通信》。在這兩篇論文中,香農(nóng)闡明了通信的基本問題,給出了通信系統(tǒng)的模型,提出了信息量的數(shù)學(xué)表達(dá)式,并解決了信道容量、信源統(tǒng)計(jì)特性、信源編碼、信道編碼等一系列基本技術(shù)問題。兩篇論文成為了信息論的奠基性著作。這兩篇論文一起闡述了現(xiàn)代信息論的基礎(chǔ)。并且香農(nóng)開始創(chuàng)造性的定義了“信息”。

信息論自從二十世紀(jì)四十年代中葉到二十一世紀(jì)初期,現(xiàn)已成為一門獨(dú)立的理論科學(xué),他給出一切傳輸、存儲(chǔ)、處理信息系統(tǒng)的一般理論,并指出,實(shí)現(xiàn)有效、可靠地傳輸和存儲(chǔ)信息的途徑是走數(shù)字化的道路。這是通信技術(shù)領(lǐng)域數(shù)字化革命的數(shù)學(xué)或理論基礎(chǔ)。1946 年的計(jì)算機(jī)和 1947 年晶體管的誕生和相應(yīng)技術(shù)的發(fā)展,是這一革命的物理或物質(zhì)基礎(chǔ)。信息論是在長(zhǎng)期的通信工程實(shí)踐和理論研究的基礎(chǔ)上發(fā)展起來的。當(dāng)物理學(xué)中的電磁理論以及后來的電子學(xué)理論一旦有某些進(jìn)展,很快就會(huì)促進(jìn)電信系統(tǒng)的創(chuàng)造發(fā)明或改進(jìn)。這是因?yàn)橥ㄐ畔到y(tǒng)對(duì)人類社會(huì)的發(fā)展,其關(guān)系實(shí)在是太密切了。日常生活、工農(nóng)業(yè)生產(chǎn)、科學(xué)研究以及戰(zhàn)爭(zhēng)等等,一切都離不開消息傳遞和信息流動(dòng)。通信系統(tǒng)是人類社會(huì)的神經(jīng)系統(tǒng),即使在原始社會(huì)也存在著最簡(jiǎn)單的通信工具和通信系統(tǒng),這方面的社會(huì)實(shí)踐是悠久漫長(zhǎng)的。自從香農(nóng)十九世紀(jì)四十年代末兩篇論文發(fā)表后,前蘇聯(lián)和美國(guó)的科學(xué)家采取了不同的研究途徑經(jīng)一部發(fā)展了信息論?？聽柲缏宸颉①e斯基和達(dá)布魯新為首的一批著名數(shù)學(xué)家致力于信息論的公理化體系和更一般更抽象的數(shù)學(xué)模型,對(duì)信息論的基本定理給出了更為普遍的結(jié)果,為信息論發(fā)展成數(shù)學(xué)的一個(gè)分支作出了貢獻(xiàn)。而在美國(guó)測(cè)試有一批數(shù)學(xué)修養(yǎng)很高的工程技術(shù)人員致力于信息有效處理和可靠傳輸?shù)目蓪?shí)現(xiàn)性,維信息論轉(zhuǎn)化為信息技術(shù)作出了貢獻(xiàn)。

世紀(jì) 50 年代,信息論向各門學(xué)科發(fā)起沖擊；60 年代信息論進(jìn)入一個(gè)消化、理解的時(shí)期,在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期。研究重點(diǎn)是信息和信源編碼問題。從此信息論邁入第二個(gè)階段。我國(guó)數(shù)學(xué)家和信息科學(xué)專家在二十世紀(jì)五十年代將信息論引進(jìn)中國(guó),經(jīng)過六十余年的不懈努力,尤其從二十世紀(jì)八十年代中期以來,一批華裔信息論專家在國(guó)際學(xué)術(shù)界崛起,以周炯盤院士為代表,為信息論的發(fā)展作出了自己的貢獻(xiàn)。到 70 年代,由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用,通訊系統(tǒng)的能力也有很大提高,如何更有效地利用和處理信息,成為日益迫切的問題。人們?cè)絹碓秸J(rèn)識(shí)到信息的重要性,認(rèn)識(shí)到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域,它迫切要求突破申農(nóng)信息論的狹隘范圍,以便使它能成為人類各種活動(dòng)中所碰到的信息問題的基礎(chǔ)理論,從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。

雖然 1948 年香農(nóng)就發(fā)明了信息論,但到 90 年代才找到或者再發(fā)現(xiàn)能夠逼近香農(nóng)極限的 turbo 碼和 LDPC 碼；再一個(gè)局限是香農(nóng)的大部分結(jié)果都是在一定的理想條件或極限條件下推導(dǎo)出來的,在實(shí)際系統(tǒng)中,這些條件可能不能滿足,因而不可能達(dá)到香農(nóng)所得出的一些結(jié)論或界限,舉一個(gè)例子,信源信道分離定理是在數(shù)據(jù)分組長(zhǎng)度無窮大和靜態(tài)信道條件下得到的,但實(shí)際系統(tǒng)中的編碼可能會(huì)有分組長(zhǎng)度和限制,信道也可能是時(shí)變的,因而產(chǎn)生出最近較新的所謂聯(lián)合信源信道編碼理論；最后一個(gè)是局限是點(diǎn)對(duì)點(diǎn)通信的局限性,因?yàn)橥ㄐ诺臉?gòu)架存在網(wǎng)絡(luò)結(jié)構(gòu)和多用戶的結(jié)構(gòu),所以對(duì)于網(wǎng)絡(luò)和多用戶的情形,香農(nóng)并沒有更深入的研究,雖然他在 50 年代研究了 two way channel,但并未得出有意義的結(jié)果,目前網(wǎng)絡(luò)信息論或多用戶信息論是一個(gè)比較活躍的領(lǐng)域,主要的有意義的結(jié)論在廣播和多址接入信道,但都是退化的情形才成立的結(jié)論,更一般的情形,還有一些其他如中繼信道等,還有待進(jìn)一步研究。

參考文獻(xiàn)：

葉中行,信息論基礎(chǔ)[J],高等教育出版社 盧侃,從 Shannon 信息論到認(rèn)知信息論[A],哈爾濱工程大學(xué)學(xué)報(bào),第 32 卷第 8 期.仇佩亮,信息論及其應(yīng)用［M］,杭州：浙江大學(xué)出版社,1999 謝邦榮,彭征明,信息論在作戰(zhàn)效能評(píng)估中的應(yīng)用研究 [A] ,北京, 2007 邵軍虎,量子 LDPC 糾錯(cuò)碼算法及應(yīng)用方案研究,西安電子科技大學(xué)[D] ,2012

汪洋,趙萬民,人居環(huán)境研究的信息論科學(xué)基礎(chǔ)及其圖譜意象系統(tǒng)[J],2012 PKU CSSCI ,香農(nóng)信息定義分析與改進(jìn)[J],2008 年 8 期, 洪潔,范修斌,范明鈺,信息論及其在序列密碼設(shè)計(jì)應(yīng)用中的幾點(diǎn)認(rèn)識(shí)[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54(2)Gregory J.Chaitin,A Theory of Program Size Formally Identical to Information Theory[J],1975, Vol.22(3)知識(shí)改變命運(yùn)

第五篇：信息論論文[定稿]

湖南科技大學(xué)課程結(jié)課論文

《信息論與編碼A》

學(xué)院：信息與電氣工程學(xué)院 專業(yè)： 班級(jí)： 學(xué)號(hào)： 姓名：

信息論基礎(chǔ)

摘要：從對(duì)信息論的一些基礎(chǔ)知識(shí)匯總，信息的定義，信息論的發(fā)展；還有信源與信息熵，信道與信道容量，編碼這些關(guān)鍵知識(shí)點(diǎn)做一個(gè)系統(tǒng)性的回顧，再結(jié)合通信領(lǐng)域的知識(shí)進(jìn)行分析。關(guān)鍵字：信息論；

引言：

信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。信息系統(tǒng)就是廣義的通信系統(tǒng)，泛指某種信息從一處傳送到另一處所需的全部設(shè)備所構(gòu)成的系統(tǒng)。

名稱由來：

信息論將信息的傳遞作為一種統(tǒng)計(jì)現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個(gè)方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。

發(fā)展簡(jiǎn)史：

信息論是20世紀(jì)40年代后期從長(zhǎng)期通訊實(shí)踐中總結(jié)出來的一門學(xué)科，是專門研究信息的有效處理和可靠傳輸?shù)囊话阋?guī)律的科學(xué)。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經(jīng)過中世紀(jì)啟蒙語言學(xué)，直到16世紀(jì)吉爾伯特（E.N.Gilbert）等人在電報(bào)學(xué)方面的工作。

20世紀(jì)20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信道容量。現(xiàn)代信息論開始出現(xiàn)。1948年克勞德·香農(nóng)（Claude Shannon）發(fā)表的論文“通信的數(shù)學(xué)理論”是世界上首次將通訊過程建立了數(shù)學(xué)模型的論文，這篇論文和1949年發(fā)表的另一篇論文一起奠定了現(xiàn)代信息論的基礎(chǔ)。

由于現(xiàn)代通訊技術(shù)飛速發(fā)展和其他學(xué)科的交叉滲透，信息論的研究已經(jīng)從香農(nóng)當(dāng)年僅限于通信系統(tǒng)的數(shù)學(xué)理論的狹義范圍擴(kuò)展開來，而成為現(xiàn)在稱之為信息科學(xué)的龐大體系。

信息的性質(zhì)：

信息有以下性質(zhì)：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯(lián)系（第四節(jié)將具體分析）。同時(shí)，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個(gè)重要性質(zhì)是完整性，每個(gè)信息子不能決定任何事件，須有兩個(gè)或兩個(gè)以上的信息子規(guī)則排布為完整的信息，其釋放的能量才足以使確定事件發(fā)生。信息還有專一性，每個(gè)信息決定一個(gè)確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進(jìn)一步發(fā)現(xiàn)。

基本內(nèi)容：

傳統(tǒng)的通信系統(tǒng)如電報(bào)、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測(cè)、遙感和遙控等系統(tǒng)也是傳送各種信息的，只是信息類型不同，所以也屬于信息系統(tǒng)。有時(shí)，信息必須進(jìn)行雙向傳送，例如電話通信要求雙向交談，遙控系統(tǒng)要求傳送控制用信息和反向的測(cè)量信息等。這類雙向信息系統(tǒng)實(shí)際上是由兩個(gè)信息系統(tǒng)構(gòu)成。所有信息系統(tǒng)都可歸納成如圖所示的模型來研究它的基本規(guī)律。

信源：信息的源泉或產(chǎn)生待傳送的信息的實(shí)體，如電活系統(tǒng)中的講話者，對(duì)于電信系統(tǒng)還應(yīng)包括話筒，它輸出的電信號(hào)作為含有信息的載體。

信息熵：所謂信息熵，是一個(gè)數(shù)學(xué)上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現(xiàn)概率。而信息熵和熱力學(xué)熵是緊密相關(guān)的。根據(jù)Charles H.Bennett對(duì)Maxwell's Demon的重新解釋，對(duì)信息的銷毀是一個(gè)不可逆過程，所以銷毀信息是符合熱力學(xué)第二定律的。而產(chǎn)生信息，則是為系統(tǒng)引入負(fù)（熱力學(xué)）熵的過程。所以信息熵的符號(hào)與熱力學(xué)熵應(yīng)該是相反的。

信宿：信息的歸宿或接受者，在電話系統(tǒng)中這就是聽者和耳機(jī)，后者把接收到的電信號(hào)轉(zhuǎn)換成聲音，供聽者提取所需的信息。信道：傳送信息的通道，如電話通信中包括中繼 器在內(nèi)的同軸電纜系統(tǒng)，衛(wèi)星通信中地球站的收發(fā)信機(jī)、天線和衛(wèi)星上的轉(zhuǎn)發(fā)器等。

編碼器：在信息論中是泛指所有變換信號(hào)的設(shè)備，實(shí)際上就是終端機(jī)的發(fā)送部分。它包括從信源到信道的所有設(shè)備，如量化器、壓縮編碼器、調(diào)制器等，使信源輸出的信號(hào)轉(zhuǎn)換成適于信道傳送的信號(hào)。

譯碼器：是編碼器的逆變換設(shè)備，把信道上送來的信號(hào)轉(zhuǎn)換成信宿能接受的信號(hào)，可包括解調(diào)器、譯碼器、數(shù)模轉(zhuǎn)換器等。

哈夫曼碼：哈夫曼碼是用概率匹配方法進(jìn)行信源編碼。它有兩個(gè)明顯的特點(diǎn)：一是哈夫 曼的編碼方法保證了概率大的符號(hào)對(duì)應(yīng)于短碼，概率小的符號(hào)對(duì)應(yīng)于長(zhǎng)碼，充分利用了短碼；二是縮減信源的最后兩個(gè)碼字總是最后一位不同，從而保證了哈夫曼碼是即時(shí)碼

當(dāng)信源和信宿已給定、信道也已選定后，決定信息系統(tǒng)性能就在于編碼器和譯碼器。設(shè)計(jì)一個(gè)信息系統(tǒng)時(shí)，除了選擇信道和設(shè)計(jì)其附屬設(shè)施外，主要工作也就是設(shè)計(jì)編譯碼器。一般情況下，信息系統(tǒng)的主要性能指標(biāo)是它的有效性和可靠性。有效性就是在系統(tǒng)中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發(fā)出的信息一致，或者說失真盡可能小。最佳編譯碼器就是要使系統(tǒng)最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導(dǎo)致不可靠，反之也是如此。從定量意義上說，應(yīng)使系統(tǒng)在規(guī)定的失真或基本無失真的條件下，傳送最大的信息率；或者在規(guī)定信息率的條件下，失真最小。計(jì)算這最大信息率并證明達(dá)到或接近這一值的編譯碼器是存在的，就是信息論的基本任務(wù)。只討論這樣問題的理論可稱為仙農(nóng)信息論般認(rèn)為信息論的內(nèi)容尚應(yīng)更廣泛一些，即包括提取信息和保證信息安全的理論。后者就是估計(jì)理論、檢測(cè)理論和密碼學(xué)。

信息論是建立在概率論基礎(chǔ)上而形成的，也就是從信源符號(hào)和信道噪聲的概率特性出發(fā)的。這類信息通常稱為語法信息。其實(shí)，信息系統(tǒng)的基本規(guī)律也應(yīng)包括語義信息和語用信息。語法信息是信源輸出符號(hào)的構(gòu)造或其客觀特性所表現(xiàn)與信宿的主觀要求無關(guān)，而語義則應(yīng)考慮各符號(hào)的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小于語法信息率；電報(bào)的信息率可低于表達(dá)同一含義的語聲的信息率就是一個(gè)例子。更進(jìn)一步，信宿或信息的接受者往往只需要對(duì)他有用的信息，他聽不懂的語言是有意義的，但對(duì)他是無用的。所以語用信息，即對(duì)信宿有用的信息一般又小于語義信息。倘若只要求信息系統(tǒng)傳送語義信息或語用信息，效率顯然會(huì)更高一些。在目前情況下，關(guān)于語法信息，已在概率論的基礎(chǔ)上建立了系統(tǒng)化的理論，形成一個(gè)學(xué)科；而語義和語用信息尚不夠成熟。因此，關(guān)于后者的論述通常稱為信息科學(xué)或廣義信息論，不屬于一般信息論的范疇。概括起來，信息系統(tǒng)的基本規(guī)律應(yīng)包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測(cè)理論、估計(jì)理論以及密碼學(xué)。

信息與通信：

信息就是一種消息，它與通訊問題密切相關(guān)。1948年貝爾研究所的香農(nóng)在題為《通訊的數(shù)學(xué)理論》的論文中系統(tǒng)地提出了關(guān)于信息的論述，創(chuàng)立了信息論。維納提出的關(guān)于度量信息量的數(shù)學(xué)公式開辟了信息論的廣泛應(yīng)用前景。1951年美國(guó)無線電工程學(xué)會(huì)承認(rèn)信息論這門學(xué)科，此后得到迅速發(fā)展。20世紀(jì)50年代是信息論向各門學(xué)科沖擊的時(shí)期，60年代信息論不是重大的創(chuàng)新時(shí)期，而是一個(gè)消化、理解的時(shí)期，是在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期。研究重點(diǎn)是信息和信源編碼問題。到70年代，由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們?cè)絹碓秸J(rèn)識(shí)到信息的重要性，認(rèn)識(shí)到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動(dòng)中所碰到的信息問題的基礎(chǔ)理論，從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應(yīng)用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲(chǔ)、處理、顯示、識(shí)別和利用的信息科學(xué)正在形成。