第一篇：信息論基礎(chǔ)-理論教學(xué)大綱

《信息論基礎(chǔ)》課程教學(xué)大綱

課程編號：（0531305）課程名稱：信息論基礎(chǔ)

參考學(xué)時(shí)：48

其中實(shí)驗(yàn)或上機(jī)學(xué)時(shí)：0 先修課及后續(xù)課：

先修課：概率論、信號與系統(tǒng)

后續(xù)課：通信原理、數(shù)字圖像處理、語音信號處理

說明部分

1．課程性質(zhì)

本課程是電子信息類專業(yè)的技術(shù)基礎(chǔ)課 2．課程教學(xué)的目的及意義

人類社會的生存和發(fā)展無時(shí)無刻都離不開信息的獲取、傳遞、處理、控制和利用。特別是邁入21世紀(jì)――高度信息化時(shí)代，信息的重要性更是不言而喻。信息業(yè)的發(fā)展，需要大量從事信息、通信、電子工程類專業(yè)的人才，而《信息論基礎(chǔ)》課程為電子信息工程學(xué)科的基礎(chǔ)課，同時(shí)也可作為信息科學(xué)其它相關(guān)學(xué)科的選修課，掌握它，可以指導(dǎo)理論研究和工程應(yīng)用。

本課程注重基本概念、基本理論和基本分析方法的論述，并結(jié)合實(shí)例建立數(shù)學(xué)模型，給出推演過程，力求物理概念清晰、數(shù)學(xué)結(jié)構(gòu)嚴(yán)謹(jǐn)和完整、逐步深入展開。通過該課程的學(xué)習(xí)，使學(xué)生掌握香農(nóng)信息論的三個(gè)基本概念，與之相應(yīng)的三個(gè)編碼定理，以及信源編碼、信道編碼的基本理論和主要方法，培養(yǎng)學(xué)生能夠適應(yīng)數(shù)字通信、信息處理、信息安全、計(jì)算機(jī)信息管理等編碼工作的要求。使學(xué)生掌握信息理論的基本概念和信息分析方法及主要結(jié)論，為今后從事信息領(lǐng)域的科研和工程工作進(jìn)一步研究打下堅(jiān)實(shí)的理論基礎(chǔ)。3．教學(xué)內(nèi)容及教學(xué)要求 教學(xué)內(nèi)容：

該課程是電子信息工程、信息安全工程專業(yè)的專業(yè)基礎(chǔ)課。是為了適應(yīng)數(shù)字通信、信息處理和信息安全等方面的專業(yè)需要開設(shè)。該課程著重介紹信息論應(yīng)用概率論、隨機(jī)過程和現(xiàn)代數(shù)理統(tǒng)計(jì)方法，研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性，實(shí)現(xiàn)信息系統(tǒng)的最優(yōu)化。

信息論是現(xiàn)代通信與信息工程的理論基礎(chǔ)，主要內(nèi)容包括：信息的定義和測度；各類離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數(shù)據(jù)處理和信息測量理論；信息率失真函數(shù)和數(shù)據(jù)壓縮原理；離散信源無失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學(xué)基本要求：

了解通信系統(tǒng)各部分的主要組成以及作用、香農(nóng)的三大編碼定理；

掌握各類離散信源和信息熵、信道及其信道容量、信息率失真函數(shù)和數(shù)據(jù)壓縮原理、離常用的無失真信源編碼方法、糾錯(cuò)碼基本思想及常用的糾錯(cuò)編碼方法。4.教學(xué)重點(diǎn)、難點(diǎn) 教學(xué)重點(diǎn)：

信息以及失真的測度、信道及信道容量、無失真信源編碼方法以及有噪信道編碼方法。教學(xué)難點(diǎn)：

?典型序列以及由此推導(dǎo)出的香農(nóng)三大編碼定理即逆定理。

5.教學(xué)方法及教學(xué)手段

課堂講學(xué)為主，習(xí)題講解為輔。6.教學(xué)學(xué)材及主要參考書

1.傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》，北京：電子工業(yè)出版社，2011年 2.姜丹，《信息論與編碼》，合肥，中國科學(xué)技術(shù)大學(xué)出版社，2001年 3.曹雪虹，張宗橙，信息論與編碼，北京，清華大學(xué)出版社，2004年

二、正文部分 第一章：緒論

一、教學(xué)要求

了解信息論研究對象、目的、發(fā)展簡史與現(xiàn)狀；

了解通信系統(tǒng)的模型以及通信系統(tǒng)各部分的主要組成以及作用

二、教學(xué)內(nèi)容

第一節(jié) 信息的概念

知識要點(diǎn)：信息的概念及自信息 第二節(jié) 信息論研究的對象、目的和內(nèi)容 知識要點(diǎn)：信息論研究的對象、目的和內(nèi)容 第三節(jié)：信息論發(fā)展簡史 知識要點(diǎn)：信息論發(fā)展簡史

三、本章學(xué)時(shí)數(shù)

2學(xué)時(shí)

第二章：離散信源及其測度

一、教學(xué)要求

了解信源的相關(guān)性和剩余度的概念，信息的概念，信息，信號，消息，數(shù)據(jù)的關(guān)系與聯(lián)系。

掌握信源的數(shù)學(xué)模型、離散無記憶信源、離散平穩(wěn)信源和馬爾可夫信源基本理論。

二、教學(xué)內(nèi)容

第一節(jié) 信源的數(shù)學(xué)模型及分類

知識要點(diǎn)：信源的數(shù)學(xué)模型，離散無記憶信源及其擴(kuò)展信源。第二節(jié) 信息熵及其基本性質(zhì)

知識要點(diǎn)：自信息及信息熵離散無記憶擴(kuò)展信源熵，熵的基本性質(zhì)及最大離散熵定理。第三節(jié) 離散平穩(wěn)信源

知識要點(diǎn)：離散平穩(wěn)信源定義，聯(lián)合熵，條件熵以及極限熵。

第四節(jié) 馬爾可夫信源

知識要點(diǎn)：馬爾可夫信源定義，馬爾可夫信源熵 第五節(jié) 信息剩余度

知識要點(diǎn)：信息剩余度以及自然語言熵

三、本章學(xué)時(shí)數(shù)

10學(xué)時(shí)

第三章：離散信道及其信道容量

一、教學(xué)要求

了解一般信道容量計(jì)算。

掌握信道的數(shù)學(xué)模型，離散無記憶信道以及一些特殊信道容量的計(jì)算方法。

二、教學(xué)內(nèi)容

第一節(jié) 信道數(shù)學(xué)模型及分類

知識要點(diǎn)：信道數(shù)學(xué)模型及不同的分類，信道矩陣。第二節(jié)平均互信息及特點(diǎn)

知識要點(diǎn)：信道疑義度，互信息和平均互信息及其特性，平均條件互信息。第三節(jié) 信道容量及一般計(jì)算方法

知識要點(diǎn)：離散無噪信道及信道容量，對稱離散信道、準(zhǔn)對稱信道的容量計(jì)算。第四節(jié) 離散無記憶擴(kuò)展信道及其容量

知識要點(diǎn)：離散無記憶擴(kuò)展信道及其容量，信源與信道的匹配。

三、本章學(xué)時(shí)數(shù)

8學(xué)時(shí)

第四章：無失真信源編碼

一、教學(xué)要求

了解其它一些無失真信源編碼方法。

理解漸近等分割性及?典型序列，算術(shù)編碼方法及具體實(shí)現(xiàn)方案；

掌握編碼的定義，碼的分類，定長編碼定理，變長編碼定理，最佳編碼方法：香農(nóng)編碼方法，費(fèi)諾編碼方法，哈夫曼編碼方法。

二、教學(xué)內(nèi)容

第一節(jié) 等長碼及等長信源編碼定理

知識要點(diǎn)：編碼器的概念，碼的定義，等長碼及等長信源編碼定理，?典型序列及其性質(zhì)，編碼效率。

第二節(jié) 變長碼及變長信源編碼定理

知識要點(diǎn)：唯一可譯碼定義及其判斷方法，即時(shí)碼的樹圖法構(gòu)造，Kraft不等式，緊致碼，變長信源編碼定理。

第三節(jié) 編碼方法

知識要點(diǎn)：香農(nóng)編碼，費(fèi)諾編碼，香農(nóng)－費(fèi)諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術(shù)編碼和其它一些編碼方法。

三、本章學(xué)時(shí)數(shù)

10學(xué)時(shí)

第五章：有噪信道編碼

一、教學(xué)要求

了解檢錯(cuò)碼與糾錯(cuò)碼的方法。理解漸近等分割性及?典型序列。

掌握的重點(diǎn)內(nèi)容有：有噪離散信道的編碼定理，差錯(cuò)控制與信道編譯碼的基本原理，線性分組碼，卷積碼，網(wǎng)格編碼調(diào)制與級聯(lián)碼簡介。

二、教學(xué)內(nèi)容

第一節(jié) 錯(cuò)誤概率與譯碼規(guī)則和編碼方法

知識要點(diǎn)：最小錯(cuò)誤概率譯碼準(zhǔn)則，最大似然譯碼準(zhǔn)則，最小距離譯碼準(zhǔn)則及其之間相互關(guān)系，平均譯碼錯(cuò)誤概率，錯(cuò)誤概率與譯碼規(guī)則和編碼方法關(guān)系，信道編碼的編、譯基本準(zhǔn)則。

第二節(jié) 有噪信道編碼定理

知識要點(diǎn)：有噪信道編碼定理及其逆定理，信源信道編碼定理。第三節(jié) 糾錯(cuò)碼

知識要點(diǎn)：糾錯(cuò)碼分類，分組碼的最小距離與檢、糾錯(cuò)能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監(jiān)督矩陣及其關(guān)系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構(gòu)造方法。

三、本章學(xué)時(shí)數(shù)

14學(xué)時(shí)

第六章：總復(fù)習(xí)

一、教學(xué)要求

總結(jié)掌握信息論基礎(chǔ)課程學(xué)所內(nèi)容

二、本章學(xué)時(shí)數(shù)

2學(xué)時(shí)

總學(xué)時(shí)48學(xué)時(shí)

第一章 第二章 第三章 第四章 第五章 第六章 緒論

2學(xué)時(shí) 離散信源及其測度

10學(xué)時(shí) 離散信道及其信道容量

8學(xué)時(shí) 無失真信源編碼

12學(xué)時(shí) 有噪信道編碼

14學(xué)時(shí) 復(fù)習(xí)

2學(xué)時(shí)

考核方案：

期末考試60%；考核形式：考試（閉卷筆試），教學(xué)環(huán)境：課堂 作業(yè)與提問10%； 學(xué)習(xí)筆記10%；平時(shí)測驗(yàn)20% 4

作業(yè)和提問10％：提問采用隨堂隨機(jī)形式，主要圍繞學(xué)生的實(shí)踐能力培養(yǎng)，由于本課程沒有實(shí)驗(yàn)，如信道容量的計(jì)算，信源和信道編碼等的程序?qū)崿F(xiàn)，采取在課堂上布置思考題，讓學(xué)生課后思考算法實(shí)現(xiàn)的步驟，然后在課堂上簡述。

學(xué)習(xí)筆記10％：主要是考查學(xué)生參與學(xué)習(xí)的過程，包括課后搜集整理資料的過程與撰寫簡要的綜述能力。

平時(shí)測驗(yàn)20％：隨堂測驗(yàn)，不定期抽取重要知識點(diǎn)檢測學(xué)生掌握情況，2～3次，根據(jù)學(xué)生對知識的掌握情況，次數(shù)可以酌情變化，根據(jù)測試批改的結(jié)果，對典型錯(cuò)誤進(jìn)行詳細(xì)講解。主要考察學(xué)生的分析問題和解決問題的能力，選取的測試內(nèi)容主要包括信源熵和信道容量的計(jì)算、具體的信源編碼，信道的糾錯(cuò)編碼和糾錯(cuò)能力的計(jì)算等，加深對課堂理論知識的理解。

期末考試60％：卷面100分，采取筆試閉卷形式，規(guī)定卷面55分以上，總評才可以合格。題型主要有，問答、填空、判斷、作圖、計(jì)算和證明等形式，其中基本難度題分值約為50％，中等難度題約40％，較難題量約為10％。

教研室：

電子信息教研室

執(zhí)筆人：

系主任審核簽名： 譚敏

編寫時(shí)間2005.2

修改時(shí)間2014.1

第二篇：信息論與編碼教學(xué)大綱

《信息論與編碼》教學(xué)大綱

電子信息工程專業(yè)（本科）

課程編號：（）

課程名稱：信息論與編碼 參考學(xué)時(shí)：52 其中實(shí)驗(yàn)或上機(jī)學(xué)時(shí)：0 說明部分

1．課程性質(zhì)

本課程是電子信息類專業(yè)的技術(shù)基礎(chǔ)課 2．課程教學(xué)的目的及意義

人類社會的生存和發(fā)展無時(shí)無刻都離不開信息的獲取、傳遞、處理、控制和利用。特別是邁入21世紀(jì)――高度信息化時(shí)代，信息的重要性更是不言而喻。信息業(yè)的發(fā)展，需要大量從事信息、通信、電子工程類專業(yè)的人才，而《信息論和編碼》課程為電子信息工程學(xué)科的基礎(chǔ)課，同時(shí)也可作為信息科學(xué)其它相關(guān)學(xué)科的選修課，掌握它，可以指導(dǎo)理論研究和工程應(yīng)用。

本課程注重基本概念、基本理論和基本分析方法的論述，并結(jié)合實(shí)例建立數(shù)學(xué)模型，給出推演過程，力求物理概念清晰、數(shù)學(xué)結(jié)構(gòu)嚴(yán)謹(jǐn)和完整、逐步深入展開。通過該課程的學(xué)習(xí)，使學(xué)生掌握香農(nóng)信息論的三個(gè)基本概念，與之相應(yīng)的三個(gè)編碼定理，以及信源編碼、信道編碼和信息保密編碼的基本理論和主要方法，培養(yǎng)學(xué)生能夠適應(yīng)數(shù)字通信、信息處理、信息安全、計(jì)算機(jī)信息管理等編碼工作的要求。使學(xué)生掌握信息理論的基本概念和信息分析方法及主要結(jié)論，為今后從事信息領(lǐng)域的科研和工程工作進(jìn)一步研究打下堅(jiān)實(shí)的理論基礎(chǔ)。3．教學(xué)內(nèi)容及教學(xué)要求

該課程是電子信息工程、信息安全工程專業(yè)的專業(yè)課。是為了適應(yīng)數(shù)字通信、信息處理和信息安全等方面的專業(yè)需要開設(shè)。該課程著重介紹信息論應(yīng)用概率論、隨機(jī)過程和現(xiàn)代數(shù)理統(tǒng)計(jì)方法，研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性，實(shí)現(xiàn)信息系統(tǒng)的最優(yōu)化。

信息論是現(xiàn)代通信與信息工程的理論基礎(chǔ)，主要內(nèi)容包括：信息的定義和測度；各類離散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；數(shù)據(jù)處理和信息測量理論；信息率失真函數(shù)和數(shù)據(jù)壓縮原理；離散信源無失真和限失真信源編碼理論和編碼方法；離散有噪信道編碼理論和編碼原則。教學(xué)基本要求：

了解通信系統(tǒng)各部分的主要組成以及作用、香農(nóng)的三大編碼定理；

掌握各類離散信源和信息熵、信道及其信道容量、信息率失真函數(shù)和數(shù)據(jù)壓縮原理、離常用的無失真信源編碼方法、糾錯(cuò)碼基本思想及常用的糾錯(cuò)編碼方法。4.教學(xué)重點(diǎn)、難點(diǎn) 教學(xué)重點(diǎn)：

信息以及失真的測度、信道及信道容量、無失真信源編碼方法以及有噪信道編碼方法。教學(xué)難點(diǎn)：

?典型序列以及由此推導(dǎo)出的香農(nóng)三大編碼定理及其逆定理。5.教學(xué)方法及教學(xué)手段

課堂講學(xué)為主，習(xí)題講解為輔。6.教學(xué)學(xué)材及主要參考書

1.傅祖蕓編著，《信息論－基礎(chǔ)理論與應(yīng)用》，北京：電子工業(yè)出版社，2001年 2.姜丹，《信息論與編碼》，合肥，中國科學(xué)技術(shù)大學(xué)出版社，2001年 3.曹雪虹，張宗橙，信息論與編碼，北京，清華大學(xué)出版社，2004年 7.其它

考核形式：考試（筆試），教學(xué)環(huán)境：課堂

本課程應(yīng)開設(shè)在概率論與隨機(jī)過程等數(shù)學(xué)學(xué)科信號與系統(tǒng)之后，是數(shù)字圖像處理的基礎(chǔ)課程。

總學(xué)時(shí)數(shù)

課程總學(xué)時(shí)數(shù)： 52 其中，課堂講授： 46 作業(yè)：6

二、正文部分 第一章：緒論

一、教學(xué)要求

了解信息論研究對象、目的、發(fā)展簡史與現(xiàn)狀；

了解通信系統(tǒng)的模型以及通信系統(tǒng)各部分的主要組成以及作用

二、教學(xué)內(nèi)容

第一節(jié) 信息的概念

知識要點(diǎn)：信息的概念及自信息 第二節(jié) 信息論研究的對象、目的和內(nèi)容 知識要點(diǎn)：信息論研究的對象、目的和內(nèi)容 第三節(jié)：信息論發(fā)展簡史 知識要點(diǎn)：信息論發(fā)展簡史

三、本章學(xué)時(shí)數(shù) 2學(xué)時(shí)

第二章：離散信源及其測度

一、教學(xué)要求

了解信源的相關(guān)性和剩余度的概念，信息的概念，信息，信號，消息，數(shù)據(jù)的關(guān)系與聯(lián)系。

掌握信源的數(shù)學(xué)模型、離散無記憶信源、離散平穩(wěn)信源和馬爾可夫信源基本理論。

二、教學(xué)內(nèi)容

第一節(jié) 信源的數(shù)學(xué)模型及分類

知識要點(diǎn)：信源的數(shù)學(xué)模型，離散無記憶信源及其擴(kuò)展信源。第二節(jié) 信息熵及其基本性質(zhì) 知識要點(diǎn)：自信息及信息熵離散無記憶擴(kuò)展信源熵，熵的基本性質(zhì)及最大離散熵定理。第三節(jié) 離散平穩(wěn)信源

知識要點(diǎn)：離散平穩(wěn)信源定義，聯(lián)合熵，條件熵以及極限熵。第四節(jié) 馬爾可夫信源

知識要點(diǎn)：馬爾可夫信源定義，馬爾可夫信源熵 第四節(jié) 信息剩余度

知識要點(diǎn)：信息剩余度以及自然語言熵

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

第三章：離散信道及其信道容量

一、教學(xué)要求

了解一般信道容量計(jì)算。

掌握信道的數(shù)學(xué)模型，離散無記憶信道以及一些特殊信道容量的計(jì)算方法。

二、教學(xué)內(nèi)容

第一節(jié) 信道數(shù)學(xué)模型及分類

知識要點(diǎn)：信道數(shù)學(xué)模型及不同的分類，信道矩陣。第二節(jié)平均互信息及特點(diǎn)

知識要點(diǎn)：信道疑義度，互信息和平均互信息及其特性，平均條件互信息。第三節(jié) 信道容量及一般計(jì)算方法

知識要點(diǎn)：離散無噪信道及信道容量，對稱離散信道、準(zhǔn)對稱信道的容量計(jì)算。第四節(jié) 離散無記憶擴(kuò)展信道及其容量

知識要點(diǎn)：離散無記憶擴(kuò)展信道及其容量，信源與信道的匹配。

三、本章學(xué)時(shí)數(shù) 6學(xué)時(shí)

第四章：無失真信源編碼

一、教學(xué)要求

了解其它一些無失真信源編碼方法。

理解漸近等分割性及?典型序列，算術(shù)編碼方法及具體實(shí)現(xiàn)方案；

掌握編碼的定義，碼的分類，定長編碼定理，變長編碼定理，最佳編碼方法：香農(nóng)編碼方法，費(fèi)諾編碼方法，哈夫曼編碼方法。

二、教學(xué)內(nèi)容

第一節(jié) 等長碼及等長信源編碼定理

知識要點(diǎn)：編碼器的概念，碼的定義，等長碼及等長信源編碼定理，?典型序列及其性質(zhì)，編碼效率。

第二節(jié) 變長碼及變長信源編碼定理

知識要點(diǎn)：唯一可譯碼定義及其判斷方法，即時(shí)碼的樹圖法構(gòu)造，Kraft不等式，緊致碼，變長信源編碼定理。

第三節(jié) 編碼方法 知識要點(diǎn)：香農(nóng)編碼，費(fèi)諾編碼，香農(nóng)－費(fèi)諾－埃利斯編碼，哈夫曼編碼，游程編碼，算術(shù)編碼和其它一些編碼方法。

三、本章學(xué)時(shí)數(shù) 10學(xué)時(shí)

第五章：有噪信道編碼

一、教學(xué)要求

了解檢錯(cuò)碼與糾錯(cuò)碼的方法。理解漸近等分割性及?典型序列。

掌握的重點(diǎn)內(nèi)容有：有噪離散信道的編碼定理，差錯(cuò)控制與信道編譯碼的基本原理，線性分組碼，卷積碼，網(wǎng)格編碼調(diào)制與級聯(lián)碼簡介。

二、教學(xué)內(nèi)容

第一節(jié) 錯(cuò)誤概率與譯碼規(guī)則和編碼方法

知識要點(diǎn)：最小錯(cuò)誤概率譯碼準(zhǔn)則，最大似然譯碼準(zhǔn)則，最小距離譯碼準(zhǔn)則及其之間相互關(guān)系，平均譯碼錯(cuò)誤概率，錯(cuò)誤概率與譯碼規(guī)則和編碼方法關(guān)系，信道編碼的編、譯基本準(zhǔn)則。

第二節(jié) 有噪信道編碼定理

知識要點(diǎn)：有噪信道編碼定理及其逆定理，信源信道編碼定理。第三節(jié) 糾錯(cuò)碼

知識要點(diǎn)：糾錯(cuò)碼分類，分組碼的最小距離與檢、糾錯(cuò)能力，分組碼的碼率，線性分組碼的特性，生成矩陣和一致監(jiān)督矩陣及其關(guān)系，線性分組碼的編、譯碼方法，漢明碼，卷積碼及其構(gòu)造方法。

三、本章學(xué)時(shí)數(shù) 10學(xué)時(shí)

第六章：波形信源和波形信道

一、教學(xué)要求

了解連續(xù)信源和波形信源的信息測度，連續(xù)信道和波形信道的分類，連續(xù)信源熵的變換，連續(xù)信道和波形信道的信道容量的計(jì)算方法。

掌握連續(xù)信源和波形信源的信息測度。

二、教學(xué)內(nèi)容

第一節(jié) 連續(xù)信源和波形信源的信息測度

知識要點(diǎn)：連續(xù)信源的差熵、波形信源的差熵和兩種特殊信源的差熵。第二節(jié) 連續(xù)信道和波形信道的分類

知識要點(diǎn)：按噪聲統(tǒng)計(jì)特性分類，按噪聲對信號的作用和功能分類。第三節(jié) 連續(xù)信道和波形信道的信息傳輸率

知識要點(diǎn)：單符號連續(xù)信道的平均交互信息，連續(xù)信道的平均交互信息的特性。第四節(jié) 連續(xù)信道和波形信道的信道容量

知識要點(diǎn)：單符號高斯加性信道的信道容量，單符號非高斯加性信道的信道容量，多維無記憶高斯加性信道的信道容量。

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

第七章：限失真信源編碼

一、教學(xué)要求

了解保真度準(zhǔn)則下的信源編碼定理

掌握失真度與平均失真度，信息率失真函數(shù)與特性，R(D)函數(shù)的參數(shù)表述及其計(jì)算。

二、教學(xué)內(nèi)容

第一節(jié) 失真度與平均失真度

知識要點(diǎn)：失真度與平均失真度，D失真許可試驗(yàn)信道。第二節(jié) 信息率失真函數(shù)與特性

知識要點(diǎn)：信息率失真函數(shù)R(D)的定義，離散信源的R(D)函數(shù)，高斯連續(xù)信源的R(D)函數(shù)，R(D)的定義域和單調(diào)性等性質(zhì)。

第三節(jié) 信息率失真函數(shù)的參量表述與計(jì)算

知識要點(diǎn)：信息率失真函數(shù)的計(jì)算 第四節(jié) 保真度準(zhǔn)則下的信源編碼定理

知識要點(diǎn)：失真限?典型序列，失真信源編碼定理和編碼逆定理，有失真信源編碼定理的實(shí)用意義。

三、本章學(xué)時(shí)數(shù) 8學(xué)時(shí)

執(zhí)筆人：

胡學(xué)友

教研室：XXX

系主任審核簽名：XXX 5

第三篇：信息論修改版

信息論局限性分析以及在光通信中的應(yīng)用

摘要

從新的角度指出了香農(nóng)信息論的局限性，這些局限性主要體現(xiàn)在對信息的可靠性和完備性的忽視，通過例子分析進(jìn)一步說明信息可靠性對于度量信息的重要意義。指出局限性產(chǎn)生的根源在于對信息多重不確定性的忽視，以及對概率值本身存在不確定性的認(rèn)識不足。后半部分介紹了信息論在光通信領(lǐng)域的一些應(yīng)用。

關(guān)鍵詞：信息論，通信，可靠性，糾錯(cuò)，概率，光通信。

Abstract The limitations of Shannon information theory are pointed out from new angles.The limitations areembodied in the neglect of the reliability and completeness of information.The significance of the reliability of information to measure information is further illustrated by the analysis of some examples.It is pointed out that the origin of the limitation rests with the neglect of multiple uncertainty of information and the lack of cognition that the value of probability maybe uncertain itself.Keywords: information theory, communication, reliability, errorcorrection,probability optical communication.正文

第一小節(jié)：信息論的局限性分析 1.引言

香農(nóng)(Shannon)信息論對通信技術(shù)的發(fā)展具有深遠(yuǎn)的影響。但是信息論的應(yīng)用一直限于通信等一些很局限的領(lǐng)域，信息論并不能夠完全地適用于一些信息技術(shù)相關(guān)的領(lǐng)域。關(guān)于香農(nóng)信息論的局限性，許多學(xué)者都有認(rèn)識，香農(nóng)本人也反對將信息論濫用。國內(nèi)外一些學(xué)者從許多角度討論了信息論的局限性，比如沒有考慮語義、語用，沒有考慮信息的模糊性和事件之間的相似性，沒有考慮事件劃分可能存在包含關(guān)系等。筆者發(fā)現(xiàn)信息論的局限性一個(gè)重要體現(xiàn)就是忽視信息的可靠性，缺乏對可靠性的度量。

2.香農(nóng)信息論針對現(xiàn)實(shí)問題的局限性

香農(nóng)對信息的定義，對信息的度量，以及他的信息論，基本上都是用熵來計(jì)算的隨機(jī)不確定性，并沒有考慮信息的可靠度，對信息的可靠度的考慮最多是從信息傳遞過程中的失真進(jìn)行了考慮。香農(nóng)將信息定義為消除不確定性的東西，與他研究通信中的條件熵不增加有密切關(guān)系。

現(xiàn)信息論存在如下局限性：第一，信息論沒有考慮信息的可靠性問題，而現(xiàn)實(shí)中的信息大多數(shù)都是不可靠的。而信息的可靠性卻是信息價(jià)值的前提，比如情報(bào)類信息的可靠性就非常重要。信息的可靠性是信息的主要指標(biāo)，但是信息論沒有考慮，僅僅是考慮到信息的不確定性。

第二，信息的完備性問題，信息論并沒有考慮信息并不完全發(fā)送的情況，而現(xiàn)實(shí)中許多信息都是不完全（完備）、片面的，需要融合。在沒有更加完備信息的場合下，人們往往權(quán)宜地將片面的信息姑且當(dāng)作全面的信息來對待這一些簡單的信道并聯(lián)和串聯(lián)可以合為一個(gè)信道，比如簡單的兩個(gè)串聯(lián)信道的信道矩陣可以直接通過相乘而當(dāng)作一個(gè)信道，但是信息論沒有考慮信息復(fù)雜的多重傳遞，比如，信息從一個(gè)信源傳遞到中間信宿，而中間信宿又轉(zhuǎn)發(fā)給一個(gè)最終信宿，而且在這個(gè)轉(zhuǎn)換的過程中，信息的表示發(fā)生了改變，在這種多重傳遞的過程中，可能會產(chǎn)生多重不確定性。

第三，現(xiàn)實(shí)中的信息往往需要經(jīng)過這種多重傳遞，導(dǎo)致多重不確定性。比如，當(dāng)然如果考慮前面提到的模糊集合等，這種多重不確定性性將更加復(fù)雜。信息論沒有考慮到信道矩陣的傳遞概率等參數(shù)的復(fù)雜性。現(xiàn)實(shí)中這種傳輸特性可能不是確定不變的，而可能是隨機(jī)變量，甚至可能更加復(fù)雜。

第四，信息論中以通信為研究對象，其傳輸?shù)男盘柋旧硎谴_定的，然而現(xiàn)實(shí)中卻存在許多不確定性問題。在通信中，定義信息為消除不確定性的東西無可厚非，但是面對本身不確定的信息，我們?nèi)绻ハ洳淮_定性。

第五，信息論中的條件相對而言是簡單的，而且多是以條件概率來表示的。然而現(xiàn)實(shí)中許多中的信息的條件是比較復(fù)雜的，比如，給出的條件可能是知識、規(guī)律等等，在已知先驗(yàn)概率的情況下，又得知某一個(gè)規(guī)律，通過這個(gè)規(guī)律并不能簡單得出相應(yīng)的條件概率來。

第六，信息論用先驗(yàn)概率來表示已知的信息，然而，現(xiàn)實(shí)中，許多已知的信息并不是可以用先驗(yàn)概率來表示，比如可能包含未知數(shù)，可能是某個(gè)約束條件，可能是某個(gè)規(guī)律，甚至可能是完全未知的。3.實(shí)際應(yīng)用分析

實(shí)例1：甲從乙處得到情報(bào)：“敵人明天早晨百分之九十九要發(fā)動(dòng)進(jìn)攻”。此后，甲同樣從丙處得到相同的情報(bào)。從信息論角度來看，對于問題“敵人明天早晨是否要發(fā)動(dòng)進(jìn)攻”，不確定性是一樣的，因而信息量一樣，丙似乎并不提供新的信息。但是人們依然會感覺從丙處得到了信息，這種信息使得甲更加確定“敵人明天早晨百分之九十九要發(fā)動(dòng)進(jìn)攻”，這一例子進(jìn)一步說明信息的可靠性應(yīng)當(dāng)是一個(gè)度量信息的指標(biāo)。

實(shí)例2：當(dāng)獲得消息“所有的事件都是等概率發(fā)生的”的時(shí)候，對這句話的內(nèi)容是什么，或者對于問題“所有的事件發(fā)生呈現(xiàn)什么樣的概率分布”而言，它消除了不確定性。但是對于什么事件將發(fā)生情況，不可能是更加確定，信息量不可能增加而只可能是減少。這一點(diǎn)說明信息量僅僅是針對于消息本身的不確定性而言的，而該消息衍生出來的問題的不確定性并不與消息的信息量有必然聯(lián)系，因此，信息熵這一度量的應(yīng)用范圍也是有限的，并不適合應(yīng)用在日常的信息問題中。

通過以上的例子分析，暴露出信息論的一些局限性，為挖掘信息論局限性的根源提供了基礎(chǔ)。

4.信息論局限性的本質(zhì)及結(jié)論

由以上例子分析可以得出，信息論沒有考慮信息的可靠性，而信息的可靠性是一個(gè)非常重要的指標(biāo)。在通信中，由于消息是確定的，因此，不確定性的消除與可靠性的增加有一定的聯(lián)系。實(shí)際上，我們要消除不確定性是很容易的事情，而香農(nóng)信息論的消除不確定性是以保證信息的可靠性和完備性為基礎(chǔ)的，比如利用糾錯(cuò)碼糾錯(cuò)，利用后驗(yàn)概率來增強(qiáng)信息的完備性。假如把信息的確定性當(dāng)作唯一的指標(biāo)，拋開信息的可靠性問題，則可以隨便確定某一事件的概率為1，其余事件的概率為0 就可以了。再假如，我們把信息的確定性當(dāng)作首要考慮的目標(biāo)，其次考慮其可靠性，則我們也可以指定概率最大的事件概率為1，其余事件概率為0。這樣首先保證了確定性，可靠性也在一定程度上得到了滿足。如果如此，信息論和信息處理就變得相當(dāng)?shù)暮唵瘟?。顯然現(xiàn)實(shí)中人們不是這樣的。根據(jù)以上多處的分析，可靠度是信息的一個(gè)首要指標(biāo)。以上的信息的可靠性、完備性以及經(jīng)典集合的不切和實(shí)際都可以歸結(jié)為對信息的多重不確定性的忽視，比如，在實(shí)例分析中，我們發(fā)現(xiàn)不可靠的信息，它的信息表示本身是不固定的，其概率值可能是隨機(jī)變量，不完備的信息也是類似。對于模糊集和粗糙集之類的非經(jīng)典集合，則可以認(rèn)為是某一個(gè)集合包含的對象不確定而造成的，比如，在粗糙集中，對象可能屬于也可能不屬于集合X，對象a 是否屬于集合X 就具有隨機(jī)不確定性。其中一些不確定性與信息論原有的不確定性疊加起來就可能產(chǎn)生多重不確定性。這里的不確定性除了隨機(jī)不確定性、模糊不確定性，還可能有更多形式的不確定性，包括某些不完全的約束條件造成的不確定性?？梢?，對信息多重不確定性的忽視是信息論的局限性的重要的根源。對信息可靠性的忽視也是信息論無法廣泛應(yīng)用的重要原因。鑒于所有的信息都很難可靠和完備，所以我們可以將可靠性和完備性問題總歸為信息的相對性問題。實(shí)際上，現(xiàn)實(shí)中人們很難得出完全可靠的信息，只有權(quán)宜地采用相對可靠的信息，當(dāng)有更加可靠的信息的時(shí)候，人們會利用更可靠的信息取代先驗(yàn)的信息。由于可靠性也與概率值的不確定性有關(guān)系，對信息可靠性的度量也可以借鑒香農(nóng)對信息不確定性的度量，然而，計(jì)算概率的不確定性會比信息熵的計(jì)算復(fù)雜，因?yàn)楦怕市枰獫M足更多的約束條件。

當(dāng)然，信息論也與現(xiàn)實(shí)信息問題具有很強(qiáng)相似性，信息論的方法很值得在現(xiàn)實(shí)的信息問題的研究中（包括信息的可靠性的研究中）借鑒，總而言之，信息論的局限性是源于信息論是針對通信問題的，其模型本身具有的局限性。當(dāng)然也與概率論的局限性有關(guān)系，由于對概率值隨機(jī)性和多重隨機(jī)不確定性研究的不足，使得人們?nèi)菀紫萑搿案怕剩ò?lián)合概率分布）就是確定值，而不可能是隨機(jī)變量”，“給定條件就可以得出條件概率”等思維定勢中，而這些思維定勢只是適用于現(xiàn)實(shí)概率論問題中的一部分。由于信息論的這些限制條件能夠較好地滿足通信問題，使得它能夠在通信領(lǐng)域得到成功的應(yīng)用，而推廣到一般的信息領(lǐng)域則需要針對它的局限性解除相應(yīng)的約束條件。

第二小節(jié)．信息論在光通信中的應(yīng)用

自香農(nóng)(C．E．Shannom)提出信息理論以來，信息論已經(jīng)成為通信理論中重要而又基礎(chǔ)的一部分。如今，通信中越來越多的使用光作為傳輸媒質(zhì)以及光器件的快速發(fā)展，電信道已被光信道所取代。光信道的信息容量的大小已成為人們關(guān)心的課題。對此進(jìn)行分析和比較。

光量子信道的信道容量從信息論的角度可以認(rèn)為光量子信道是信號和噪聲疊加的加性信道。假設(shè)在頻率

fi時(shí)，輸人信號產(chǎn)生的平均量子數(shù)為xi，噪聲產(chǎn)生的平均量子數(shù)為ni可得，對于頻率，輸出信號的平均量子數(shù)為

y=x+niii

p(xi)p()p(yi)，ni，假設(shè)xi與ni統(tǒng)計(jì)獨(dú)立。設(shè)xi，ni，p(yi的概率密度函數(shù)為yi且x)i=p(ni)在特定頻率 上，光量子信道的平均互信息:

I(y;xi)?H(y)?H(ni)ii（*）

因?yàn)楣潭〞r(shí)間間隔?t，?t?1/fi，所以單位時(shí)間內(nèi)的平均互信息:

1?I(X;Y)??I(y;xi)?H(Y)?H(n)i?ti?0

在f1上，假設(shè)接收信號的光量子的離散能譜為Ei?hfi(h是普朗克常數(shù)).由于熱輻射，光量子的波動(dòng)服從Gibb分布

p(ni)?1?exp[?hfi/kT]exp[nihfi/kT]

2H(n)??Kt/3hln2 可得，光量子的波動(dòng)引起的噪聲熵:信號最大熵：

H(Y)????p(y)logp(y)df?ii03hln2yi?0

C?由式（*）可得光量子信道容量：

??2kTe?2Kt3hln2[(1?6hs1/2)?1]?kT

6hs??12當(dāng)hf??kT,即信噪比(?kT)時(shí)，光量子信道的信道容量極限值為：

C光量子=2S1/2)ln23h

(1)

(?6hs??12當(dāng)信噪比很小(?kT)時(shí)，光量子信道的信道容量極限值為

C經(jīng)典=SN0ln2

(2)

此式正是由香農(nóng)公式得到的信道容量極限值式，其中N0?KT。

結(jié)論

從以上分析可看出，對于光量子信道來言，當(dāng)頻率很高時(shí)，信道容量的極限值是式(1)，而不是式(2)。只有當(dāng)信噪比很低時(shí)，光量子信道的極限值才等于香農(nóng)信道容量公式的極限值。因此，對于窄帶的光量子信道，帶寬?f??f（中心頻率)時(shí)，可計(jì)算得光量子信道的極限值就等于香農(nóng)信道容量公式。

參考文獻(xiàn)

[1]朱雪龍著．應(yīng)用信息論基礎(chǔ)．清華大學(xué)出版社.[2]傅祖蕓著．信息論基礎(chǔ)理論與應(yīng)用．電子工業(yè)出版社，2001(8).[3]陶純堪，陶純匡著．光學(xué)信息論．科學(xué)出版社，1999(3).[4]Shannon C E.A mathematical theory of communication[J]，Bell System Technical Journal,27(1948)，379—429，623—656.[5].鐘義信．信息科學(xué)原理[M]．福州：福建人民出版社，1988． [6].魯晨光．廣義信息論[M]．中國科技大學(xué)出版社，1993.[7].王勇，香農(nóng)信息定義分析與改進(jìn)[OL]，004km.cn, 2007年11月.

第四篇：信息論發(fā)展

信息論的發(fā)展與現(xiàn)代信息論

現(xiàn)代信息論是從上世紀(jì)二十年代奈奎斯特和哈特萊的研究開始的,他們最早開始研究了通信系統(tǒng)傳輸信息的能力,并且試圖度量系統(tǒng)的信道容量。香農(nóng)于 1940 年在普林斯頓高級研究所期間開始思考信息論與有效通信系統(tǒng)的問題。經(jīng)過 8 年的努力,1948 年,來自貝爾研究所的 Claude Shannon（克勞德·香農(nóng)）的《通信的數(shù)學(xué)理論》論文公諸于世,從此宣告了嶄新的一門關(guān)于信息發(fā)面的學(xué)科──信息論的誕生。1949 年,香農(nóng)又在該雜志上發(fā)表了另一著名論文《噪聲下的通信》。在這兩篇論文中,香農(nóng)闡明了通信的基本問題,給出了通信系統(tǒng)的模型,提出了信息量的數(shù)學(xué)表達(dá)式,并解決了信道容量、信源統(tǒng)計(jì)特性、信源編碼、信道編碼等一系列基本技術(shù)問題。兩篇論文成為了信息論的奠基性著作。這兩篇論文一起闡述了現(xiàn)代信息論的基礎(chǔ)。并且香農(nóng)開始創(chuàng)造性的定義了“信息”。

信息論自從二十世紀(jì)四十年代中葉到二十一世紀(jì)初期,現(xiàn)已成為一門獨(dú)立的理論科學(xué),他給出一切傳輸、存儲、處理信息系統(tǒng)的一般理論,并指出,實(shí)現(xiàn)有效、可靠地傳輸和存儲信息的途徑是走數(shù)字化的道路。這是通信技術(shù)領(lǐng)域數(shù)字化革命的數(shù)學(xué)或理論基礎(chǔ)。1946 年的計(jì)算機(jī)和 1947 年晶體管的誕生和相應(yīng)技術(shù)的發(fā)展,是這一革命的物理或物質(zhì)基礎(chǔ)。信息論是在長期的通信工程實(shí)踐和理論研究的基礎(chǔ)上發(fā)展起來的。當(dāng)物理學(xué)中的電磁理論以及后來的電子學(xué)理論一旦有某些進(jìn)展,很快就會促進(jìn)電信系統(tǒng)的創(chuàng)造發(fā)明或改進(jìn)。這是因?yàn)橥ㄐ畔到y(tǒng)對人類社會的發(fā)展,其關(guān)系實(shí)在是太密切了。日常生活、工農(nóng)業(yè)生產(chǎn)、科學(xué)研究以及戰(zhàn)爭等等,一切都離不開消息傳遞和信息流動(dòng)。通信系統(tǒng)是人類社會的神經(jīng)系統(tǒng),即使在原始社會也存在著最簡單的通信工具和通信系統(tǒng),這方面的社會實(shí)踐是悠久漫長的。自從香農(nóng)十九世紀(jì)四十年代末兩篇論文發(fā)表后,前蘇聯(lián)和美國的科學(xué)家采取了不同的研究途徑經(jīng)一部發(fā)展了信息論?？聽柲缏宸颉①e斯基和達(dá)布魯新為首的一批著名數(shù)學(xué)家致力于信息論的公理化體系和更一般更抽象的數(shù)學(xué)模型,對信息論的基本定理給出了更為普遍的結(jié)果,為信息論發(fā)展成數(shù)學(xué)的一個(gè)分支作出了貢獻(xiàn)。而在美國測試有一批數(shù)學(xué)修養(yǎng)很高的工程技術(shù)人員致力于信息有效處理和可靠傳輸?shù)目蓪?shí)現(xiàn)性,維信息論轉(zhuǎn)化為信息技術(shù)作出了貢獻(xiàn)。

世紀(jì) 50 年代,信息論向各門學(xué)科發(fā)起沖擊；60 年代信息論進(jìn)入一個(gè)消化、理解的時(shí)期,在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期。研究重點(diǎn)是信息和信源編碼問題。從此信息論邁入第二個(gè)階段。我國數(shù)學(xué)家和信息科學(xué)專家在二十世紀(jì)五十年代將信息論引進(jìn)中國,經(jīng)過六十余年的不懈努力,尤其從二十世紀(jì)八十年代中期以來,一批華裔信息論專家在國際學(xué)術(shù)界崛起,以周炯盤院士為代表,為信息論的發(fā)展作出了自己的貢獻(xiàn)。到 70 年代,由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用,通訊系統(tǒng)的能力也有很大提高,如何更有效地利用和處理信息,成為日益迫切的問題。人們越來越認(rèn)識到信息的重要性,認(rèn)識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域,它迫切要求突破申農(nóng)信息論的狹隘范圍,以便使它能成為人類各種活動(dòng)中所碰到的信息問題的基礎(chǔ)理論,從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。

雖然 1948 年香農(nóng)就發(fā)明了信息論,但到 90 年代才找到或者再發(fā)現(xiàn)能夠逼近香農(nóng)極限的 turbo 碼和 LDPC 碼；再一個(gè)局限是香農(nóng)的大部分結(jié)果都是在一定的理想條件或極限條件下推導(dǎo)出來的,在實(shí)際系統(tǒng)中,這些條件可能不能滿足,因而不可能達(dá)到香農(nóng)所得出的一些結(jié)論或界限,舉一個(gè)例子,信源信道分離定理是在數(shù)據(jù)分組長度無窮大和靜態(tài)信道條件下得到的,但實(shí)際系統(tǒng)中的編碼可能會有分組長度和限制,信道也可能是時(shí)變的,因而產(chǎn)生出最近較新的所謂聯(lián)合信源信道編碼理論；最后一個(gè)是局限是點(diǎn)對點(diǎn)通信的局限性,因?yàn)橥ㄐ诺臉?gòu)架存在網(wǎng)絡(luò)結(jié)構(gòu)和多用戶的結(jié)構(gòu),所以對于網(wǎng)絡(luò)和多用戶的情形,香農(nóng)并沒有更深入的研究,雖然他在 50 年代研究了 two way channel,但并未得出有意義的結(jié)果,目前網(wǎng)絡(luò)信息論或多用戶信息論是一個(gè)比較活躍的領(lǐng)域,主要的有意義的結(jié)論在廣播和多址接入信道,但都是退化的情形才成立的結(jié)論,更一般的情形,還有一些其他如中繼信道等,還有待進(jìn)一步研究。

參考文獻(xiàn)：

葉中行,信息論基礎(chǔ)[J],高等教育出版社 盧侃,從 Shannon 信息論到認(rèn)知信息論[A],哈爾濱工程大學(xué)學(xué)報(bào),第 32 卷第 8 期.仇佩亮,信息論及其應(yīng)用［M］,杭州：浙江大學(xué)出版社,1999 謝邦榮,彭征明,信息論在作戰(zhàn)效能評估中的應(yīng)用研究 [A] ,北京, 2007 邵軍虎,量子 LDPC 糾錯(cuò)碼算法及應(yīng)用方案研究,西安電子科技大學(xué)[D] ,2012

汪洋,趙萬民,人居環(huán)境研究的信息論科學(xué)基礎(chǔ)及其圖譜意象系統(tǒng)[J],2012 PKU CSSCI ,香農(nóng)信息定義分析與改進(jìn)[J],2008 年 8 期, 洪潔,范修斌,范明鈺,信息論及其在序列密碼設(shè)計(jì)應(yīng)用中的幾點(diǎn)認(rèn)識[] ,2003 Neil Savage, Information theory after Shannon[J], 2011, Vol.54(2)Gregory J.Chaitin,A Theory of Program Size Formally Identical to Information Theory[J],1975, Vol.22(3)知識改變命運(yùn)

第五篇：信息論論文[定稿]

湖南科技大學(xué)課程結(jié)課論文

《信息論與編碼A》

學(xué)院：信息與電氣工程學(xué)院 專業(yè)： 班級： 學(xué)號： 姓名：

信息論基礎(chǔ)

摘要：從對信息論的一些基礎(chǔ)知識匯總，信息的定義，信息論的發(fā)展；還有信源與信息熵，信道與信道容量，編碼這些關(guān)鍵知識點(diǎn)做一個(gè)系統(tǒng)性的回顧，再結(jié)合通信領(lǐng)域的知識進(jìn)行分析。關(guān)鍵字：信息論；

引言：

信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。信息系統(tǒng)就是廣義的通信系統(tǒng)，泛指某種信息從一處傳送到另一處所需的全部設(shè)備所構(gòu)成的系統(tǒng)。

名稱由來：

信息論將信息的傳遞作為一種統(tǒng)計(jì)現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個(gè)方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。

發(fā)展簡史：

信息論是20世紀(jì)40年代后期從長期通訊實(shí)踐中總結(jié)出來的一門學(xué)科，是專門研究信息的有效處理和可靠傳輸?shù)囊话阋?guī)律的科學(xué)。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經(jīng)過中世紀(jì)啟蒙語言學(xué)，直到16世紀(jì)吉爾伯特（E.N.Gilbert）等人在電報(bào)學(xué)方面的工作。

20世紀(jì)20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信道容量?，F(xiàn)代信息論開始出現(xiàn)。1948年克勞德·香農(nóng)（Claude Shannon）發(fā)表的論文“通信的數(shù)學(xué)理論”是世界上首次將通訊過程建立了數(shù)學(xué)模型的論文，這篇論文和1949年發(fā)表的另一篇論文一起奠定了現(xiàn)代信息論的基礎(chǔ)。

由于現(xiàn)代通訊技術(shù)飛速發(fā)展和其他學(xué)科的交叉滲透，信息論的研究已經(jīng)從香農(nóng)當(dāng)年僅限于通信系統(tǒng)的數(shù)學(xué)理論的狹義范圍擴(kuò)展開來，而成為現(xiàn)在稱之為信息科學(xué)的龐大體系。

信息的性質(zhì)：

信息有以下性質(zhì)：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯(lián)系（第四節(jié)將具體分析）。同時(shí)，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個(gè)重要性質(zhì)是完整性，每個(gè)信息子不能決定任何事件，須有兩個(gè)或兩個(gè)以上的信息子規(guī)則排布為完整的信息，其釋放的能量才足以使確定事件發(fā)生。信息還有專一性，每個(gè)信息決定一個(gè)確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進(jìn)一步發(fā)現(xiàn)。

基本內(nèi)容：

傳統(tǒng)的通信系統(tǒng)如電報(bào)、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統(tǒng)也是傳送各種信息的，只是信息類型不同，所以也屬于信息系統(tǒng)。有時(shí)，信息必須進(jìn)行雙向傳送，例如電話通信要求雙向交談，遙控系統(tǒng)要求傳送控制用信息和反向的測量信息等。這類雙向信息系統(tǒng)實(shí)際上是由兩個(gè)信息系統(tǒng)構(gòu)成。所有信息系統(tǒng)都可歸納成如圖所示的模型來研究它的基本規(guī)律。

信源：信息的源泉或產(chǎn)生待傳送的信息的實(shí)體，如電活系統(tǒng)中的講話者，對于電信系統(tǒng)還應(yīng)包括話筒，它輸出的電信號作為含有信息的載體。

信息熵：所謂信息熵，是一個(gè)數(shù)學(xué)上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現(xiàn)概率。而信息熵和熱力學(xué)熵是緊密相關(guān)的。根據(jù)Charles H.Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個(gè)不可逆過程，所以銷毀信息是符合熱力學(xué)第二定律的。而產(chǎn)生信息，則是為系統(tǒng)引入負(fù)（熱力學(xué)）熵的過程。所以信息熵的符號與熱力學(xué)熵應(yīng)該是相反的。

信宿：信息的歸宿或接受者，在電話系統(tǒng)中這就是聽者和耳機(jī)，后者把接收到的電信號轉(zhuǎn)換成聲音，供聽者提取所需的信息。信道：傳送信息的通道，如電話通信中包括中繼 器在內(nèi)的同軸電纜系統(tǒng)，衛(wèi)星通信中地球站的收發(fā)信機(jī)、天線和衛(wèi)星上的轉(zhuǎn)發(fā)器等。

編碼器：在信息論中是泛指所有變換信號的設(shè)備，實(shí)際上就是終端機(jī)的發(fā)送部分。它包括從信源到信道的所有設(shè)備，如量化器、壓縮編碼器、調(diào)制器等，使信源輸出的信號轉(zhuǎn)換成適于信道傳送的信號。

譯碼器：是編碼器的逆變換設(shè)備，把信道上送來的信號轉(zhuǎn)換成信宿能接受的信號，可包括解調(diào)器、譯碼器、數(shù)模轉(zhuǎn)換器等。

哈夫曼碼：哈夫曼碼是用概率匹配方法進(jìn)行信源編碼。它有兩個(gè)明顯的特點(diǎn)：一是哈夫 曼的編碼方法保證了概率大的符號對應(yīng)于短碼，概率小的符號對應(yīng)于長碼，充分利用了短碼；二是縮減信源的最后兩個(gè)碼字總是最后一位不同，從而保證了哈夫曼碼是即時(shí)碼

當(dāng)信源和信宿已給定、信道也已選定后，決定信息系統(tǒng)性能就在于編碼器和譯碼器。設(shè)計(jì)一個(gè)信息系統(tǒng)時(shí)，除了選擇信道和設(shè)計(jì)其附屬設(shè)施外，主要工作也就是設(shè)計(jì)編譯碼器。一般情況下，信息系統(tǒng)的主要性能指標(biāo)是它的有效性和可靠性。有效性就是在系統(tǒng)中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發(fā)出的信息一致，或者說失真盡可能小。最佳編譯碼器就是要使系統(tǒng)最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導(dǎo)致不可靠，反之也是如此。從定量意義上說，應(yīng)使系統(tǒng)在規(guī)定的失真或基本無失真的條件下，傳送最大的信息率；或者在規(guī)定信息率的條件下，失真最小。計(jì)算這最大信息率并證明達(dá)到或接近這一值的編譯碼器是存在的，就是信息論的基本任務(wù)。只討論這樣問題的理論可稱為仙農(nóng)信息論般認(rèn)為信息論的內(nèi)容尚應(yīng)更廣泛一些，即包括提取信息和保證信息安全的理論。后者就是估計(jì)理論、檢測理論和密碼學(xué)。

信息論是建立在概率論基礎(chǔ)上而形成的，也就是從信源符號和信道噪聲的概率特性出發(fā)的。這類信息通常稱為語法信息。其實(shí)，信息系統(tǒng)的基本規(guī)律也應(yīng)包括語義信息和語用信息。語法信息是信源輸出符號的構(gòu)造或其客觀特性所表現(xiàn)與信宿的主觀要求無關(guān)，而語義則應(yīng)考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小于語法信息率；電報(bào)的信息率可低于表達(dá)同一含義的語聲的信息率就是一個(gè)例子。更進(jìn)一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小于語義信息。倘若只要求信息系統(tǒng)傳送語義信息或語用信息，效率顯然會更高一些。在目前情況下，關(guān)于語法信息，已在概率論的基礎(chǔ)上建立了系統(tǒng)化的理論，形成一個(gè)學(xué)科；而語義和語用信息尚不夠成熟。因此，關(guān)于后者的論述通常稱為信息科學(xué)或廣義信息論，不屬于一般信息論的范疇。概括起來，信息系統(tǒng)的基本規(guī)律應(yīng)包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計(jì)理論以及密碼學(xué)。

信息與通信：

信息就是一種消息，它與通訊問題密切相關(guān)。1948年貝爾研究所的香農(nóng)在題為《通訊的數(shù)學(xué)理論》的論文中系統(tǒng)地提出了關(guān)于信息的論述，創(chuàng)立了信息論。維納提出的關(guān)于度量信息量的數(shù)學(xué)公式開辟了信息論的廣泛應(yīng)用前景。1951年美國無線電工程學(xué)會承認(rèn)信息論這門學(xué)科，此后得到迅速發(fā)展。20世紀(jì)50年代是信息論向各門學(xué)科沖擊的時(shí)期，60年代信息論不是重大的創(chuàng)新時(shí)期，而是一個(gè)消化、理解的時(shí)期，是在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期。研究重點(diǎn)是信息和信源編碼問題。到70年代，由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認(rèn)識到信息的重要性，認(rèn)識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動(dòng)中所碰到的信息問題的基礎(chǔ)理論，從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應(yīng)用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學(xué)正在形成。