信息論與編碼期末考試題

（一）一、判斷題.1.當(dāng)隨機(jī)變量和相互獨(dú)立時(shí)，條件熵等于信源熵.（）

2.由于構(gòu)成同一空間的基底不是唯一的，所以不同的基底或生成矩陣有可能生成同一碼集.（）

3.一般情況下，用變長(zhǎng)編碼得到的平均碼長(zhǎng)比定長(zhǎng)編碼大得多.（）

4.只要信息傳輸率大于信道容量，總存在一種信道編譯碼，可以以所要求的任意小的誤差概率實(shí)現(xiàn)可靠的通信.（）

5.各碼字的長(zhǎng)度符合克拉夫特不等式，是唯一可譯碼存在的充分和必要條件.（）

6.連續(xù)信源和離散信源的熵都具有非負(fù)性.（）

7.信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確

定性就越小，獲得的信息量就越小.8.漢明碼是一種線性分組碼.（）

9.率失真函數(shù)的最小值是.（）

10.必然事件和不可能事件的自信息量都是.（）

二、填空題

1、碼的檢、糾錯(cuò)能力取決于

.2、信源編碼的目的是

；信道編碼的目的是

.3、把信息組原封不動(dòng)地搬到碼字前位的碼就叫做

.4、香農(nóng)信息論中的三大極限定理是、、.5、設(shè)信道的輸入與輸出隨機(jī)序列分別為和，則成立的條件

..6、對(duì)于香農(nóng)-費(fèi)諾編碼、原始香農(nóng)-費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是

.7、某二元信源，其失真矩陣，則該信源的=

.三、計(jì)算題.1、某信源發(fā)送端有2種符號(hào),；接收端有3種符號(hào)，轉(zhuǎn)移概率矩陣為.（1）

計(jì)算接收端的平均不確定度；

（2）

計(jì)算由于噪聲產(chǎn)生的不確定度；

（3）

計(jì)算信道容量以及最佳入口分布.2、一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如右圖所示，信源的符號(hào)集為.（1）求信源平穩(wěn)后的概率分布；

（2）求此信源的熵；

（3）近似地認(rèn)為此信源為無(wú)記憶時(shí)，符號(hào)的概率分布為平

穩(wěn)分布.求近似信源的熵并與進(jìn)行比較.3、設(shè)碼符號(hào)為，信源空間為試構(gòu)造一種三元緊致碼.4、設(shè)二元線性分組碼的生成矩陣為.（1）給出該碼的一致校驗(yàn)矩陣，寫出所有的陪集首和與之相對(duì)應(yīng)的伴隨式；

（2）若接收矢量，試計(jì)算出其對(duì)應(yīng)的伴隨式并按照最小距離譯碼準(zhǔn)則

試著對(duì)其譯碼.（二）

一、填空題

1、信源編碼的主要目的是，信道編碼的主要目的是。

2、信源的剩余度主要來(lái)自兩個(gè)方面，一是，二是。

3、三進(jìn)制信源的最小熵為，最大熵為。

4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為。

5、當(dāng)

時(shí)，信源與信道達(dá)到匹配。

6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為

和。

7、根據(jù)是否允許失真，信源編碼可分為

和。

8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是

時(shí)，信源具有最大熵，其值為值。

9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”

（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）

H(X)+H(X/Y)

H(Y)+H(X)。

（2）

（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y)

0,H(Y/X)

0,I(X;Y)

H(X)。

二、若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，計(jì)算該信源的相對(duì)熵，并說(shuō)明該信源的絕對(duì)熵為多少。

三、已知信源

（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）

（2）計(jì)算平均碼長(zhǎng);（4分）

（3）計(jì)算編碼信息率;（2分）

（4）計(jì)算編碼后信息傳輸率;（2分）

（5）計(jì)算編碼效率。（2分）

四、某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。

如果符號(hào)的碼元寬度為0.5。計(jì)算：

（1）信息傳輸速率。（5分）

（2）將這些數(shù)據(jù)通過(guò)一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。（5分）

五、一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。

(1)

畫出狀態(tài)轉(zhuǎn)移圖。(4分)

(2)

計(jì)算穩(wěn)態(tài)概率。(4分)

(3)

計(jì)算馬爾可夫信源的極限熵。(4分)

(4)

計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。(4分)

六、設(shè)有擾信道的傳輸情況分別如圖所示。

試求這種信道的信道容量。

七、設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。

定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算

(1)

(2)

(3)

(4)

;

八、設(shè)離散無(wú)記憶信源的概率空間為，通過(guò)干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。

(1)

計(jì)算信源中事件包含的自信息量；

(2)

計(jì)算信源的信息熵；

(3)

計(jì)算信道疑義度；

(4)

計(jì)算噪聲熵；

(5)

計(jì)算收到消息后獲得的平均互信息量。

《信息論基礎(chǔ)》參考答案

一、填空題

1、信源編碼的主要目的是提高有效性，信道編碼的主要目的是提高可靠性。

2、信源的剩余度主要來(lái)自兩個(gè)方面，一是信源符號(hào)間的相關(guān)性，二是信源符號(hào)的統(tǒng)計(jì)不均勻性。

3、三進(jìn)制信源的最小熵為0，最大熵為bit/符號(hào)。

4、無(wú)失真信源編碼的平均碼長(zhǎng)最小理論極限制為信源熵（或H(S)/logr=

Hr(S)）。

5、當(dāng)R=C或（信道剩余度為0）時(shí)，信源與信道達(dá)到匹配。

6、根據(jù)信道特性是否隨時(shí)間變化，信道可以分為恒參信道和隨參信道。

7、根據(jù)是否允許失真，信源編碼可分為無(wú)失真信源編碼和限失真信源編碼。

8、若連續(xù)信源輸出信號(hào)的平均功率為，則輸出信號(hào)幅度的概率密度是高斯分布或正態(tài)分布或時(shí)，信源具有最大熵，其值為值。

9、在下面空格中選擇填入數(shù)學(xué)符號(hào)“”或“”

（1）當(dāng)X和Y相互獨(dú)立時(shí)，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）

（3）假設(shè)信道輸入用X表示，信道輸出用Y表示。在無(wú)噪有損信道中，H(X/Y)>

0,H(Y/X)=0,I(X;Y)

二、若連續(xù)信源輸出的幅度被限定在【2,6】區(qū)域內(nèi)，當(dāng)輸出信號(hào)的概率密度是均勻分布時(shí)，計(jì)算該信源的相對(duì)熵，并說(shuō)明該信源的絕對(duì)熵為多少。

=2bit/自由度

該信源的絕對(duì)熵為無(wú)窮大。

三、已知信源

（1）用霍夫曼編碼法編成二進(jìn)制變長(zhǎng)碼；（6分）

（2）計(jì)算平均碼長(zhǎng);（4分）

（3）計(jì)算編碼信息率;（2分）

（4）計(jì)算編碼后信息傳輸率;（2分）

（5）計(jì)算編碼效率。（2分）

（1）

編碼結(jié)果為：

（2）

（3）

（4）其中，（5）

四、某信源輸出A、B、C、D、E五種符號(hào)，每一個(gè)符號(hào)獨(dú)立出現(xiàn)，出現(xiàn)概率分別為1/8、1/8、1/8、1/2、1/8。

如果符號(hào)的碼元寬度為0.5。計(jì)算：

（1）信息傳輸速率。

（2）將這些數(shù)據(jù)通過(guò)一個(gè)帶寬為B=2000kHz的加性白高斯噪聲信道傳輸，噪聲的單邊功率譜密度為。試計(jì)算正確傳輸這些數(shù)據(jù)最少需要的發(fā)送功率P。

解：

（1）

（2）

五、一個(gè)一階馬爾可夫信源，轉(zhuǎn)移概率為。

(1)

畫出狀態(tài)轉(zhuǎn)移圖。

(2)

計(jì)算穩(wěn)態(tài)概率。

(3)

計(jì)算馬爾可夫信源的極限熵。

(4)

計(jì)算穩(wěn)態(tài)下,及其對(duì)應(yīng)的剩余度。

解：(1)

(2)由公式

有

得

(3)該馬爾可夫信源的極限熵為：

(4)在穩(wěn)態(tài)下：

對(duì)應(yīng)的剩余度為

六、設(shè)有擾信道的傳輸情況分別如圖所示。

試求這種信道的信道容量。

解：信道傳輸矩陣如下

可以看出這是一個(gè)對(duì)稱信道，L=4,那么信道容量為

七、設(shè)X、Y是兩個(gè)相互獨(dú)立的二元隨機(jī)變量，其取0或1的概率相等。

定義另一個(gè)二元隨機(jī)變量Z=XY(一般乘積)。試計(jì)算

(1)

(2)

(3)

(4)

;

解：(1)

Z

0

P(Z)

3/4

1/4

(2)

(3)

(4)

八、設(shè)離散無(wú)記憶信源的概率空間為，通過(guò)干擾信道，信道輸出端的接收符號(hào)集為，信道傳輸概率如下圖所示。

(6)

計(jì)算信源中事件包含的自信息量；

(7)

計(jì)算信源的信息熵；

(8)

計(jì)算信道疑義度；

(9)

計(jì)算噪聲熵；

(10)

計(jì)算收到消息后獲得的平均互信息量。

解：

(1)

(2)

(3)轉(zhuǎn)移概率：

x

y

y1

y2

x1

5/6

1/6

x2

3/4

1/4

聯(lián)合分布：

x

y

y1

y2

x1

2/3

12/15

4/5

x1

3/20

1/20

1/5

49/60

11/60

1/5

(4)

(5)

(三)一、選擇題

1、有一離散無(wú)記憶信源X，其概率空間為，則其無(wú)記憶二次擴(kuò)展信源的熵H(X2)=（）

A、1.75比特/符號(hào)；

B、3.5比特/符號(hào)；

C、9比特/符號(hào)；

D、18比特/符號(hào)。

2、信道轉(zhuǎn)移矩陣為，其中兩兩不相等，則該信道為

A、一一對(duì)應(yīng)的無(wú)噪信道

B、具有并歸性能的無(wú)噪信道

C、對(duì)稱信道

D、具有擴(kuò)展性能的無(wú)噪信道

3、設(shè)信道容量為C，下列說(shuō)法正確的是：（）

A、互信息量一定不大于C

B、交互熵一定不小于C

C、有效信息量一定不大于C

D、條件熵一定不大于C4、在串聯(lián)系統(tǒng)中，有效信息量的值（）

A、趨于變大

B、趨于變小

C、不變

D、不確定

5、若BSC信道的差錯(cuò)率為P，則其信道容量為：（）

A、B、C、D、二、填空題

1、(7,4)線性分組碼中，接受端收到分組R的位數(shù)為_(kāi)___，伴隨式S可能的值有____

種,差錯(cuò)圖案e的長(zhǎng)度為，系統(tǒng)生成矩陣Gs為_(kāi)___

行的矩陣，系統(tǒng)校驗(yàn)矩陣Hs為_(kāi)___

行的矩陣，Gs和Hs滿足的關(guān)系式是。

2、一張1024×512像素的16位彩色BMP圖像能包含的最大信息量為。

3、香農(nóng)編碼中,概率為的信源符號(hào)xi對(duì)應(yīng)的碼字Ci的長(zhǎng)度Ki應(yīng)滿足不等式。

3、設(shè)有一個(gè)信道，其信道矩陣為，則它是

信道（填對(duì)稱，準(zhǔn)對(duì)稱），其信道容量是

比特/信道符號(hào)。

三、，通過(guò)一個(gè)干擾信道，接受符號(hào)集為，信道轉(zhuǎn)移矩陣為

試求（1）H(X),H(Y),H(XY);

(2)

H(Y|X),H(X|Y);

(3)

I(Y;X)。

(4)該信道的容量C

（5）當(dāng)平均互信息量達(dá)到信道容量時(shí)，接收端Y的熵H（Y）。

計(jì)算結(jié)果保留小數(shù)點(diǎn)后2位,單位為比特/符號(hào)。

四、簡(jiǎn)述平均互信息量的物理意義，并寫出對(duì)應(yīng)公式。

五、假設(shè)英文字母表(n=26),密鑰k=abc，當(dāng)明文m=familycome時(shí)，使用Vigenere密碼算法后得到的密文c=？請(qǐng)寫出具體的步驟。

六、設(shè)有離散無(wú)記憶信源，其概率分布如下：

對(duì)其進(jìn)行費(fèi)諾編碼，寫出編碼過(guò)程，求出信源熵、平均碼長(zhǎng)和編碼效率。

七、信道編碼

現(xiàn)有生成矩陣

1.求對(duì)應(yīng)的系統(tǒng)校驗(yàn)矩陣Hs。

2求該碼字集合的最小碼字距離d、最大檢錯(cuò)能力、最大糾錯(cuò)能力t

max。

2.填寫下面的es表

e

s

0000000

0000001

0000010

0000100

0001000

0010000

0100000

1000000

4.現(xiàn)有接收序列為，求糾錯(cuò)譯碼輸出。

5.5.畫出該碼的編碼電路

(四)四、簡(jiǎn)答題

1.利用公式介紹無(wú)條件熵、條件熵、聯(lián)合熵和平均互信息量之間的關(guān)系。

2.簡(jiǎn)單介紹哈夫曼編碼的步驟

五、計(jì)算題

1．某信源含有三個(gè)消息，概率分別為p(0)=0.2，p(1)=0.3，p(2)=0.5，失真矩陣為。

求Dmax、Dmin和R

(Dmax)。

2．設(shè)對(duì)稱離散信道矩陣為，求信道容量C。

3．有一穩(wěn)態(tài)馬爾可夫信源，已知轉(zhuǎn)移概率為p(S1/

S1)=

2/3，p(S1/

S2)=

1。求：

(1)

畫出狀態(tài)轉(zhuǎn)移圖和狀態(tài)轉(zhuǎn)移概率矩陣。

(2)

求出各狀態(tài)的穩(wěn)態(tài)概率。

(3)

求出信源的極限熵。

（五）一、填空題

（1）

1948年，美國(guó)數(shù)學(xué)家

發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。

（2）

必然事件的自信息是。

（3）

離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的。

（4）

對(duì)于離散無(wú)記憶信源，當(dāng)信源熵有最大值時(shí)，滿足條件為_(kāi)_

_。

（5）

對(duì)于香農(nóng)編碼、費(fèi)諾編碼和霍夫曼編碼，編碼方法惟一的是。

（6）

已知某線性分組碼的最小漢明距離為3，那么這組碼最多能檢測(cè)出______個(gè)碼元錯(cuò)誤，最多能糾正___個(gè)碼元錯(cuò)誤。

（7）

設(shè)有一離散無(wú)記憶平穩(wěn)信道，其信道容量為C，只要待傳送的信息傳輸率R__

__C（大于、小于或者等于），則存在一種編碼，當(dāng)輸入序列長(zhǎng)度n足夠大，使譯碼錯(cuò)誤概率任意小。

（8）

平均錯(cuò)誤概率不僅與信道本身的統(tǒng)計(jì)特性有關(guān)，還與___

__________和___

___有關(guān)

二、判斷題

（1）

信息就是一種消息。

（）

（2）

信息論研究的主要問(wèn)題是在通信系統(tǒng)設(shè)計(jì)中如何實(shí)現(xiàn)信息傳輸、存儲(chǔ)和處理的有效性和可靠性。

（）

（3）

概率大的事件自信息量大。

（）

（4）

互信息量可正、可負(fù)亦可為零。

（）

（5）

信源剩余度用來(lái)衡量信源的相關(guān)性程度，信源剩余度大說(shuō)明信源符號(hào)間的依賴關(guān)系較小。

（）

（6）

對(duì)于固定的信源分布，平均互信息量是信道傳遞概率的下凸函數(shù)。

（）

（7）

非奇異碼一定是唯一可譯碼，唯一可譯碼不一定是非奇異碼。

（）

（8）

信源變長(zhǎng)編碼的核心問(wèn)題是尋找緊致碼（或最佳碼），霍夫曼編碼方法構(gòu)造的是最佳碼。

（）

（9）信息率失真函數(shù)R(D)是關(guān)于平均失真度D的上凸函數(shù).（）

三、居住在某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占總數(shù)的一半。

假如我們得知“身高1.6米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？

解：設(shè)A表示“大學(xué)生”這一事件，B表示“身高1.60以上”這一事件，則

P(A)=0.25

p(B)=0.5

p(B|A)=0.75

故

p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375

I(A|B)=-log0.375=1.42bit

五、.黑白氣象傳真圖的消息只有黑色和白色兩種，求：

1）

黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；

2）

假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為，，求其熵。

3）分別求上述兩種信源的冗余度，比較它們的大小并說(shuō)明其物理意義。

六、.信源空間為，試分別構(gòu)造二元香農(nóng)碼和二元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率（要求有編碼過(guò)程）。

七.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最大后驗(yàn)概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。1）最小似然譯碼準(zhǔn)則下，有，2）（最大后驗(yàn)概率準(zhǔn)則下，有，八.二元對(duì)稱信道如圖。

1）若，求、和；

2）求該信道的信道容量。

解：1）共6分

2），此時(shí)輸入概率分布為等概率分布。

九、設(shè)一線性分組碼具有一致監(jiān)督矩陣

1）求此分組碼n=?,k=?共有多少碼字？

2）求此分組碼的生成矩陣G。

3）寫出此分組碼的所有碼字。

4）若接收到碼字（101001），求出伴隨式并給出翻譯結(jié)果。

解：1）n=6,k=3,共有8個(gè)碼字。（3分）

2）設(shè)碼字由得

（3分）

令監(jiān)督位為，則有

（3分）

生成矩陣為

（2分）

3）所有碼字為000000，001101，010011，011110，100110，101011，110101，111000。（4分）

4）由得，（2分）該碼字在第5位發(fā)生錯(cuò)誤，（101001）糾正為（101011），即譯碼為（101001）（1分）

（六）一、概念簡(jiǎn)答題

1.什么是平均自信息量與平均互信息，比較一下這兩個(gè)概念的異同？

2.簡(jiǎn)述最大離散熵定理。對(duì)于一個(gè)有m個(gè)符號(hào)的離散信源，其最大熵是多少？

3.解釋信息傳輸率、信道容量、最佳輸入分布的概念，說(shuō)明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關(guān)系？

4.對(duì)于一個(gè)一般的通信系統(tǒng)，試給出其系統(tǒng)模型框圖，并結(jié)合此圖，解釋數(shù)據(jù)處理定理。

5.寫出香農(nóng)公式，并說(shuō)明其物理意義。當(dāng)信道帶寬為5000Hz，信噪比為30dB時(shí)求信道容量。

6.解釋無(wú)失真變長(zhǎng)信源編碼定理。

7.解釋有噪信道編碼定理。

8.什么是保真度準(zhǔn)則？對(duì)二元信源，其失真矩陣，求a>0時(shí)率失真函數(shù)的和？

二、綜合題

1.黑白氣象傳真圖的消息只有黑色和白色兩種，求：

1）

黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7。給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型。假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵；

2）

假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：，，求其熵；

2.二元對(duì)稱信道如圖。；

1）若，求和；

2）求該信道的信道容量和最佳輸入分布。

3.信源空間為，試分別構(gòu)造二元和三元霍夫曼碼，計(jì)算其平均碼長(zhǎng)和編碼效率。

4.設(shè)有一離散信道，其信道傳遞矩陣為，并設(shè)，試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。

5.5.已知一（8，5）線性分組碼的生成矩陣為。

求：1）輸入為全00011和10100時(shí)該碼的碼字；2）最小碼距。

6.設(shè)某一信號(hào)的信息傳輸率為5.6kbit/s，在帶寬為4kHz的高斯信道中傳輸，噪聲功率譜NO=5×10－6mw/Hz。試求：

（1）無(wú)差錯(cuò)傳輸需要的最小輸入功率是多少？

（2）此時(shí)輸入信號(hào)的最大連續(xù)熵是多少？寫出對(duì)應(yīng)的輸入概率密度函數(shù)的形式。

答案

一、概念簡(jiǎn)答題

1.答：平均自信息為

表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。

平均互信息

表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。

2.答：最大離散熵定理為：離散無(wú)記憶信源，等概率分布時(shí)熵最大。

最大熵值為。

3.答：信息傳輸率R指信道中平均每個(gè)符號(hào)所能傳送的信息量。信道容量是一個(gè)信道所能達(dá)到的最大信息傳輸率。信息傳輸率達(dá)到信道容量時(shí)所對(duì)應(yīng)的輸入概率分布稱為最佳輸入概率分布。

平均互信息是信源概率分布的∩型凸函數(shù)，是信道傳遞概率的U型凸函數(shù)。

4.答：通信系統(tǒng)模型如下：

數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出X、Y、Z組成一個(gè)馬爾可夫鏈，且有。說(shuō)明經(jīng)數(shù)據(jù)處理后，一般只會(huì)增加信息的損失。

5.答：香農(nóng)公式為，它是高斯加性白噪聲信道在單位時(shí)間內(nèi)的信道容量，其值取決于信噪比和帶寬。

由得，則

6.答：只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無(wú)失真編碼。

7.答：當(dāng)R＜C時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無(wú)窮小。

8.答：1）保真度準(zhǔn)則為：平均失真度不大于允許的失真度。

2）因?yàn)槭д婢仃囍忻啃卸加幸粋€(gè)0，所以有，而。

二、綜合題

1.答：1）信源模型為

2）由得

則

2.答：1）

2），最佳輸入概率分布為等概率分布。

3.答：1）二元碼的碼字依序?yàn)椋?0，11，010，011，1010，1011，1000，1001。

平均碼長(zhǎng)，編碼效率

2）三元碼的碼字依序?yàn)椋?，00，02，20，21，22，010，011。

平均碼長(zhǎng)，編碼效率

4.答：1）最小似然譯碼準(zhǔn)則下，有，2）最大錯(cuò)誤概率準(zhǔn)則下，有，5.答：1）輸入為00011時(shí)，碼字為00011110；輸入為10100時(shí)，碼字為10100101。

2）

6.答：1）無(wú)錯(cuò)傳輸時(shí)，有

即則

2）在時(shí)，最大熵

對(duì)應(yīng)的輸入概率密度函數(shù)為

（七）一、名詞解釋（25道）

1、“本體論”的信息（P3）

2、“認(rèn)識(shí)論”信息（P3）

3、離散信源（11）

4、自信息量（12）

5、離散平穩(wěn)無(wú)記憶信源（49）

6、馬爾可夫信源（58）

7、信源冗余度

（66）

8、連續(xù)信源

（68）

9、信道容量

（95）

10、強(qiáng)對(duì)稱信道

（99）

11、對(duì)稱信道

（101-102）12、多符號(hào)離散信道（109）

13、連續(xù)信道

（124）

14、平均失真度

（136）

15、實(shí)驗(yàn)信道

（138）

16、率失真函數(shù)

（139）

17、信息價(jià)值率

（163）

18、游程序列

（181）

19、游程變換

（181）

20、L-D編碼（184）、21、冗余變換

（184）

22、BSC信道

（189）

23、碼的最小距離

（193）24、線性分組碼

（195）

25、循環(huán)碼

（213）

二、填空（100道）

1、在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到

形式、含義和效用

三個(gè)方面的因素。

2、1948年，美國(guó)數(shù)學(xué)家

香農(nóng)

發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。

3、按照信息的性質(zhì)，可以把信息分成語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息。

4、按照信息的地位，可以把信息分成客觀信息和主觀信息。

5、人們研究信息論的目的是為了

高效、可靠、安全

地交換和利用各種各樣的信息。

6、信息的可度量性

是建立信息論的基礎(chǔ)。

7、統(tǒng)計(jì)度量

是信息度量最常用的方法。

8、熵

是香農(nóng)信息論最基本最重要的概念。

9、事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生

概率的對(duì)數(shù)

來(lái)描述的。

10、單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用

隨機(jī)矢量

描述。

11、一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來(lái)的信息量稱為自信息量，定義為

其發(fā)生概率對(duì)數(shù)的負(fù)值。

12、自信息量的單位一般有

比特、奈特和哈特。

13、必然事件的自信息是

0。

14、不可能事件的自信息量是

∞。

15、兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于

兩個(gè)自信息量之和。

16、數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過(guò)多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量

趨于變小。

17、離散平穩(wěn)無(wú)記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的N倍。

18、離散平穩(wěn)有記憶信源的極限熵。

19、對(duì)于n元m階馬爾可夫信源，其狀態(tài)空間共有

nm

個(gè)不同的狀態(tài)。

20、一維連續(xù)隨即變量X在[a，b]區(qū)間內(nèi)均勻分布時(shí)，其信源熵為

log2（b-a）。

21、平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc（X）=。

22、對(duì)于限峰值功率的N維連續(xù)信源，當(dāng)概率密度

均勻分布

時(shí)連續(xù)信源熵具有最大值。

23、對(duì)于限平均功率的一維連續(xù)信源，當(dāng)概率密度

高斯分布

時(shí)，信源熵有最大值。

24、對(duì)于均值為0，平均功率受限的連續(xù)信源，信源的冗余度決定于平均功率的限定值P和信源的熵功率

之比。

25、若一離散無(wú)記憶信源的信源熵H（X）等于2.5，對(duì)信源進(jìn)行等長(zhǎng)的無(wú)失真二進(jìn)制編碼，則編碼長(zhǎng)度至少為

3。

26、m元長(zhǎng)度為ki，i=1，2，···n的異前置碼存在的充要條件是：。

27、若把擲骰子的結(jié)果作為一離散信源，則其信源熵為

log26。

28、同時(shí)擲兩個(gè)正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時(shí)出現(xiàn)”這件事的自信息量是

log218（1+2

log23）。

29、若一維隨即變量X的取值區(qū)間是[0，∞]，其概率密度函數(shù)為，其中：，m是X的數(shù)學(xué)期望，則X的信源熵。

30、一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過(guò)程看作離散無(wú)記憶信源，則其信源熵為。

31、根據(jù)輸入輸出信號(hào)的特點(diǎn)，可將信道分成離散信道、連續(xù)信道、半離散或半連續(xù)

信道。

32、信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過(guò)去輸入無(wú)關(guān)的信道稱為

無(wú)記憶

信道。

33、具有一一對(duì)應(yīng)關(guān)系的無(wú)噪信道的信道容量C=

log2n。

34、強(qiáng)對(duì)稱信道的信道容量C=

log2n-Hni。

35、對(duì)稱信道的信道容量C=

log2m-Hmi。

36、對(duì)于離散無(wú)記憶信道和信源的N次擴(kuò)展，其信道容量CN=

NC。

37、對(duì)于N個(gè)對(duì)立并聯(lián)信道，其信道容量

CN

=。

38、多用戶信道的信道容量用

多維空間的一個(gè)區(qū)域的界限

來(lái)表示。

39、多用戶信道可以分成幾種最基本的類型：

多址接入信道、廣播信道

和相關(guān)信源信道。

40、廣播信道是只有

一個(gè)輸入端和多個(gè)輸出端的信道。

41、當(dāng)信道的噪聲對(duì)輸入的干擾作用表現(xiàn)為噪聲和輸入的線性疊加時(shí)，此信道稱為

加性連續(xù)信道。

42、高斯加性信道的信道容量C=。

43、信道編碼定理是一個(gè)理想編碼的存在性定理，即：信道無(wú)失真?zhèn)鬟f信息的條件是

信息率小于信道容量。

44、信道矩陣代表的信道的信道容量C=

1。

45、信道矩陣代表的信道的信道容量C=

1。

46、高斯加性噪聲信道中，信道帶寬3kHz，信噪比為7，則該信道的最大信息傳輸速率Ct=

kHz。

47、對(duì)于具有歸并性能的無(wú)燥信道，達(dá)到信道容量的條件是

p（yj）=1/m）。

48、信道矩陣代表的信道，若每分鐘可以傳遞6*105個(gè)符號(hào)，則該信道的最大信息傳輸速率Ct=

10kHz。

49、信息率失真理論是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和

數(shù)據(jù)壓縮的理論基礎(chǔ)。

50、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的極小值。

51、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確定性就

越大，獲得的信息量就越小。

52、信源的消息通過(guò)信道傳輸后的誤差或失真越大道傳輸消息所需的信息率

也越小。

53、單符號(hào)的失真度或失真函數(shù)d（xi，yj）表示信源發(fā)出一個(gè)符號(hào)xi，信宿再現(xiàn)yj所引起的誤差或失真。

54、漢明失真函數(shù)

d（xi，yj）=。

55、平方誤差失真函數(shù)d（xi，yj）=（yj-

xi）2。

56、平均失真度定義為失真函數(shù)的數(shù)學(xué)期望，即d（xi，yj）在X和Y的聯(lián)合概率空間P（XY）中的統(tǒng)計(jì)平均值。

57、如果信源和失真度一定，則平均失真度是

信道統(tǒng)計(jì)特性的函數(shù)。

58、如果規(guī)定平均失真度不能超過(guò)某一限定的值D，即：。我們把稱為

保真度準(zhǔn)則。

59、離散無(wú)記憶N次擴(kuò)展信源通過(guò)離散無(wú)記憶N次擴(kuò)展信道的平均失真度是單符號(hào)信源通過(guò)單符號(hào)信道的平均失真度的N

倍。

60、試驗(yàn)信道的集合用PD來(lái)表示，則PD=。

61、信息率失真函數(shù)，簡(jiǎn)稱為率失真函數(shù)，即：試驗(yàn)信道中的平均互信息量的最小值。

62、平均失真度的下限取0的條件是失真矩陣的每一行至少有一個(gè)零元素。

63、平均失真度的上限D(zhuǎn)max取{Dj：j=1，2，···，m}中的最小值。

64、率失真函數(shù)對(duì)允許的平均失真度是

單調(diào)遞減和連續(xù)的。

65、對(duì)于離散無(wú)記憶信源的率失真函數(shù)的最大值是

log2n。

66、當(dāng)失真度大于平均失真度的上限時(shí)Dmax時(shí)，率失真函數(shù)R（D）=

0。

67、連續(xù)信源X的率失真函數(shù)R（D）=。

68、當(dāng)時(shí)，高斯信源在均方差失真度下的信息率失真函數(shù)為。

69、保真度準(zhǔn)則下的信源編碼定理的條件是

信源的信息率R大于率失真函數(shù)R（D）。

70、某二元信源其失真矩陣D=，則該信源的Dmax=

a/2。

71、某二元信源其失真矩陣D=，則該信源的Dmin=

0。

72、某二元信源其失真矩陣D=，則該信源的R（D）=

1-H（D/a）。

73、按照不同的編碼目的，編碼可以分為三類：分別是

信源編碼、信道編碼和安全編碼。

74、信源編碼的目的是：

提高通信的有效性。

75、一般情況下，信源編碼可以分為

離散信源編碼、連續(xù)信源編碼和相關(guān)信源編碼。

76、連續(xù)信源或模擬信號(hào)的信源編碼的理論基礎(chǔ)是

限失真信源編碼定理。

77、在香農(nóng)編碼中，第i個(gè)碼字的長(zhǎng)度ki和p（xi）之間有

關(guān)系。

78、對(duì)信源進(jìn)行二進(jìn)制費(fèi)諾編碼，其編碼效率為

1。

79、對(duì)具有8個(gè)消息的單符號(hào)離散無(wú)記憶信源進(jìn)行4進(jìn)制哈夫曼編碼時(shí)，為使平均碼長(zhǎng)最短，應(yīng)增加

個(gè)概率為0的消息。

80、對(duì)于香農(nóng)編碼、費(fèi)諾編碼和哈夫曼編碼，編碼方法惟一的是

香農(nóng)編碼。

81、對(duì)于二元序列******1111，其相應(yīng)的游程序列是

23652457。

82、設(shè)無(wú)記憶二元序列中，“0”和“1”的概率分別是p0和p1，則“0”游程長(zhǎng)度L（0）的概率為。

83、游程序列的熵

等于

原二元序列的熵。

84、若“0”游程的哈夫嗎編碼效率為η0，“1”游程的哈夫嗎編碼效率為η1，且η0>η1對(duì)應(yīng)的二元序列的編碼效率為η，則三者的關(guān)系是

η0>η>η1。

85、在實(shí)際的游程編碼過(guò)程中，對(duì)長(zhǎng)碼一般采取

截?cái)?/p>

處理的方法。

86、“0”游程和“1”游程可以分別進(jìn)行哈夫曼編碼，兩個(gè)碼表中的碼字可以重復(fù)，但

C碼

必須不同。

87、在多符號(hào)的消息序列中，大量的重復(fù)出現(xiàn)的，只起占時(shí)作用的符號(hào)稱為

冗余位。

88、“冗余變換”即：將一個(gè)冗余序列轉(zhuǎn)換成一個(gè)二元序列和一個(gè)

縮短了的多元序列。

89、L-D編碼是一種

分幀傳送冗余位序列的方法。

90、L-D編碼適合于冗余位

較多或較少的情況。

91、信道編碼的最終目的是

提高信號(hào)傳輸?shù)目煽啃浴?/p>

92、狹義的信道編碼即：檢、糾錯(cuò)編碼。

93、BSC信道即：無(wú)記憶二進(jìn)制對(duì)稱信道。

94、n位重復(fù)碼的編碼效率是

1/n。

95、等重碼可以檢驗(yàn)

全部的奇數(shù)位錯(cuò)和部分的偶數(shù)位錯(cuò)。

96、任意兩個(gè)碼字之間的最小漢明距離有稱為碼的最小距dmin，則dmin=。

97、若糾錯(cuò)碼的最小距離為dmin，則可以糾正任意小于等于t=

個(gè)差錯(cuò)。

98、若檢錯(cuò)碼的最小距離為dmin，則可以檢測(cè)出任意小于等于l=

dmin-1

個(gè)差錯(cuò)。

99、線性分組碼是同時(shí)具有

分組特性和線性特性的糾錯(cuò)碼。

100、循環(huán)碼即是采用

循環(huán)移位特性界定的一類線性分組碼。

三、判斷（50道）

1、必然事件和不可能事件的自信息量都是0

。錯(cuò)

2、自信息量是的單調(diào)遞減函數(shù)。對(duì)

3、單符號(hào)離散信源的自信息和信源熵都具有非負(fù)性。對(duì)

4、單符號(hào)離散信源的自信息和信源熵都是一個(gè)確定值。錯(cuò)

5、單符號(hào)離散信源的聯(lián)合自信息量和條件自信息量都是非負(fù)的和單調(diào)遞減的。對(duì)

6、自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系：

對(duì)

7、自信息量、條件自信息量和互信息量之間有如下關(guān)系：

對(duì)

8、當(dāng)隨即變量X和Y相互獨(dú)立時(shí)，條件熵等于信源熵。對(duì)

9、當(dāng)隨即變量X和Y相互獨(dú)立時(shí)，I（X；Y）=H（X）

。錯(cuò)

10、信源熵具有嚴(yán)格的下凸性。錯(cuò)

11、平均互信息量I（X；Y）對(duì)于信源概率分布p（xi）和條件概率分布p（yj/xi）都具有凸函數(shù)性。

對(duì)

12、m階馬爾可夫信源和消息長(zhǎng)度為m的有記憶信源，其所含符號(hào)的依賴關(guān)系相同。

錯(cuò)

13、利用狀態(tài)極限概率和狀態(tài)一步轉(zhuǎn)移概率來(lái)求m階馬爾可夫信源的極限熵。

對(duì)

14、N維統(tǒng)計(jì)獨(dú)立均勻分布連續(xù)信源的熵是N維區(qū)域體積的對(duì)數(shù)。

對(duì)

15、一維高斯分布的連續(xù)信源，其信源熵只與其均值和方差有關(guān)。

錯(cuò)

16、連續(xù)信源和離散信源的熵都具有非負(fù)性。

錯(cuò)

17、連續(xù)信源和離散信源都具有可加性。

對(duì)

18、連續(xù)信源和離散信源的平均互信息都具有非負(fù)性。

對(duì)

19、定長(zhǎng)編碼的效率一般小于不定長(zhǎng)編碼的效率。

對(duì)

20、若對(duì)一離散信源（熵為H（X））進(jìn)行二進(jìn)制無(wú)失真編碼，設(shè)定長(zhǎng)碼子長(zhǎng)度為K，變長(zhǎng)碼子平均長(zhǎng)度為，一般>K。

錯(cuò)

21、信道容量C是I（X；Y）關(guān)于p（xi）的條件極大值。

對(duì)

22、離散無(wú)噪信道的信道容量等于log2n，其中n是信源X的消息個(gè)數(shù)。

錯(cuò)

23、對(duì)于準(zhǔn)對(duì)稱信道，當(dāng)時(shí)，可達(dá)到信道容量C。錯(cuò)

24、多用戶信道的信道容量不能用一個(gè)數(shù)來(lái)代表。

對(duì)

25、多用戶信道的信道容量不能用一個(gè)數(shù)來(lái)代表，但信道的信息率可以用一個(gè)數(shù)來(lái)表示。錯(cuò)

26、高斯加性信道的信道容量只與信道的信噪有關(guān)。

對(duì)

27、信道無(wú)失真?zhèn)鬟f信息的條件是信息率小于信道容量。對(duì)

28、最大信息傳輸速率，即：選擇某一信源的概率分布（p（xi）），使信道所能傳送的信息率的最大值。

錯(cuò)

29、對(duì)于具有歸并性能的無(wú)燥信道，當(dāng)信源等概率分布時(shí)（p（xi）=1/n），達(dá)到信道容量。

錯(cuò)

30、求解率失真函數(shù)的問(wèn)題，即：在給定失真度的情況下，求信息率的極小值。對(duì)

31、信源的消息通過(guò)信道傳輸后的誤差或失真越大，信宿收到消息后對(duì)信源存在的不確定性就越小，獲得的信息量就越小。

錯(cuò)

32、當(dāng)p（xi）、p（yj/xi）和d（xi，yj）給定后，平均失真度是一個(gè)隨即變量。

錯(cuò)

33、率失真函數(shù)對(duì)允許的平均失真度具有上凸性。對(duì)

34、率失真函數(shù)沒(méi)有最大值。

錯(cuò)

35、率失真函數(shù)的最小值是0

。對(duì)

36、率失真函數(shù)的值與信源的輸入概率無(wú)關(guān)。錯(cuò)

37、信源編碼是提高通信有效性為目的的編碼。

對(duì)

38、信源編碼通常是通過(guò)壓縮信源的冗余度來(lái)實(shí)現(xiàn)的。

對(duì)

39、離散信源或數(shù)字信號(hào)的信源編碼的理論基礎(chǔ)是限失真信源編碼定理。

錯(cuò)

40、一般情況下，哈夫曼編碼的效率大于香農(nóng)編碼和費(fèi)諾編碼。

對(duì)

41、在編m（m>2）進(jìn)制的哈夫曼碼時(shí)，要考慮是否需要增加概率為0的碼字，以使平均碼長(zhǎng)最短。

對(duì)

42、游程序列的熵（“0”游程序列的熵與“1”游程序列的熵的和）大于等于原二元序列的熵。

錯(cuò)

43、在游程編碼過(guò)程中，“0”游程和“1”游程應(yīng)分別編碼，因此，它們的碼字不能重復(fù)。

錯(cuò)

44、L-D編碼適合于冗余位較多和較少的情況，否則，不但不能壓縮碼率，反而使其擴(kuò)張。

對(duì)

45、狹義的信道編碼既是指：信道的檢、糾錯(cuò)編碼。

對(duì)

46、對(duì)于BSC信道，信道編碼應(yīng)當(dāng)是一對(duì)一的編碼，因此，消息m的長(zhǎng)度等于碼字c的長(zhǎng)度。

錯(cuò)

47、等重碼和奇（偶）校驗(yàn)碼都可以檢出全部的奇數(shù)位錯(cuò)。

對(duì)

48、漢明碼是一種線性分組碼。對(duì)

49、循環(huán)碼也是一種線性分組碼。

對(duì)

50、卷積碼是一種特殊的線性分組碼。

錯(cuò)

四、簡(jiǎn)答（20道）

1、信息的主要特征有哪些？（4）

2、信息的重要性質(zhì)有哪些？（4）

3、簡(jiǎn)述幾種信息分類的準(zhǔn)則和方法。（5）

4、信息論研究的內(nèi)容主要有哪些？（8）

5、簡(jiǎn)述自信息的性質(zhì)。（13）

6、簡(jiǎn)述信源熵的基本性質(zhì)。（23）

7、簡(jiǎn)述信源熵、條件熵、聯(lián)合熵和交互熵之間的關(guān)系。（48）

8、信道的分類方法有哪些？（93-94）

9、簡(jiǎn)述一般離散信道容量的計(jì)算步驟。（107）

10、簡(jiǎn)述多用戶信道的分類。（115-116）

11、簡(jiǎn)述信道編碼定理。（128）

12、簡(jiǎn)述率失真函數(shù)的性質(zhì)。（140-145）

13、簡(jiǎn)述求解一般離散信源率失真函數(shù)的步驟。（146-149）

14、試比較信道容量與信息率失真函數(shù)。（164）

15、簡(jiǎn)述編碼的分累及各種編碼的目的。（168）

16、簡(jiǎn)述費(fèi)諾編碼的編碼步驟。（170）

17、簡(jiǎn)述二元哈夫曼編碼的編碼步驟。（173）

18、簡(jiǎn)述廣義的信道編碼的分類及各類編碼的作用。（188）

19、簡(jiǎn)述線性分組碼的性質(zhì)。（196）

20、簡(jiǎn)述循環(huán)碼的系統(tǒng)碼構(gòu)造過(guò)程。（221）