2.1

試問(wèn)四進(jìn)制、八進(jìn)制脈沖所含信息量是二進(jìn)制脈沖的多少倍？

解：

四進(jìn)制脈沖可以表示4個(gè)不同的消息，例如：{0,1,2,3}

八進(jìn)制脈沖可以表示8個(gè)不同的消息，例如：{0,1,2,3,4,5,6,7}

二進(jìn)制脈沖可以表示2個(gè)不同的消息，例如：{0,1}

假設(shè)每個(gè)消息的發(fā)出都是等概率的，則：

四進(jìn)制脈沖的平均信息量H(X1)

=

log2n

=

log24

=

bit/symbol

八進(jìn)制脈沖的平均信息量H(X2)

=

log2n

=

log28

=

bit/symbol

二進(jìn)制脈沖的平均信息量H(X0)

=

log2n

=

log22

=

bit/symbol

所以：

四進(jìn)制、八進(jìn)制脈沖所含信息量分別是二進(jìn)制脈沖信息量的2倍和3倍。

2.2

居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？

解：

設(shè)隨機(jī)變量X代表女孩子學(xué)歷

X

x1（是大學(xué)生）

x2（不是大學(xué)生）

P(X)

0.25

0.75

設(shè)隨機(jī)變量Y代表女孩子身高

Y

y1（身高>160cm）

y2（身高<160cm）

P(Y)

0.5

0.5

已知：在女大學(xué)生中有75%是身高160厘米以上的即：p(y1/

x1)

=

0.75

求：身高160厘米以上的某女孩是大學(xué)生的信息量

即：

2.3

一副充分洗亂了的牌（含52張牌），試問(wèn)

(1)

任一特定排列所給出的信息量是多少？

(2)

若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同能得到多少信息量？

解：

(1)

52張牌共有52！種排列方式，假設(shè)每種排列方式出現(xiàn)是等概率的則所給出的信息量是：

(2)

52張牌共有4種花色、13種點(diǎn)數(shù)，抽取13張點(diǎn)數(shù)不同的牌的概率如下：

2.4

設(shè)離散無(wú)記憶信源，其發(fā)出的信息為(202120******1032011223210)，求

(1)

此消息的自信息量是多少？

(2)

此消息中平均每符號(hào)攜帶的信息量是多少？

解：

(1)

此消息總共有14個(gè)0、13個(gè)1、12個(gè)2、6個(gè)3，因此此消息發(fā)出的概率是：

此消息的信息量是：

(2)

此消息中平均每符號(hào)攜帶的信息量是：

2.5

從大量統(tǒng)計(jì)資料知道，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%，如果你問(wèn)一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，問(wèn)這兩個(gè)回答中各含多少信息量，平均每個(gè)回答中含有多少信息量？如果問(wèn)一位女士，則答案中含有的平均自信息量是多少？

解：

男士：

女士：

2.6

設(shè)信源，求這個(gè)信源的熵，并解釋為什么H(X)

log6不滿足信源熵的極值性。

解：

不滿足極值性的原因是。

2.7

證明：H(X3/X1X2)

≤

H(X3/X1)，并說(shuō)明當(dāng)X1,X2,X3是馬氏鏈時(shí)等式成立。

證明：

2.8證明：H(X1X2

。。

Xn)

≤

H(X1)

+

H(X2)

+

…

+

H(Xn)。

證明：

2.9

設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)，均按P(0)

=

0.4，P(1)

=

0.6的概率發(fā)出符號(hào)。

(1)

試問(wèn)這個(gè)信源是否是平穩(wěn)的？

(2)

試計(jì)算H(X2),H(X3/X1X2)及H∞；

(3)

試計(jì)算H(X4)并寫(xiě)出X4信源中可能有的所有符號(hào)。

解：

(1)

這個(gè)信源是平穩(wěn)無(wú)記憶信源。因?yàn)橛羞@些詞語(yǔ)：“它在任意時(shí)間而且不論以前發(fā)生過(guò)什么符號(hào)……”

(2)

(3)

2.10

一階馬爾可夫信源的狀態(tài)圖如下圖所示。信源X的符號(hào)集為{0,1,2}。

(1)

求平穩(wěn)后信源的概率分布；

(2)

求信源的熵H∞。

解：

(1)

(2)

2.15黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}。設(shè)黑色出現(xiàn)的概率為P(黑)

=

0.3，白色出現(xiàn)的概率為P(白)

=

0.7。

(1)

假設(shè)圖上黑白消息出現(xiàn)前后沒(méi)有關(guān)聯(lián)，求熵H(X)；

(2)

假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P(白/白)

=

0.9，P(黑/白)

=

0.1，P(白/黑)

=

0.2，P(黑/黑)

=

0.8，求此一階馬爾可夫信源的熵H2(X);

(3)

分別求上述兩種信源的剩余度，比較H(X)和H2(X)的大小，并說(shuō)明其物理含義。

解：

(1)

(2)

(3)

H(X)

H2(X)

表示的物理含義是：無(wú)記憶信源的不確定度大與有記憶信源的不確定度，有記憶信源的結(jié)構(gòu)化信息較多，能夠進(jìn)行較大程度的壓縮。

2.1

同時(shí)擲出兩個(gè)正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求：

(1)

“3和5同時(shí)出現(xiàn)”這事件的自信息；

(2)

“兩個(gè)1同時(shí)出現(xiàn)”這事件的自信息；

(3)

兩個(gè)點(diǎn)數(shù)的各種組合（無(wú)序）對(duì)的熵和平均信息量；

(4)

兩個(gè)點(diǎn)數(shù)之和（即2,3,…,12構(gòu)成的子集）的熵；

(5)

兩個(gè)點(diǎn)數(shù)中至少有一個(gè)是1的自信息量。

解：

(1)

(2)

(3)

兩個(gè)點(diǎn)數(shù)的排列如下：

共有21種組合：

其中11，22，33，44，55，66的概率是

其他15個(gè)組合的概率是

(4)

參考上面的兩個(gè)點(diǎn)數(shù)的排列，可以得出兩個(gè)點(diǎn)數(shù)求和的概率分布如下：

(5)

2.13

某一無(wú)記憶信源的符號(hào)集為{0,1}，已知P(0)

=

1/4，P(1)

=

3/4。

(1)

求符號(hào)的平均熵；

(2)

有100個(gè)符號(hào)構(gòu)成的序列，求某一特定序列（例如有m個(gè)“0”和（100

m）個(gè)“1”）的自信息量的表達(dá)式；

(3)

計(jì)算(2)中序列的熵。

解：

(1)

(2)

(3)

2.14

對(duì)某城市進(jìn)行交通忙閑的調(diào)查，并把天氣分成晴雨兩種狀態(tài)，氣溫分成冷暖兩個(gè)狀態(tài)，調(diào)查結(jié)果得聯(lián)合出現(xiàn)的相對(duì)頻度如下：

若把這些頻度看作概率測(cè)度，求：

(1)

忙閑的無(wú)條件熵；

(2)

天氣狀態(tài)和氣溫狀態(tài)已知時(shí)忙閑的條件熵；

(3)

從天氣狀態(tài)和氣溫狀態(tài)獲得的關(guān)于忙閑的信息。

解：

(1)

根據(jù)忙閑的頻率，得到忙閑的概率分布如下：

(2)

設(shè)忙閑為隨機(jī)變量X，天氣狀態(tài)為隨機(jī)變量Y，氣溫狀態(tài)為隨機(jī)變量Z

(3)

2.18

有兩個(gè)二元隨機(jī)變量X和Y，它們的聯(lián)合概率為

Y

X

x1=0

x2=1

y1=0

1/8

3/8

y2=1

3/8

1/8

并定義另一隨機(jī)變量Z

=

XY（一般乘積），試計(jì)算：

(1)

H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；

(2)

H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；

(3)

I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。

解：

(1)

Z

=

XY的概率分布如下：

(2)

(3)

2.16

有兩個(gè)隨機(jī)變量X和Y，其和為Z

=

X

+

Y（一般加法），若X和Y相互獨(dú)立，求證：H(X)

≤

H(Z),H(Y)

≤

H(Z)。

證明：

同理可得。

2.17

給定聲音樣值X的概率密度為拉普拉斯分布，求Hc(X)，并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。

解：

2.18

連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H(X),H(Y),H(XYZ)和I(X;Y)。

（提示：）

解：

2.19

每幀電視圖像可以認(rèn)為是由3í105個(gè)像素組成的，所有像素均是獨(dú)立變化，且每像素又取128個(gè)不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問(wèn)每幀圖像含有多少信息量？若有一個(gè)廣播員，在約10000個(gè)漢字中選出1000個(gè)漢字來(lái)口述此電視圖像，試問(wèn)廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無(wú)依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？

解：

1)

2)

3)

2.20

設(shè)是平穩(wěn)離散有記憶信源，試證明：。

證明：

2.21

設(shè)是N維高斯分布的連續(xù)信源，且X1,X2,…,XN的方差分別是，它們之間的相關(guān)系數(shù)。試證明：N維高斯分布的連續(xù)信源熵

證明：

相關(guān)系數(shù)，說(shuō)明是相互獨(dú)立的。

2.22

設(shè)有一連續(xù)隨機(jī)變量，其概率密度函數(shù)

(1)

試求信源X的熵Hc(X)；

(2)

試求Y

=

X

+

A

(A

0)的熵Hc(Y)；

(3)

試求Y

=

2X的熵Hc(Y)。

解：

1)

2)

3)

3.1

設(shè)信源通過(guò)一干擾信道，接收符號(hào)為Y

=

{

y1,y2

}，信道轉(zhuǎn)移矩陣為，求：

(1)

信源X中事件x1和事件x2分別包含的自信息量；

(2)

收到消息yj

(j=1,2)后，獲得的關(guān)于xi

(i=1,2)的信息量；

(3)

信源X和信宿Y的信息熵；

(4)

信道疑義度H(X/Y)和噪聲熵H(Y/X)；

(5)

接收到信息Y后獲得的平均互信息量。

解：

1)

2)

3)

4)

5)

3.2

設(shè)二元對(duì)稱信道的傳遞矩陣為

(1)

若P(0)

=

3/4,P(1)

=

1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；

(2)

求該信道的信道容量及其達(dá)到信道容量時(shí)的輸入概率分布；

解：

1)

2)

3.3

設(shè)有一批電阻，按阻值分70%是2KΩ，30%是5

KΩ；按瓦分64%是0.125W，其余是0.25W。現(xiàn)已知2

KΩ阻值的電阻中80%是0.125W，問(wèn)通過(guò)測(cè)量阻值可以得到的關(guān)于瓦數(shù)的平均信息量是多少？

解：

對(duì)本題建立數(shù)學(xué)模型如下：

以下是求解過(guò)程：

3.4

若X,Y,Z是三個(gè)隨機(jī)變量，試證明

(1)

I(X;YZ)

=

I(X;Y)

+

I(X;Z/Y)

=

I(X;Z)

+

I(X;Y/Z)；

證明：

(2)

I(X;Y/Z)

=

I(Y;X/Z)

=

H(X/Z)

–

H(X/YZ)；

證明：

(3)

I(X;Y/Z)

≥0，當(dāng)且僅當(dāng)(X,Y,Z)是馬氏鏈時(shí)等式成立。

證明：

當(dāng)時(shí)等式成立

所以等式成立的條件是X,Y,Z是馬氏鏈

3.5若三個(gè)隨機(jī)變量，有如下關(guān)系：Z

=

X

+

Y，其中X和Y相互獨(dú)立，試證明：

(1)

I(X;Z)

=

H(Z)

H(Y)；

(2)

I(XY;Z)

=

H(Z)；

(3)

I(X;YZ)

=

H(X)；

(4)

I(Y;Z/X)

=

H(Y)；

(5)

I(X;Y/Z)

=

H(X/Z)

=

H(Y/Z)。

解：

1)

2)

3)

4)

5)

3.6

有一個(gè)二元對(duì)稱信道，其信道矩陣為。設(shè)該信源以1500二元符號(hào)/秒的速度傳輸輸入符號(hào)?，F(xiàn)有一消息序列共有14000個(gè)二元符號(hào)，并設(shè)P(0)

=

P(1)

=

1/2，問(wèn)從消息傳輸?shù)慕嵌葋?lái)考慮，10秒鐘內(nèi)能否將這消息序列無(wú)失真的傳遞完？

解：

信道容量計(jì)算如下：

也就是說(shuō)每輸入一個(gè)信道符號(hào)，接收到的信息量是0.859比特。已知信源輸入1500二元符號(hào)/秒，那么每秒鐘接收到的信息量是：

現(xiàn)在需要傳送的符號(hào)序列有140000個(gè)二元符號(hào)，并設(shè)P(0)

=

P(1)

=

1/2，可以計(jì)算出這個(gè)符號(hào)序列的信息量是

要求10秒鐘傳完，也就是說(shuō)每秒鐘傳輸?shù)男畔⒘渴?400bit/s，超過(guò)了信道每秒鐘傳輸?shù)哪芰Γ?288

bit/s）。所以10秒內(nèi)不能將消息序列無(wú)失真的傳遞完。

3.7

求下列各離散信道的容量（其條件概率P(Y/X)如下：）

(1)

Z信道

(2)

可抹信道

(3)

非對(duì)稱信道

(4)

準(zhǔn)對(duì)稱信道

解：

1)

Z信道

這個(gè)信道是個(gè)一般信道，利用一般信道的計(jì)算方法：

a.由公式，求βj

b.由公式，求C

c.由公式，求p(yj)

d.由公式，求p(xi)

由方程組：

解得

因?yàn)閟是條件轉(zhuǎn)移概率，所以0

≤

s

≤

1，從而有p(x1)，p(x2)

≥

0，保證了C的存在。

2)

可抹信道

可抹信道是一個(gè)準(zhǔn)對(duì)稱信道，把信道矩陣分解成兩個(gè)子矩陣如下：

3)

非對(duì)稱信道

這個(gè)信道是個(gè)一般信道，利用一般信道的計(jì)算方法

a.由公式，求βj

b.由公式，求C

c.由公式，求p(yj)

d.由公式，求p(xi)

由方程組：

解得

p(x1)，p(x2)

≥

0，保證了C的存在。

(4)

準(zhǔn)對(duì)稱信道

把信道矩陣分解成三個(gè)子矩陣如下：

3.8

已知一個(gè)高斯信道，輸入信噪比（比率）為3。頻帶為3kHz，求最大可能傳輸?shù)南⒙?。若信噪比提高?5，理論上傳送同樣的信息率所需的頻帶為多少？

解：

3.9

有二址接入信道，輸入X1,X2和輸出Y的條件概率P(Y/X1X2)如下表（ε

1/2），求容量界限。

X1X2

Y

0

00

1-ε

ε

01

1/2

1/2

1/2

1/2

ε

1-ε

3.10

有一離散廣播信道，其條件概率為試計(jì)算其容量界限（已知）。

3.11

已知離散信源，某信道的信道矩陣為試求：

(1)

“輸入x3，輸出y2”的概率；

(2)

“輸出y4”的概率；

(3)

“收到y(tǒng)3的條件下推測(cè)輸入x2”的概率。

解：

1)

2)

3)

3.12

證明信道疑義度H(X/Y)

=

0的充分條件是信道矩陣[P]中每列有一個(gè)且只有一個(gè)非零元素。

證明：

[P]每列有一個(gè)且只有一個(gè)非零元素

=〉

H(X/Y)

=

0

取[P]的第j列，設(shè)而其他

3.13

試證明：當(dāng)信道每輸入一個(gè)X值，相應(yīng)有幾個(gè)Y值輸出，且不同的X值所對(duì)應(yīng)的Y值不相互重合時(shí)，有H(Y)

–

H(X)

=

H(Y/X)。

證明：

信道每輸入一個(gè)X值，相應(yīng)有幾個(gè)Y值輸出，且不同的X值所對(duì)應(yīng)的Y值不相互重合。這種信道描述的信道轉(zhuǎn)移矩陣[P]的特點(diǎn)是每列有一個(gè)且只有一個(gè)非零元素。

取[P]的第j列，設(shè)而其他

3.14

試求以下各信道矩陣代表的信道的容量：

(1)

[P]

=

(2)

[P]

=

(3)

[P]

=

解：

1)

這個(gè)信道是一一對(duì)應(yīng)的無(wú)干擾信道

2)

這個(gè)信道是歸并的無(wú)干擾信道

3)

這個(gè)信道是擴(kuò)展的無(wú)干擾信道

3.15

設(shè)二進(jìn)制對(duì)稱信道是無(wú)記憶信道，信道矩陣為，其中：p

0，<

1，p

+

=

1，>>

p。試寫(xiě)出N

=

3次擴(kuò)展無(wú)記憶信道的信道矩陣[P]。

解：

3.16

設(shè)信源X的N次擴(kuò)展信源X

=

X1X2…XN通過(guò)信道{X,P(Y/X),Y}的輸出序列為Y

=

Y1Y2…YN。試證明：

(1)

當(dāng)信源為無(wú)記憶信源時(shí)，即X1,X2,…,XN之間統(tǒng)計(jì)獨(dú)立時(shí)，有；

(2)

當(dāng)信道無(wú)記憶時(shí)，有；

(3)

當(dāng)信源、信道為無(wú)記憶時(shí)，有；

(4)

用熵的概念解釋以上三種結(jié)果。

證明：

1)

2)

3)

如果信源、信道都是無(wú)記憶的。上面證明的兩個(gè)不等式應(yīng)同時(shí)滿足，即：

必然推出，而如果是平穩(wěn)分布，即，那么。

4)

流經(jīng)信道的信息量也是信宿收到的信息量，它等于信源信息的不確定度減去由信道干擾造成的不確定度。

當(dāng)信源無(wú)記憶、信道有記憶時(shí)，對(duì)應(yīng)于本題的第一種情況。信源是無(wú)記憶的，信源的不確定度等于N倍的單符號(hào)信源不確定度，信道是有記憶的，信道干擾造成的不確定度小于N倍單符號(hào)信道的不確定度。因此，這兩部分的差值平均互信息量大于N倍的單符號(hào)平均互信息量。

當(dāng)信源有記憶、信道無(wú)記憶時(shí)，對(duì)應(yīng)于本題的第二種情況。信源是有記憶的，信源的不確定度小于N倍的單符號(hào)信源不確定度，信道是無(wú)記憶的，信道干擾造成的不確定度等于N倍單符號(hào)信道的不確定度。因此，這兩部分的差值平均互信息量小于N倍的單符號(hào)平均互信息量。

當(dāng)信源無(wú)記憶、信道無(wú)記憶時(shí)，對(duì)應(yīng)于本題的第三種情況。信源是無(wú)記憶的，信源的不確定度等于N倍的單符號(hào)信源不確定度，信道是無(wú)記憶的，信道干擾造成的不確定度等于N倍單符號(hào)信道的不確定度。因此，這兩部分的差值平均互信息量等于N倍的單符號(hào)平均互信息量。

3.17

設(shè)高斯加性信道，輸入、輸出和噪聲隨機(jī)變量X,Y,N之間的關(guān)系為Y

=

X

+

N，且E[N2]

=

σ2。試證明：當(dāng)信源X是均值E[X]

=

0，方差為的高斯隨機(jī)變量時(shí)，信道容量達(dá)其容量C，且。

證明：

根據(jù)概率論中的結(jié)論：n是正態(tài)分布，X是正態(tài)分布，則Y

=

X

+

n也是正態(tài)分布，而且。所以，前提是取最大值，也就是說(shuō)取最大值。因?yàn)楫?dāng)X是均值為零的正態(tài)分布時(shí)，所以這是滿足的前提條件。

3.18

設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè){(信號(hào)功率+噪聲功率)/噪聲功率}=10dB。試計(jì)算該信道的最大信息傳輸速率Ct。

解：

3.19

在圖片傳輸中，每幀約有2.25í106個(gè)像素，為了能很好地重現(xiàn)圖像，能分16個(gè)亮度電平，并假設(shè)亮度電平等概分布。試計(jì)算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。

解：

3.20

設(shè)電話信號(hào)的信息率5.6í104比特/秒，在一個(gè)噪聲功率譜為N0=

5í10-6

mW/Hz、限頻F、限輸入功率P的高斯信道中傳送，若F=4kHz，問(wèn)無(wú)差錯(cuò)傳輸所需的最小功率P是多少瓦？若F→∞，則P是多少瓦？

解：

4.1

一個(gè)四元對(duì)稱信源，接收符號(hào)Y

=

{0,1,2,3}，其失真矩陣為，求Dmax和Dmin及信源的R(D)函數(shù)，并畫(huà)出其曲線（取4至5個(gè)點(diǎn)）。

解：

因?yàn)閚元等概信源率失真函數(shù)：

其中a

=

1,n

=

4,所以率失真函數(shù)為：

函數(shù)曲線：

其中：

4.2

若某無(wú)記憶信源，接收符號(hào)，其失真矩陣求信源的最大失真度和最小失真度，并求選擇何種信道可達(dá)到該Dmax和Dmin的失真度。

4.3

某二元信源其失真矩陣為求這信源的Dmax和Dmin和R(D)函數(shù)。

解：

因?yàn)槎雀判旁绰适д婧瘮?shù)：

其中n

=

2,所以率失真函數(shù)為：

4.4

已知信源X

=

{0,1}，信宿Y

=

{0,1,2}。設(shè)信源輸入符號(hào)為等概率分布，而且失真函數(shù)，求信源的率失真函數(shù)R(D)。

4.5

設(shè)信源X

=

{0,1,2,3}，信宿Y

=

{0,1,2,3,4,5,6}。且信源為無(wú)記憶、等概率分布。失真函數(shù)定義為

證明率失真函數(shù)R(D)如圖所示。

4.6

設(shè)信源X

=

{0,1,2}，相應(yīng)的概率分布p(0)

=

p(1)

=

0.4，p(2)

=

0.2。且失真函數(shù)為

(1)

求此信源的R(D)；

(2)

若此信源用容量為C的信道傳遞，請(qǐng)畫(huà)出信道容量C和其最小誤碼率Pk之間的曲線關(guān)系。

4.7

設(shè)0

α,β

1,α

+

β

=

1。試證明：αR(D’)

+βR(D”)

≥

R(αD’

+βD”)

4.8

試證明對(duì)于離散無(wú)記憶N次擴(kuò)展信源，有RN(D)

=

NR(D)。其中N為任意正整數(shù)，D

≥

Dmin。

4.9

設(shè)某地區(qū)的“晴天”概率p(晴)

=

5/6，“雨天”概率p(雨)

=

1/6，把“晴天”預(yù)報(bào)為“雨天”，把“雨天”預(yù)報(bào)為“晴天”造成的損失為a元。又設(shè)該地區(qū)的天氣預(yù)報(bào)系統(tǒng)把“晴天”預(yù)報(bào)為“晴天”，“雨天”預(yù)報(bào)為“雨天”的概率均為0.9；把把“晴天”預(yù)報(bào)為“雨天”，把“雨天”預(yù)報(bào)為“晴天”的概率均為0.1。試計(jì)算這種預(yù)報(bào)系統(tǒng)的信息價(jià)值率v（元/比特）。

4.10

設(shè)離散無(wú)記憶信源其失真度為漢明失真度。

(1)

求Dmin和R(Dmin)，并寫(xiě)出相應(yīng)試驗(yàn)信道的信道矩陣；

(2)

求Dmax和R(Dmax)，并寫(xiě)出相應(yīng)試驗(yàn)信道的信道矩陣；

(3)

若允許平均失真度D

=

1/3，試問(wèn)信源的每一個(gè)信源符號(hào)平均最少有幾個(gè)二進(jìn)制符號(hào)表示？

解：

4.11

設(shè)信源（p

0.5），其失真度為漢明失真度，試問(wèn)當(dāng)允許平均失真度D

=

0.5p時(shí)，每一信源符號(hào)平均最少需要幾個(gè)二進(jìn)制符號(hào)表示？

解：

因?yàn)槎旁绰适д婧瘮?shù)：

其中a

=

1（漢明失真）,所以二元信源率失真函數(shù)為：

當(dāng)時(shí)

5.1

設(shè)信源

(1)

求信源熵H(X)；

(2)

編二進(jìn)制香農(nóng)碼；

(3)

計(jì)算平均碼長(zhǎng)和編碼效率。

解：

(1)

(2)

xi

p(xi)

pa(xi)

ki

碼字

x1

0.2

0

000

x2

0.19

0.2

001

x3

0.18

0.39

011

x4

0.17

0.57

x5

0.15

0.74

x6

0.1

0.89

1110

x7

0.01

0.99

1111110

(3)

5.2

對(duì)信源編二進(jìn)制費(fèi)諾碼，計(jì)算編碼效率。

解：

xi

p(xi)

編碼

碼字

ki

x1

0.2

0

0

00

x2

0.19

0

010

x3

0.18

011

x4

0.17

0

x5

0.15

0

x6

0.1

0

1110

x7

0.01

1111

5.3

對(duì)信源編二進(jìn)制和三進(jìn)制哈夫曼碼，計(jì)算各自的平均碼長(zhǎng)和編碼效率。

解：

二進(jìn)制哈夫曼碼：

xi

p(xi)

編碼

碼字

ki

s6

s5

0.61

0

s4

0.39

s3

0.35

0

s2

0.26

x1

0.2

0

x2

0.19

x3

0.18

0

000

x4

0.17

001

x5

0.15

0

010

s1

0.11

x6

0.1

0

0110

x7

0.01

0111

三進(jìn)制哈夫曼碼：

xi

p(xi)

編碼

碼字

ki

s3

s2

0.54

0

s1

0.26

x1

0.2

x2

0.19

0

00

x3

0.18

01

x4

0.17

02

x5

0.15

0

x6

0.1

x7

0.01

5.4

設(shè)信源

(1)

求信源熵H(X)；

(2)

編二進(jìn)制香農(nóng)碼和二進(jìn)制費(fèi)諾碼；

(3)

計(jì)算二進(jìn)制香農(nóng)碼和二進(jìn)制費(fèi)諾碼的平均碼長(zhǎng)和編碼效率；

(4)

編三進(jìn)制費(fèi)諾碼；

(5)

計(jì)算三進(jìn)制費(fèi)諾碼的平均碼長(zhǎng)和編碼效率；

解：

(1)

(2)

二進(jìn)制香農(nóng)碼：

xi

p(xi)

pa(xi)

ki

碼字

x1

0.5

0

0

x2

0.25

0.5

x3

0.125

0.75

x4

0.0625

0.875

1110

x5

0.03125

0.9375

11110

x6

0.015625

0.96875

111110

x7

0.0078125

0.984375

1111110

x8

0.0078125

0.9921875

1111111

二進(jìn)制費(fèi)諾碼：

xi

p(xi)

編碼

碼字

ki

x1

0.5

0

0

x2

0.25

0

x3

0.125

0

x4

0.0625

0

1110

x5

0.03125

0

11110

x6

0.015625

0

111110

x7

0.0078125

0

1111110

x8

0.0078125

1111111

(3)

香農(nóng)編碼效率：

費(fèi)諾編碼效率：

(4)

xi

p(xi)

編碼

碼字

ki

x1

0.5

0

0

x2

0.25

x3

0.125

0

x4

0.0625

x5

0.03125

0

220

x6

0.015625

221

x7

0.0078125

0

2220

x8

0.0078125

2221

(5)

5.5

設(shè)無(wú)記憶二進(jìn)制信源

先把信源序列編成數(shù)字0，1，2，……，8，再替換成二進(jìn)制變長(zhǎng)碼字，如下表所示。

(1)

驗(yàn)證碼字的可分離性；

(2)

求對(duì)應(yīng)于一個(gè)數(shù)字的信源序列的平均長(zhǎng)度；

(3)

求對(duì)應(yīng)于一個(gè)碼字的信源序列的平均長(zhǎng)度；

(4)

計(jì)算，并計(jì)算編碼效率；

(5)

若用4位信源符號(hào)合起來(lái)編成二進(jìn)制哈夫曼碼，求它的平均碼長(zhǎng)，并計(jì)算編碼效率。

序列

數(shù)字

二元碼字

0

1000

01

1001

001

1010

0001

1011

00001

1100

000001

1101

0000001

1110

00000001

1111

00000000

0

5.6

有二元平穩(wěn)馬氏鏈，已知p(0/0)

=

0.8，p(1/1)

=

0.7，求它的符號(hào)熵。用三個(gè)符號(hào)合成一個(gè)來(lái)編寫(xiě)二進(jìn)制哈夫曼碼，求新符號(hào)的平均碼字長(zhǎng)度和編碼效率。

5.7

對(duì)題5.6的信源進(jìn)行游程編碼。若“0”游程長(zhǎng)度的截至值為16，“1”游程長(zhǎng)度的截至值為8，求編碼效率。

5.8

選擇幀長(zhǎng)N

=

(1)

對(duì)************0000遍L(zhǎng)-D碼；

(2)

對(duì)************0010遍L(zhǎng)-D碼再譯碼；

(3)

對(duì)************0000遍L(zhǎng)-D碼；

(4)

對(duì)************10010遍L(zhǎng)-D碼；

(5)

對(duì)上述結(jié)果進(jìn)行討論。