篇一:信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源
1.1同时掷一对均匀的子,试求:
(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;
(5)“两个点数中至少有一个是1”的自信息量。 解:
11
样本空间:N?c6c6?6?6?36
n12
??I(a)??logP1?log18?4.17bitN36n1
(2)P2?2??I(a)??logP2?log36?5.17bit
N36(1)P1?
(3)信源空间:
?log?6??log36?4.32bit 36236
?H(x)?15?
?H(x)?
2436636836
?log36+?log??log??log36362363364 1036636
??log+?log?3.71bit
365366
(5) P3?
n31136??I(a)??logP3?log?1.17bit N3611
1.2如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为(Xa,Ya), (Xb,Yb),但A,B不能同时落入同一方格内。 (1) 若仅有质点A,求A落入任一方格的平均信息量; (2) 若已知A已落入,求B落入的平均信息量; (3) 若A,B是可辨认的,求A,B落入的平均信息量。 解:
1
(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log48
48
?H(a)???P(ai)logP(ai)?log48?5.58bit
i?1
48
(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47
?H(b)???P(bi)logP(bi)?log47?5.55bit
i?148
1
47
(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)
48?47i?1
11
?4847
H(ABi)???P(ABi)logP(ABi)?log(48?47)?11.14bit
1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解:
对于男士:
回答“是”的信息量:I(my)??logP(my)??log7%?3.84bit回答“不是”的信息量:I(mn)??logP(mn)??log93%?0.105bit平均每个回答信息量:H(m)??P(my)?logP(my)?P(mn)?logP(mn) ?-7%?log7%-93%?log93%?0.366bit对于女:
回答“是”的信息量:I(wy)??logP(wy)??log0.5%回答“不是”的信息量:I(mn)??logP(mn)??log99.5%
平均每个回答信息量:H(m)??P(wy)?logP(wy)?P(wn)?logP(wn) ?-0.5%?log0.5%-99.5%?log99.5%?0.0454bit
1.4某一无记忆信源的符号集为{0,1},已知p0?
13
,p1?
23
。
(1) 求符号的平均信息量;
(2) 由1000个符号构成的序列,求某一特定序列(例如有m个“0”,(1000-m)个“1”)
的自信量的表达式;
(3) 计算(2)中序列的熵。 解:
1122
(1)H(x)??p0logp0?p1logp1???log??log?0.918bit/symble
3333
12
(2)I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)logbit
33
(3)H(A)?1000H(X)?1000?0.918?918bit/sequence H(A)???p0logp0?
i?1m
1000?m
?
i?1
p1logp1??
m12(1000?m)2log?log3333
1.5设信源X的信源空间为:
a1 a2a3a4a5 a6?X:
[x?p]:?
0.190.180.160.18 0.3 ?p(X) 0.17
求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。
解:
H(X)???p(ai)logp(ai)
i?1
6
??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble 可见H(X)?2.725?log6?2.585 不满足信源熵的极值性,
这是因为信源熵的最大值是在?pi?1的约束条件下求得的,但是本题中
i?1r
?p
i?1
6
i
?1.18不满足信源熵最大值成立的约束条件,所以H(X)?log6。
1.6为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s)。 解:
由于亮度电平等概出现,由熵的极值性:
每个像素的熵是: H(x0)??p(ai)logp(ai)?log10?3.322bit/pels
i?110
每帧图像的熵是: H(X)?5?105?H(x0)?5?105?3.322?1.661?106 bit/frame
?所需信息速率为:R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?107 bit/s
1.7设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。 证:
增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化
?每个像素的熵是: H(x1)??p(bi)logp(bi)?log300bit/pels
i?1300
?
H(x1)log300
??2.477?2.5H(x0)log10
?彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.
1.8每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。问每帧图像含有多少信息量?若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字? 解:
每帧图象所含信息量:
H(X)?3?105?H(x)?3?105?log128?2.1?106bit/symble1000
?0.110000
?每个汉字所包含信息量:H(c)??logp每个汉字所出现概率p?
描述一帧图像需要汉字数n,H(X)?nH(c)H(X)2.1?106n???6.322?105/frame
H(c)?log0.1?最少需要6.322?105个汉字
1.9给定一个概率分布(p1,p2,...,pn)和一个整数m,0?m?n。定义qm?1?
?p,证明:
ii?1
m
H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并说明等式何时成立?
证:
先证明f(x)??xlogx(x?0)为凸函数,如下:
loge
?f??(x)?(?xlogx)????又x?0
x
loge
?f??(x)?(?xlogx)?????0 即f(x)??xlogx(x?0)为凸函数。
x又?H(p1,p2,...,pn)???pilogpi?
i?1m
i?m?1
?plogp
i
n
i
由凸函数的性质,变量函数的平均值小于变量的算术平均值的函数,可得:
?
i?m?1
?pilogpi??(n?m)
i?m?1
n
i?m?1
?f(p)
i
n
n?m
??(n?m)f(
i?m?1
?p
n
i
n?m
)??(n?m)
i?m?1
?p
n
i
n?m
log
i?m?1
?p
n
i
n?m
??qmlog
qm
n?m
即?
?plogp
i
n
i
??qmlogqm?qmlog(n?m)
当且仅当pm?1?pm?2?...?pn时等式成立。?H(p1,p2,...,pn)???pilogpi?
m
?plogp
i
n
i
???pilogpi?qmlogqm?qmlog(n?m)
m
i?1
i?m?1
i?1
m?H(p1,p2,...,pm,qm)???pilogpi?qmlogqm
i?1
?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。
1.10找出两种特殊分布:
p1≥p2≥p3≥…≥pn,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解:n
m
H(p1,p2,...,pn)???pilogpi?H(q1,q2,...,qm)???qilogqi
i?1
i?1
篇二:信息论答案
《信息论与编码》-曹雪虹-课后习题答案
第二章
2.1一个马尔可夫信源有3个符号?u1,u,2u?3,转移概率为:p?u1|u1??1/2,
p?u2|u1??1/2,p?u3|u1??0,p?u1|u2??1/3,p?u2|u2??0,p?u3|u2??2/3,
p?u1|u3??1/3,p?u2|u3??2/3,p?u3|u3??0,画出状态图并求出各符号稳态概率。解:状态图如下
状态转移矩阵为:
0??1/21/2
??p??1/302/3?
?1/32/30???
设状态u1,u2,u3稳定后的概率分别为W1,W2、W3
11?1
W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?
由?得?2计算可得?W2? 3
25W1?W2?W3?1??2?
6?W2?W3?W3?3??25??W1?W2?W3?1?
2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:p(0|00)=0.8,p(0|11)=0.2,
p(1|00)=0.2,p(1|11)=0.8,p(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5。
画出状态图,并计算各状态的稳态概率。
?p解:p(0|00)?p(00|00)?0.8 p(0|01)
p(0|11)?p(10|11)?0.2p(0|10?)pp(1|00)?p(01|00)?0.2 p(1|01)?p
(10?|01) (00?|10) (11?|01)
p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.5
0??0.80.20
??000.50.5? 于是可以列出转移概率矩阵:p??
?0.50.500???000.20.8??
状态图为:
设各状态00,01,10,11的稳态分布概率为W1,W2,W3,W4 有
5?W1??14?0.8W1?0.5W3?W1
?
?0.2W1?0.5W3?W2
?W2?1?WP?W????47
0.5W2?0.2W4?W3 得计算得到???
Wi?1??0.5W2?0.8W4?W4?W3?1??i?1
??7W1?W2?W3?W4?1???5
?W4?
14?
2.3 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1) “3和5同时出现”这事件的自信息; (2) “两个1同时出现”这事件的自信息;
(3) 两个点数的各种组合(无序)对的熵和平均信息量; (4) 两个点数之和(即2, 3, ? , 12构成的子集)的熵; (5) 两个点数中至少有一个是1的自信息量。 解:
(1)
11111
p(xi)?????
666618I(xi)??logp(xi)??log
(2)
1
?4.170 bit18
111
p(xi)???
6636
1
I(xi)??logp(xi)??log?5.170 bit
36
(3)
两个点数的排列如下: 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64
共有21种组合:
15 25 35 45 55 65 16 26 36 46 56 66
其中11,22,33,44,55,66的概率是其他15个组合的概率是2?
111?? 6636
111?? 6618
1111??
H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol
361818??36i
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
23456789101112??X???1?1111151511???P(X)??
????3618129366369121836??H(X)???p(xi)logp(xi)
i
111111115511??
???2?log?2?log?2?log?2?log?2?log?log?
361818121299363666??36
?3.274 bit/symbol
(5)
1111p(xi)???11?
6636
11
I(xi)??logp(xi)??log?1.710 bit
36
2-4
2.5 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量X代表女孩子学历
X x1(是大学生) x2(不是大学生) P(X) 0.25 0.75
设随机变量Y代表女孩子身高
Y y1(身高>160cm) y2(身高<160cm) P(Y) 0.5 0.5
已知:在女大学生中有75%是身高160厘米以上的 即:p(y1/x1)?0.75 bit
求:身高160厘米以上的某女孩是大学生的信息量 即:I(x1/y1)??logp(x1/y1)??log
p(x1)p(y1/x1)0.25?0.75
??log?1.415 bit
p(y1)0.5
2.6 掷两颗骰子,当其向上的面的小圆点之和是3时,该消息包含的信息量是多少?当小圆点之和是7时,该消息所包含的信息量又是多少? 解:
1)因圆点之和为3的概率p(x)?p(1,2)?p(2,1)?
1 18
该消息自信息量I(x)??logp(x)?log18?4.170bit 2)因圆点之和为7的概率
p(x)?p(1,6)?p(6,1)?p(2,5)?p(5,2)?p(3,4)?p(4,3)?
该消息自信息量I(x)??logp(x)?log6?2.585bit
2.7 设有一离散无记忆信源,其概率空间为?
1 6
?X??x1?0x2?1x3?2x4?3?????
1/41/41/8??P??3/8
(1)求每个符号的自信息量
(2)信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210},求该序列的自信息量和平均每个符号携带的信息量 解:I(x1)?log2
18
?log2?1.415bit p(x1)3
同理可以求得I(x2)?2bit,I(x3)?2bit,I(x3)?3bit
因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有:I?14I(x1)?13I(x2)?12I(x3)?6I(x4)?87.81bit
87.81
?1.95bit/符号 45
2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
平均每个符号携带的信息量为
解:
四进制脉冲可以表示4个不同的消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息,例如:{0, 1} 假设每个消息的发出都是等概率的,则:
四进制脉冲的平均信息量H(X1)?logn?log4?2 bit/symbol 八进制脉冲的平均信息量H(X2)?logn?log8?3 bit/symbol 二进制脉冲的平均信息量H(X0)?logn?log2?1 bit/symbol 所以:
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9“-” 用三个脉冲 “●”用一个脉冲
??(1) I(●)=Log(4)?2 I(-)=Log???0.415
?3?
(2) H= 2-10
(2) P(黑/黑
)= H(Y/黑
)=(3) P(黑/白
)= H(Y/白
)=(4) P(黑
)=
H(Y)=
P(白
)=
P(白/白
)=
P(白/黑
)=
14
Log(4)?
34Log??
4
??0.811
?3?
4?
2.11 有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜色。
(1)如果仅对颜色感兴趣,则计算平均不确定度
篇三:信息论课堂习题及答案
2.3 一副充分洗乱了的牌(含52张牌),试问
(1) 任一特定排列所给出的信息量是多少?
(2) 若从中抽取13张牌,所给出的点数都不相同能得到多少信息量? 解:
(1) 52张牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:
1 52!
I(xi)??logp(xi)?log52!?225.581 bit p(xi)?
(2) 52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:
413
p(xi)?13C52
134?13.208 bit13C52
2.5 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少? I(xi)??logp(xi)??log
解:
男士:
p(xY)?7%
I(xY)??logp(xY)??log0.07?3.837 bit
p(xN)?93%
I(xN)??logp(xN)??log0.93?0.105 bit
H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366 bit/symbol
i2
女士:
H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045 bit/symbol
i2
?21??33??12???3.2 设二元对称信道的传递矩阵为?33?
(1) 若P(0) = 3/4, P(1) = 1/4,求H(X), H(X/Y), H(Y/X)和I(X;Y);
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布;
解:
1)
3311H(X)???p(xi)??(?log2??log2)?0.811bit/symbol4444i
H(Y/X)????p(xi)p(yj/xi)logp(yj/xi)
ij
322311111122 ??(?lg??lg??lg??lg)?log210433433433433
?0.918bit/symbol
3211p(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?????0.58334343
3112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343
H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980bit/symbol
j
I(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)
H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062bit/symbol
2)
1122C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082bit/symbol33331p(xi)?2
?X??x1x2??P(X)???0.60.4????通过一干扰信道,接收符号为Y = { y1, y2 },3.1 设信源?
?51??66??13???信道转移矩阵为?44?,求:
(1) 信源X中事件x1和事件x2分别包含的自信息量;
(2) 收到消息yj (j=1,2)后,获得的关于xi (i=1,2)的信息量;
(3) 信源X和信宿Y的信息熵;
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X);
(5) 接收到信息Y后获得的平均互信息量。
解:
1)
I(x1)??log2p(x1)??log20.6?0.737bit
2) I(x2)??log2p(x2)??log20.4?1.322bit
51p(y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?0.6??0.4??0.664
13p(y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?0.6??0.4??0.464
p(y1/x1)5/6I(x1;y1)?log2?log2?0.474bitp(y1)0.6
I(x1;y2)?log2
I(x2;y1)?log2
I(x2;y2)?log2
3)
ip(y2/x1)1/6?log2??1.263bitp(y2)0.4p(y1/x2)1/4?log2??1.263bitp(y1)0.6p(y2/x2)3/4?log2?0.907bitp(y2)0.4 H(X)???p(xi)logp(xi)??(0.6log0.6?0.4log0.4)log210?0.971bit/symbol
H(Y)???p(yj)logp(yj)??(0.6log0.6?0.4log0.4)log210?0.971bit/symbol
j
4) H(Y/X)????p(xi)p(yj/xi)logp(yj/xi)
ij
55111133??(0.6?log?0.6?log?0.4?log?0.4?log)?log21066664444
?0.715bit/symbol
?H(X)?H(Y/X)?H(Y)?H(X/Y)
?H(X/Y)?H(X)?H(Y/X)?H(Y)
?0.971?0.715?0.971?0.715bit/symbol
5)
I(X;Y)?H(X)?H(X/Y)?0.971?0.715?0.256bit/symbol 3.3 设有一批电阻,按阻值分70%是2KΩ,30%是5 KΩ;按瓦分64%是0.125W,其余是0.25W。现已知2 KΩ阻值的电阻中80%是0.125W,问通过测量阻值可以得到的关于瓦数的平均信息量是多少?
解:
对本题建立数学模型如下:
?X阻值??x1?2??x2?5????Y瓦数??y1?1/8? ????0.7????0.640.3??P(X)???P(Y)??
p(y1/x1)?0.8,p(y2/x1)?0.2
求:I(X;Y)
以下是求解过程: y2?1/4??0.36?
p(x1y1)?p(x1)p(y1/x1)?0.7?0.8?0.56
p(x1y2)?p(x1)p(y2/x1)?0.7?0.2?0.14
?p(y1)?p(x1y1)?p(x2y1)
?p(x2y1)?p(y1)?p(x1y1)?0.64?0.56?0.08
?p(y2)?p(x1y2)?p(x2y2)
?p(x2y2)?p(y2)?p(x1y2)?0.36?0.14?0.22
H(X)???p(xi)???0.7?log20.7?0.3?log20.3??0.881bit/symbol
i
H(Y)???p(yj)???0.64?log20.64?0.36?log20.36??0.943bit/symbol
j
H(XY)????p(xiyj)logp(xiyj)
ij
???0.56?log20.56?0.14?log20.14?0.08?log20.08?0.22?log20.22??1.638bit/symbol
I(X;Y)?H(X)?H(Y)?H(XY)?0.881?0.943?1.638?0.186bit/symbol
3.19 在图片传输中,每帧约有2.25?106个像素,为了能很好地重现图像,能分16个亮度电平,并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽(信噪功率比为30dB)。
解:
H?log2n?log216?4bit/symbol
I?NH?2.25?106?4?9?106bit
?10
I9?106
Ct???1.5?105bit/st60
?PX?Ct?Wlog??1?P??N??
Ct 1.5?105
W???15049Hz)?PX?log2(1?1000log??1?P??N?? 1. 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:
(1) “3和5同时出现”这事件的自信息;
(2) “两个1同时出现”这事件的自信息;
(3) 两个点数的各种组合(无序)对的熵和平均信息量;
(4) 两个点数之和(即2, 3, ? , 12构成的子集)的熵;
(5) 两个点数中至少有一个是1的自信息量。
解:1465 (1)
11111p(xi)?????666618
1I(xi)??logp(xi)??log?4.170 bit18
(2)
111p(xi)???6636
1I(xi)??logp(xi)??log?5.170 bit36
(3)
两个点数的排列如下:
11 12 13 14
21 22 23 24
31 32 33 34
41 42 43 44
51 52 53 54
61 62 63 64
共有21种组合: 15 25 35 45 55 65 16 26 36 46 56 66
其中11,22,33,44,55,66的概率是
其他15个组合的概率是2?111?? 6636111?? 6618
1111??H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol 361818??36i
(4)
参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:
23456789101112??X???11115151111???P(X)???????3618129366369121836??
H(X)???p(xi)logp(xi)
i
111111115511?????2?log?2?log?2?log?2?log?2?log?log?361818121299363666??36
?3.274 bit/symbol
(5)
1111p(xi)???11?6636
11I(xi)??logp(xi)??log?1.710 bit36
2.对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现的相对频度如下:
《信息论答案》
由:免费论文网互联网用户整理提供,链接地址:
http://m.csmayi.cn/show/34739.html
转载请保留,谢谢!
- 上一篇:教师问卷调查表
- 下一篇:企业文化的概念