信息论与编码章节练习(2020.06.01)

名词解释
即时码
答案：在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，则这类码称为即时码。
问答题
简述连续信源的熵的定义。
答案：连续信源的不确定度应为无穷大，是相对熵，或叫差熵。在取两熵之间的差时才具有信息的所有特性。
问答题
证明：若（X，Y，Z）是马氏链，则（Z，Y，X）也是马氏链。
答案：
填空题
根据信道特性是否随时间变化，信道可以分为（）和（）。
答案：恒参信道；随参信道
问答题
简述香农公式的含义。
答案：
问答题
如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？
答案：
问答题
黑白气象传真图的消息只有黑色和白色两种，求：（1）黑色出现的概率为0.3，白色出现的概率为0.7.给出这个只有两个符号的信源X的数学模型，假设图上黑白消息出现前后没有关联，求熵X（H）；（2）假设黑白消息出现前后有关联，其依赖关系为：P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求其熵H2（X）.
答案：
问答题
简述多用户信道的分类。
答案：
多址接入信道、广播信道和相关信源的多用户信道
判断题
卷积码是一种特殊的线性分组码。
答案：错误
问答题
N维连续型随机序列X1X2...XN，有概率密度p（X1X2...XN）以及证明：当随机序列的分量各自达到正态分布并彼此统计独立时熵最大。最大熵为：
答案：