信息论与编码章节练习(2020.06.01)

问答题
一阶马尔可夫信源的状态图如图所示。信源X的符号集为{0，1，2}。（1）求平稳后信源的概率分布；（2）求信源的熵H∞。
答案：
（1）由图得一阶马尔可夫信源的状态为s₁=0，s₂=1，s₃=2。
对应的一步转移概率矩阵为
问答题
试证明H（X）是输入概率分布P（x）的上凸函数。
答案：
填空题
在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为（）。
答案：冗余位
问答题
简述连续信源的熵的定义。
答案：连续信源的不确定度应为无穷大，是相对熵，或叫差熵。在取两熵之间的差时才具有信息的所有特性。
判断题
离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。
答案：错误
问答题
简要说明下面几种译码准则：（1）最优译码准则；（2）最大似然译码准则
答案：
名词解释
无记忆信道
答案：
在某一时刻信道的输出消息仅与当时的信道输入消息有关，而与前面时刻的信道输入或输出消息无关。
填空题
和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（）。
答案：信道容量
问答题
某气象员报告气象状态，有四种可能的消息：晴、去、雨和雾。若每个消息是等概率的，那么发送每个消息最少所需的二元脉冲数是多少？又若四个消息出现的概率分别为问在此情况下消息所需的二元脉冲数是多少？如何编码？
答案：
填空题
克劳夫特不等式是唯一可译码（）的充要条件。
答案：存在