黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率为P（黑）=0.3，白色出现的概率为P（白）=0.7。
（1）假设图上黑白消息出现前后没有关联，求熵H（X）；
（2）假设消息前后有关联，其依赖关系为P（白|白）=0.9，P（黑|白）=0.1，P（白|黑）=0.2，P（黑|黑）=0.8，求此一阶马尔克夫信源的熵H2。
（3）分别求上述两种信源的冗余度，并比较H（X）和H2的大小，并说明其物理意义。

证明离散信源有，并说明等式成立的条件。

证明离散平稳信源有，试说明等式成立的条件。

（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。

试证明：若则

并说明等式的物理意义。

设离散无记忆信源S其符号集A={a1，a2，...，aq}，知其相应的概率分别为（P1，P2，...，Pq）。设另一离散无记忆信源S′，其符号集为S信源符号集的两倍，A′={ai，i=1，2，...，2q}，并且各符号的概率分布满足：

试写出信源S′的信息熵与信源S的信息熵的关系。

设信源求此信源的熵，并解释为什么H（X）>log6，不满足信源熵的极值性。

其发出的消息为（202120130213001203210110321010021032011223210），求
（1）此消息的自信息是多少？
（2）在此消息中平均每个符号携带的信息量是多少？