设二元对称信道的输入概率分布分别为

设二元对称信道的输入概率分布分别为

设二元对称信道的输入概率分布分别为

设随机变量

定义一个新的随机变量Z=X*Y（普通乘积）计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；计算条件熵 H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）；计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。

两个BSC信道的级联如图所示写出信道转移矩阵；求这个信道的信道容量。

若有一信源

每秒钟发出2.55个信源符号。将此信源的输出符号送入某一个二元信道中进行传输 （假设信道是无噪无损的，容量为1bit/二元符号）， 而信道每秒钟只传递2个二元符号。 试问信源不通过编码（即x₁→0，x₂→1在信道中传输）能否直接与信道连接？若通过适当编码能否在此信道中进行无失真传输？

一阶齐次马尔可夫信源消息集

已知（X，Y）的联合概率P（X，Y）为：求H（X），H（Y），H（X，Y），I（X，Y）