黑白气象传真图的消息只有黑色和白色两种,即信源X={黑,白}。设黑色出现的概率为p(黑)=0.3,白色的出现概率p(白)=0.7。
(1)假设图上黑白消息出现前后没有关联,求熵H(X);
(2)假设消息前后有关联,其依赖关系为p(白/白)=0.9,p(黑/白)=0.1,p(白/黑)=0.2,p(黑/黑)=0.8,求此一阶马尔可夫信源的熵H2(X);
(3)分别求上述两种信源的剩余度,比较H(X)和H2(X)的大小,并说明其物理意义。
一阶马尔可夫信源的状态图如图所示。信源X的符号集为{0,1,2}。
(1)求平稳后信源的概率分布;
(2)求信源的熵H∞。
(1)由图得一阶马尔可夫信源的状态为s1=0,s2=1,s3=2。
对应的一步转移概率矩阵为