信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为（）；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用熵对信源的（）的度量，同时也是衡量（）大小的一个尺度；表现在通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，把这两个不确定量差值用（）来表示，它表现了通信信道流通的（），若把它取最大值，就是通信线路的（），若把它取最小值，就是（）。

无失真信源编码的中心任务是编码后的信息率压缩接近到（）限失真压缩中心任务是在给定的失真度条件下，信息率压缩接近到（）。

在已知收码R的条件下找出可能性最大的发码作为译码估计值，这种译码方法叫做最佳译码。

香农信源编码方法在进行编码时不需要预先计算每个码字的长度。

信道容量是信道中能够传输的最小信息量。

循环码的码集中的任何一个码字的循环移位仍是码字。

限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。

离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。

某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。

算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。