热力学中的热熵是表示分子状态混乱程度的物理量。信息熵概念的提出受到了热力学中的热熵的概念的启发
信息熵由Shannon提出,信息熵的概念可以用来描述信源的不确定度
信息熵是通信领域的概念,和机器学习以及深度学习无关
在深度学习中,经常使用交叉熵来表征两个变量概率分布P, Q(假设P表示真实分布, Q为模型预测的分布)的差异性。