• 信息泛指人类社会传播的一切内容：指音讯、消息、通讯系统传输和处理的对象，
• 在一切通讯和控制系统中，信息是一种普遍联系的形式
• 数学家香农指出「信息是用来消除随机不定性的东西」

同义词

• 中国大陆：信息
• 英文、法文、德文、西班牙文：information
• 日文：情报
• 中国台湾：咨询
• 中国古代：消息

香农定义

信息量计算公式：

符号意义

• $H$ 表示信息熵，是信息论中用来量化信息含量的度量单位，通常以比特（bit）来表示。
• $p_k$ 表示随机变量中第 $k$ 个事件发生的概率。
• $n$ 是所有可能事件的总数。
• $\log_2$ 是以2为底的对数，用于将概率转换为比特数。

公式意义

• 和热力学的熵公式一样，又称「信息熵」
• 信息熵可以视为「不确定性」或「选择的自由度」的度量
• 「不确定性」最高时，信息熵最大

互信息

wikipedia🔗: https://zh.wikipedia.org/zh-cn/%E4%BA%92%E4%BF%A1%E6%81%AF

• mutual Information，MI
• 在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度
• MI是一个随机变量由于已知另一个随机变量而减少的“信息量”（单位通常为比特）

KL 散度

交叉熵

随机变量 $(X,Y)$ 是一对随机变量，KL 散度定义的互信息：

$I(X;Y)=D_{KL}(p(x,y)||p(x)\otimes p(y))$

• $p(x,y)$ 联合分布，$p(x)$ 和 $p(y)$ 边缘分布
• 当 X 和 Y 相互独立时，观测到 Y 对于「预测 X」没有任何帮助，互信息为 0