信息
信息泛指人类社会传播的一切内容：指音讯、消息、通讯系统传输和处理的对象， 在一切通讯和控制系统中，信息是一种普遍联系的形式 数学家香农指出「信息是用来消除随机不定性的东西」 同义词 中国大陆：信息 英文、法文、德文、西班牙文：information 日文：情报 中国台湾：咨询 中国古代：消息 香农定义 信息量计算公式： $$ H=-\sum_{k=1}^{n}p_klog_2p_k $$ 符号意义 $H$ 表示信息熵，是信息论中用来量化信息含量的度量单位，通常以比特（bit）来表示。 $p_k$ 表示随机变量中第 $k$ 个事件发生的概率。 $n$ 是所有可能事件的总数。 $\log_2$ 是以2为底的对数，用于将概率转换为比特数。 公式意义 和热力学的熵公式一样，又称「信息熵」 信息熵可以视为「不确定性」或「选择的自由度」的度量 「不确定性」最高时，信息熵最大 互信息 wikipedia🔗: https://zh.wikipedia.org/zh-cn/%E4%BA%92%E4%BF%A1%E6%81%AF mutual Information，MI 在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度 MI是一个随机变量由于已知另一个随机变量而减少的“信息量”（单位通常为比特） KL 散度 交叉熵 随机变量 $(X,Y)$ 是一对随机变量，KL 散度定义的互信息： $I(X;Y)=D_{KL}(p(x,y)||p(x)\otimes p(y))$ $p(x,y)$ 联合分布，$p(x)$ 和 $p(y)$ 边缘分布 当 X 和 Y 相互独立时，观测到 Y 对于「预测 X」没有任何帮助，互信息为 0