1.1 二分类交叉熵#

对于二分类任务，模型输出一个概率值 $\hat{y}$（属于类别 1 的概率），真实标签 $y \in \{0, 1\}$。

单个样本的损失公式： $L = -[y \log(\hat{y}) + (1 - y) \log(1 - \hat{y})]$

直观理解：

• 当 $y=1$ 时，$L = -\log(\hat{y})$：$\hat{y}$ 越接近 1，损失越小。
• 当 $y=0$ 时，$L = -\log(1 - \hat{y})$：$\hat{y}$ 越接近 0，损失越小。

$N$ 个样本的平均损失： $L = -\frac{1}{N} \sum_{i=1}^{N} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)]$

1.2 多分类交叉熵#

用于类别数 $M > 2$ 的情况，通常配合 Softmax 激活函数使用。

公式： $L = -\sum_{c=1}^{M} y_c \log(\hat{y}_c)$

其中：

• $M$：类别总数
• $y_c$：One-hot 编码的真实标签向量
• $\hat{y}_c$：模型预测样本属于第 $c$ 类的概率

简化： 由于 $y_c$ 中只有一个 1，其余为 0，公式简化为： $L = -\log(\hat{y}_{\text{target}})$

只关心正确类别对应的预测概率。预测越准，损失越小。

2.1 信息量（自信息/惊奇度）#

定义： 量化单个事件发生时带来的信息量。 $I(x_i) = -\log_2 p_i$

直观理解：

• 大概率事件（$p \approx 1$）：信息量 $I \approx 0$，不令人惊奇
• 小概率事件（$p \approx 0$）：信息量 $I$ 很大，令人惊奇

结论：事件概率越小，发生后的”惊喜”越大，包含的信息量就越大。

2.2 香农熵（信息熵）#

定义： 衡量一个随机变量的平均不确定性，是所有可能事件信息量的期望值。 $H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i = E[I(X)]$

期望形式： $H(X) = \sum p_i \cdot I(x_i)$

性质：

• 当分布完全确定时（如 one-hot），熵为 0
• 当分布完全均匀时，熵取最大值 $\log_2 n$
• 分布越均匀，不确定性越高，熵值越大
• 分布越集中，不确定性越低，熵值越小

2.3 交叉熵#

定义： 使用预测分布 $Q$ 来描述真实分布 $P$ 所需的平均信息量。 $H(P, Q) = -\sum_{i} P(i) \log Q(i)$

与香农熵的关系：

• 当 $Q = P$ 时，交叉熵等于香农熵 $H(P)$（理想情况）
• 当 $Q \neq P$ 时，$H(P, Q) > H(P)$

直观解释：

• 站在真实分布 $P$ 的角度（用 $P$ 加权），衡量预测分布 $Q$ 的”惊奇程度”
• $P$ 为 1 的事件，如果 $Q$ 预测概率低，则 $-\log Q$ 很大，损失爆炸
• 这是模型的惩罚机制：对真相预测不准，就给予重罚

2.4 KL散度（相对熵）#

定义： 衡量两个概率分布之间的差异。 $D_{KL}(P || Q) = \sum P(x) \log \frac{P(x)}{Q(x)}$

与交叉熵的关系（黄金恒等式）： $D_{KL}(P || Q) = H(P, Q) - H(P)$

物理意义：

• $H(P)$：理论最小编码长度（数据的本质难度）
• $H(P, Q)$：使用 $Q$ 编码时的实际长度
• $D_{KL}(P || Q)$：因使用错误分布 $Q$ 而额外浪费的编码长度

机器学习意义： 真实数据的熵 $H(P)$ 是常数，因此最小化交叉熵等价于最小化 KL 散度。

2.5 KL散度的非对称性#

KL散度不是真正的距离度量，因为 $D_{KL}(P || Q) \neq D_{KL}(Q || P)$。

3.1 核心结论#

在机器学习分类问题中： 最小化交叉熵损失 $\Leftrightarrow$ 最大化对数似然估计

最大似然的核心思想：寻找一组模型参数 $\theta$，使得在这组参数下，观察到当前训练数据的概率最大。

3.2 数学推导#

3.3 两种视角的统一#

关键洞见：

1. 在分类任务中，真实分布 $P$ 是 One-Hot 分布，熵 $H(P)=0$
2. 因此，最小化交叉熵 $H(P, Q)$ 等价于最小化 KL 散度 $D_{KL}(P \parallel Q)$
3. 交叉熵损失易于计算和求导，为梯度优化提供便利