# 学前小测2-5

**内容：** 自编码器与稀疏AE

**页面标题：** KP2-5 自编码器与稀疏AE-学前小测

**题数：** 6

## 第1题（判断题）

重构损失函数仅能使用均方误差（MSE），不能使用其他形式的损失。

- A. 对

- B. 错

**正确答案：** 错

**答案解析：**

重构损失的选择取决于数据分布假设。除MSE外，二值或[0,1]区间数据常用二元交叉熵（Binary Cross-Entropy）；计数数据可用泊松损失；甚至可结合感知损失（Perceptual Loss）等。MSE只是最常见的一种，并非唯一选择。

**知识点：** 重构损失(reconstruction loss)

## 第2题（判断题）

在自编码器中，只要将瓶颈层（bottleneck）的维度设置得足够小，模型就一定能学到具有良好泛化能力的高质量数据表征。

- A. 对

- B. 错

**正确答案：** 错

**答案解析：**

虽然较小的瓶颈层能强制模型进行压缩，但如果维度设置得过小，超出了数据内在维度的下限，模型将丢失过多必要信息，导致严重的欠拟合，重构出的数据模糊不清，学到的表征也无法反映数据的真实结构。此外，表征质量还受网络深度、激活函数和优化算法等因素影响，并非仅由瓶颈层维度单一决定。

**知识点：** 瓶颈层(bottleneck)

## 第3题（单选题）

在稀疏自编码器的训练中，若设定目标稀疏度 $\rho = 0.05$，但实际平均激活度 $\hat{\rho}$ 持续远高于目标值，以下哪种调整方式最直接有效？

- A. 减小稀疏惩罚系数 $\beta$

- B. 增大目标稀疏度 $\rho$ 以匹配当前状态

- C. 增大稀疏惩罚系数 $\beta$ 或改用更陡峭的惩罚函数

- D. 增加隐藏层神经元数量以分散激活压力

**正确答案：** C

**答案解析：**

稀疏惩罚项（如 $\beta \sum KL(\rho || \hat{\rho})$）的作用是拉低实际激活度 $\hat{\rho}$ 使其逼近 $\rho$。当 $\hat{\rho} \gg \rho$ 时，说明惩罚力度不足，应增大 $\beta$ 或采用对偏差更敏感的惩罚形式。A会进一步削弱约束；B是妥协而非解决问题，失去了稀疏设计的初衷；D增加神经元反而可能加剧冗余激活，使稀疏控制更难。此题考查对稀疏惩罚动态调节机制的理解。

**知识点：** 稀疏AE:稀疏惩罚

## 第4题（单选题）

对于连续型实数输入数据，自编码器最常用的重构损失函数是？

- A. 交叉熵损失（Cross-Entropy Loss）

- B. Hinge损失

- C. 均方误差（Mean Squared Error, MSE）

- D. 0-1损失

**正确答案：** C

**答案解析：**

均方误差（MSE）假设数据噪声服从高斯分布，适用于连续实数值数据的重构任务。交叉熵通常用于二值或概率型数据（如归一化后的像素值）。Hinge损失用于SVM分类，0-1损失不可导且不用于AE训练。

**知识点：** 重构损失(reconstruction loss)

## 第5题（多选题）

针对自编码器重构损失的分析，下列情境与损失行为的匹配正确的有：

- A. 输入含高斯噪声，使用MSE损失，模型倾向于输出局部平均，导致图像模糊

- B. 输入为二值化图像，使用BCE损失，模型输出可解释为像素存在概率，适合生成任务采样

- C. 输入含脉冲噪声（椒盐噪声），使用MSE损失比L1损失更能保留边缘细节

- D. 在稀疏AE中，总损失=重构损失+稀疏惩罚，二者量纲需匹配，否则需缩放因子$\beta$平衡

**正确答案：** ABD

**答案解析：**

A正确，MSE对异常值敏感，优化方向是均值，致模糊。B正确，BCE建模概率，输出在(0,1)，适合采样。D正确，多目标优化需平衡各项量级。C错误，L1对脉冲噪声更鲁棒，MSE会被大误差主导而平滑边缘，故L1优于MSE处理椒盐噪声。

**知识点：** 重构损失(reconstruction loss)

## 第6题（多选题）

以下关于瓶颈层在不同自编码器变体中作用的描述，正确的有：

- A. 在欠完备AE中，瓶颈层是实现信息压缩的唯一结构保障

- B. 在稀疏AE中，即使隐藏层维度大于输入层，瓶颈层的概念仍可理解为“有效激活维度”受限

- C. 瓶颈层维度越小，模型泛化能力一定越强

- D. 在堆叠自编码器中，每一层的输出都可视为下一层的瓶颈层输入，实现分层抽象

**正确答案：** ABD

**答案解析：**

欠完备AE依赖物理维度限制实现压缩（A正确）；稀疏AE虽物理维度大，但稀疏约束使“活跃维度”受限，形成虚拟瓶颈（B正确）；堆叠AE逐层压缩，每层都是局部的信息瓶颈（D正确）。C错误，瓶颈过小会导致信息丢失过多，重构失败，泛化能力下降；需权衡压缩率与信息保留。

**知识点：** 瓶颈层(bottleneck)