# 学前小测2-6

**内容：** 变分自编码器VAE

**页面标题：** KP2-6 变分自编码器VAE-学前小测

**题数：** 6

## 第1题（多选题）

在 VAE 的训练中，KL 散度正则项与重构项之间存在权衡关系，下列描述正确的有：

- A. 若 KL 项权重过大，模型倾向于让 $q(z|x)$ 贴近 $p(z)$，可能导致隐变量丢失输入信息

- B. 若重构项主导优化，隐空间可能变得不规则，采样生成的样本质量下降

- C. 理想状态下，两项应协同工作：KL 项规整隐空间，重构项注入数据信息

- D. KL 项仅在训练初期起作用，后期应完全移除以保证重构精度

**正确答案：** ABC

**答案解析：**

KL 过强导致后验坍塌，隐变量无用（A 对）。重构过强导致隐空间过拟合、不连续，生成失败（B 对）。两者平衡是 VAE 成功的关键（C 对）。KL 项在整个训练中持续起正则化作用，移除会导致生成能力丧失（D 错）。

**知识点：** KL散度正则项

## 第2题（单选题）

在变分自编码器（VAE）的生成视角下，关于隐变量 $z$ 的概率建模意义，下列描述最准确的是：

- A. 隐变量 $z$ 是输入数据 $x$经过确定性神经网络映射得到的固定特征向量，用于压缩数据信息。

- B. 隐变量 $z$ 服从先验分布 $p(z)$，生成过程是从 $p(z)$ 采样后通过解码器 $p_\theta(x|z)$ 映射到数据空间，从而定义数据的边缘似然。

- C. 隐变量 $z$ 仅在训练阶段作为正则化项存在，在生成新样本时可以直接忽略，仅依赖解码器的偏置项输出。

- D. 隐变量 $z$ 的后验分布 $q_\phi(z|x)$ 必须与真实后验 $p(z|x)$ 完全一致，否则模型无法进行任何形式的生成。

**正确答案：** B

**答案解析：**

A项描述的是传统自编码器（AE）的确定性编码，而非VAE的概率生成视角；C项错误，生成新样本时必须从先验 $p(z)$ 采样 $z$ 再输入解码器；D项过于绝对，VAE正是通过优化ELBO来近似真实后验，而非要求完全一致才能生成。B项正确阐述了VAE作为生成模型的核心机制：通过先验分布和条件似然定义数据的生成过程。

**知识点：** 隐变量(latent variable).

## 第3题（多选题）

VAE编码器将输入映射为分布参数（均值与方差），相较于输出单一向量的传统自编码器，这种设计带来的优势包括：

- A. 使隐空间具有概率语义，支持采样生成

- B. 通过方差参数控制隐变量的不确定性

- C. 彻底消除了重构误差

- D. 为KL散度正则项的计算提供了必要的分布形式

**正确答案：** ABD

**答案解析：**

编码为分布赋予了隐空间概率结构（A），方差量化了编码的不确定性（B），且高斯参数使得KL散度有解析解（D）。但这并不能消除重构误差，重构误差仍受模型容量和数据复杂度限制（C错误）。

**知识点：** 编码为分布(均值/方差)

## 第4题（判断题）

重参数化技巧不仅适用于高斯分布，也可以直接应用于任意离散分布的采样以实现梯度反向传播。

- A. 对

- B. 错

**正确答案：** 错

**答案解析：**

标准的重参数化技巧依赖于分布的可微变换性质，主要适用于连续分布（如高斯）。对于离散分布，由于采样操作本质不可微，不能直接应用该技巧，需借助Gumbel-Softmax等专门的松弛方法。【知识点】重参数化技巧(reparameterization trick)

**知识点：** 重参数化技巧(reparameterization trick)

## 第5题（单选题）

考虑重参数化技巧在高维隐空间中的行为。设 $z \in \mathbb{R}^d$，$d$ 很大。下列关于 $\epsilon \sim \mathcal{N}(0, I_d)$ 采样对梯度估计影响的分析，正确的是：

- A. 随着 $d$ 增大，$\|\epsilon\|^2$ 集中在 $d$ 附近，导致 $z$ 的模长波动剧烈，使得梯度估计的方差随 $d$ 线性增长，这是 VAE 难以扩展到高维的主要原因。

- B. 重参数化梯度 $\nabla_\phi \mathcal{L}$ 的方差与维度 $d$ 无关，因为每个维度的采样是独立的，方差可加性被归一化抵消。

- C. 尽管 $\epsilon$ 的各分量独立，但目标函数 $\log p(x|z)$ 通常是 $z$ 各分量的非线性耦合函数，导致高维下梯度估计的信噪比下降，需采用控制变量或分层采样等方差缩减技术。

- D. 高维下应采用球面坐标重参数化，因为笛卡尔坐标下的 $\epsilon$ 采样在高维空间中几乎全部落在超球壳上，导致径向梯度信息丢失。

**正确答案：** C

**答案解析：**

A 错误，虽然 $\|\epsilon\|^2 \approx d$，但重参数化梯度的方差并不简单随 $d$ 线性增长，且 VAE 已成功应用于较高维场景。B 错误，方差与 $d$ 相关，尤其当 $f(z)$ 耦合时。D 错误，球面坐标并非标准做法，且径向信息并未丢失，只是集中。C 正确，指出了高维重参数化的真实挑战：尽管采样独立，但函数耦合导致梯度方差受维度影响，实践中确需方差缩减技术。这体现了对重参数化技巧局限性的深度理解。

**知识点：** 重参数化技巧(reparameterization trick)

## 第6题（判断题）

在 VAE 的理论框架下，近似后验 $q_\phi(z|x)$ 必须选择与先验 $p(z)$ 相同的分布族（例如都为高斯分布），否则 KL 散度项将无法计算，ELBO 也就无法作为优化目标。

- A. 对

- B. 错

**正确答案：** 错

**答案解析：**

$q_\phi$ 与 $p$ **不必**属于同一分布族。虽然同族常有闭式解便于计算，但若不同族，仍可通过蒙特卡洛采样近似 KL 项及其梯度（只要 $q$ 支持重参数化或可用其他梯度估计方法）。ELBO 的定义本身不依赖于分布族的匹配，只依赖于概率密度的可计算性或可估计性。

**知识点：** KL散度正则项