课程笔记

1 图形学

图形学的几门课程:

• 2024 年秋《可视计算与交互概论》(陈宝权, 楚梦渝; 课程网站)
• 2025 年春《几何计算前沿》(王鹏帅)
• 2025 年春《图形学中的物理仿真》(楚梦渝)

见计算机图形学笔记.

2 信息论

2025 年春《信息论》(王立威)

参考教材: Elements of Information Theory (Thomas M. Cover, Joy A. Thomas).

王老师讲课有自己的一套思路, 比较注重概念 / 证明的 motivation 和 idea, 笔记中也体现了这一点. 许多证明的细节和例子是课后我自己补充的. 讲课的节奏比较慢, 课程的内容不算多, 涉及了教材中约一半的章节, 可以大致分为 “通信理论” “参数估计” 和 “复杂度理论” 三个部分.

• 信源编码: 最短编码长度, Huffman 编码; 熵与微分熵; 熵率; 最大熵估计.
• 信道编码: 纠错码, 线性码与 Hamming 码.
• 信道容量: 信道容量, Shannon 定理, 典型序列.
• 参数估计: Fisher 信息与 Cramér–Rao 不等式.
• 复杂度理论: Kolmogorov 复杂度与通信复杂度.
• 期末考试.

3 生成式模型基础

2025 年秋《生成式模型基础》(贺迪)

这个系列介绍的生成模型大致分为几类:

• 第一类是变分自编码器 (Note 1), 是最早出现的生成模型, 现在基本不独立出现, 而是作为其他更先进模型的一部分.
• 第二类是自回归模型 (Note 3), 是在自然语言处理领域最成功的模型, 其神经网络架构通常为 Transformers (Note 2).
• 第三类是生成对抗网络 (Note 4), 风靡一时但目前不再主流.
• 第四类是一大族基于归一化流的模型, 包括基于经典 MLE 算法的模型 (Note 5) 以及基于得分匹配 (Notes 6-7) 和流匹配 (Note 8) 的模型. 后两者包括了如今图像、视频等领域最先进的扩散模型和流模型. Note 8 的最后给出了看待归一化流的一种有趣视角.

Notes:

1. 自编码器: 自编码器 (AE), 变分自编码器 (VAE), 去噪自编码器 (DAE), 向量量化变分自编码器 (VQVAE).
2. Transformers: Transformer 各模块拆解.
3. 自回归模型: 自回归模型 (N-gram, NLM, RNN & Transformer), 自回归语言模型的训练与推理.
4. 生成对抗网络: 从 GAN 到 WGAN.
5. 归一化流: 归一化流 (NF) 与连续归一化流 (CNF).
6. 基于能量的模型: 基于能量的模型 (EBM) 及其训练方法 (MLE 和得分匹配).
7. 基于得分的模型: 基于得分的模型, 正向与逆向过程, 概率流 ODE 以及几种扩散模型.
8. 流模型: 流匹配 (FM) 以及一种从几何角度看待 CNF (包括扩散和流模型) 的理论.

4 自然语言处理基础

2025 年春《自然语言处理基础 (FNLP)》(冯岩松)

• 词义消歧: Bayes 方法和基于特征的分类器方法.
• 语言模型: N-gram 语言模型与神经网络语言模型.
• 序列任务: 序列标注任务与 Sequence to Sequence 的神经网络.
• 语法分析: CFG 解析与依存关系解析.
• 语义分析: 分布式语义学与组合语义学.
• 大语言模型.
• 信息获取: 信息获取与提示语工程.