CMU 23Fall Checkpoint

2023年12月20日 · 1794 字 · 4 分钟 · CMU US

在 CMU 的第一个学期（1/3 的 Master 生涯）过去了，感觉这个学期还是学了很多东西的——可以很自信地说，现在的我要比半年前强（虽然还是很弱）。本学期三门课都拿了 A+，但是由于 ECE 学院不区分 A+/A/A-，所以统一成了 A（感觉以后可以少花一些时间在课程上了）。下学期的课 enroll 了 Lei Li 的 LLM Sys 和大名鼎鼎的 CSAPP，希望可以对 system 有更系统全面的了解，已经开始期待能学到多少东西了。下面稍微讲一下这学期的几门课。

11-785 Introduction to DL

Bhiksha 的课，之前在 fall break 的 blog 中我已经夸过它了，所以这里来说几点其他的。这门课想要拿高分确实不难，因为没有考试，作业给的时间也比较充足，所以大家分数基本都很高。由于 Bhiksha 是在 LTI 学院做 Speech 的，所以这门课好像除了第二个 Homework 是 Face Classification & Verification，其他 Homework 都是关于 Speech Recognition 的（相比之下，ECE 学院的 Intro to DL 大部分的 Homework 和 Project 都是关于 Computer Vision 的）。正好下学期我要当 ECE Intro2DL 的 TA，可以看看具体有什么差别。

关于workload，这门课我感觉主要是前面花的时间稍微多一些，最后一个月我几乎没有花什么时间在上面。看起来 write-up 很吓人，但是其实做起来真的还好。每个 Homework 的 Part1 都可以一天内完成（不过我记得 Bonus 中第一个 Autograd 我 Debug 花的时间有点长）。虽然 Part2 每个都给了快一个月的训练时间，但是我感觉只要模型结构设计得还行，适当加点 regularization 和其他的 trick 基本都可以达到 high cutoff 拿满分。反而我是觉得每周的 Quiz 还挺折磨的，每周都得花点时间去做一下。不过需要注意一下计算资源的使用情况，如果天天跑的话，400 刀的 GCP 和 150 刀的 AWS credits 远远不够。

我不是很喜欢这门课的 Project，给的时间不够充足，也不提供额外的计算资源，而且还是小组作业（这可能是罪魁祸首）。让我感觉有点在浪费时间生产所谓的科研垃圾，还不如 enroll 11-685 版本去做 HW5——implement a LLM from scratch。也听说之前有人靠着 Project 发了顶会，不过实际体验下来我感觉这部分的 support 做得还不够好。

从我自身的感受出发，我觉得这门课最大的价值是把很多东西讲清楚的同时，用比较好的 Homework 来巩固 coding 能力，每周的 Quiz 来巩固理论知识。说实话，在上这门课之前，我做 DL 的一些 Project 很多时候都是直接依葫芦画瓢，并不清楚这一行代码背后真正在运行什么（只知道这行代码是用来干什么的），也对深度学习框架只有一个比较模糊的认知（本课的 HW Part1 完美解决了这个问题），这门课绝对配得上是 CMU 的神课之一。正如 Bhiksha 在第一节课说的，如果这门课拿了 A，说明你已经初步具备了在 DL 工业界干活的能力了。

*下图是 11-785 的 fence

18-661 Introduction to ML

这门课是 Beidi 和 Yuejie 一起上的，课程质量还是可以的。和上面的 Intro2DL 相比，这门课更像一门数学课，有期中和期末，允许带 Cheating Sheet 。这门课从 MLE 一直讲到 RL，几乎把基础的 ML 都覆盖到了。我刷题的时候也顺便刷了 10-601 的期中期末，感觉确实讲的东西要比 10-601 的少一些，比如没有讲到 VC Dimension 什么的，不过总的来说算是一门合格的 Intro to ML 课了，弥补了我很多缺失的基础知识。

这门课拿 A 还是很容易的，因为有 6 分的 Bonus，算是 106 满分。期末要比期中简单很多，换算成 100 班级均分能有 76 分了。我感觉考试 few-shot 一下往年题就可以了，Cheating Sheet也可以用 LaTeX 打印，更加 compact 一些。Workload 的话，感觉不是很大，主要就是复习考试的时候要花点时间刷刷题，过一遍 slides 这样的。

18-797 ML for Signal Processing (MLSP)

相比前两门课，这门课我用的时间就不是那么多了。这门课也是 Bhiksha 讲，所以课程质量还是有保障的；但是可以明显感受到，这门课的 infra 没有 11-785 好。MLSP 的一个很大的问题就是，讲的东西有点快了，而且相对比较 theory，如果这学期没有上 18-661，可能这门课花的时间会更长。这门课和 661 可以起到一个相互补充的作用，比如 661 中的 EM 讲的不是很清楚，再听一下这门课的版本，说不定就清晰很多了。

MLSP 的 workload 也算还行，包括每周的 Quiz 和四次 HW，一个小组作业 Project 。和 11-785 一样，我觉得小组 Project 中并没有学到很多东西，同时 project timeline 的设置也不是很合理。HW 我感觉质量还行，有的还挺有趣的。总得来说，这门课我学到的东西不如前两门课多，当然这也和课程内容与 661 有 overlap 有一定关系；我看 FCEs 里面大家对这门课的评价还是非常高的，还算值得一上的。

*下图是 Halloween 的时候拍的合照