3.10

支持向量机！

在支持向量机（SVM）这个部分，CS229 引入了核方法，数学上需要泛函分析的表示定理和 mercer 定理支持。

SVM 模型不难懂，但具体的优化算法并不容易，涉及最优化理论中的拉格朗日对偶问题，转化为对偶问题后，使用 SMO 算法求解。

最后，引入了正则化的概念。我们发现正则化常常有漂亮的一面和丑陋的一面。在回归模型中，$L_2$ 正则化可以由漂亮的贝叶斯估计中推导出来，只需要假设参数服从均值为 $0$，协方差矩阵为 ${\tau }^{2}I$ 的多元正态分布即可。然而，结果上看是加上了 $\lambda \Vert \theta {\Vert }^2$ 一项，非常丑陋。

同样，对于 SVM ，正则化在对偶问题中体现为限定了拉格朗日乘数 ${\alpha }_i$ 的上限，很漂亮。但原问题中体现为 ${\xi }_i$ ，形式很丑陋。

意外发现

发现 SJTU CS1961 ”计算机中的组合数学“，参考书单里有《具体数学》。可惜从 notes 上看，这门课要求图论基础，暂时没机会过一遍了。