SDU机器学习试题回忆

1 线性回归和正则化 (15’)

求线性回归的Hessian矩阵

证明对于线性回归，使用牛顿法，迭代⼀次即得最优解$\theta^*=(X^TX)^{-1}X^T\vec{y}$

证明对于正则化的线性回归，使用牛顿法，迭代⼀次即得最优解$\theta^*=(X^TX+\lambda L)^{-1}X^T\vec{y}$

2 朴素贝叶斯的计算 (20’)

计算所有$p(Y),p(x_i|Y)$

结果为$arg \max_y P(y)\prod P(x_i|y)$

3 Soft-Margin SVM的变体 (30’)

证明约束条件$\xi_i \ge 0$不用显式给出

写出原问题的KKT条件

写出原问题的对偶问题

4 EM的变体 将原始M-step改用梯度上升法 (20’)

证明收敛性

证明正确性即两式求导结果相等

5 论述 (15’)

K-means步骤

PCA步骤

Bias, Variance, Complexity关系