哈工大2021秋机器学习期末试题

刚刚经历了机器学习复习和考试，这过程简直是太折磨了。

这门课的期末考试往年题还是很有参考价值的。所以我在考试的时候抽了点时间把期末题记了一下，希望能对学弟、学妹（如果有的话）考前复习有所帮助。跟前几年的题一样，没标准答案，如果有大佬愿意把自己做的标答贡献出来再更新吧。

正文开始
一、参数正则化和参数先验间有什么关系？在机器学习模型参数估计的过程中，正则化的目的是什么？

二、请写出条件熵的定义，举一个本课程应用该方法的例子，说明这样做的好处，并给出直观的解释、

三、朴素贝叶斯模型的基本假设是什么？这样假设有什么好处？如果在实际中满足该假设，那么该分类器是否是最优分类器？说明为什么。

四、K-means算法与GMM算法中EM的相同与不同？两个算法分别有什么优势和劣势？GMM算法中，E步的更新公式？M步最大化期望的公式？

五、线性可分下SVM的目标函数和约束条件分别是什么？解的形式？本可以对原目标函数和约束条件进行优化，为什么要求对偶问题进行优化？这样做有什么好处？

六、用EM算法优化GMM模型时，有时会出现协方差矩阵不可逆的情况，造成这种情况的原因是什么？如果你遇到这种情况，你通常会用什么方法来解决？

七、逻辑回归分类器是线性分类器吗？如果是，请证明；若不是，也请说明为什么。

八、向量（函数）内积在机器学习这门课中经常出现。请举三个例子，叙述其出现的场景并说说你的理解。