人工智能、机器学习面试题总结，侧重于理解，回答供参考，欢迎讨论。

General

深度学习（Deep Learning, DL）和机器学习（Machine Learning, ML）的关系是什么？

深度学习是机器学习的子类，是利用深度神经网络提取特征进行学习。机器学习还有其他非深度学习的技术，例如SVM、Decision Tree、Naive Bayes等。

深度学习流行的框架有哪些？各有什么特点？

TensorFlow：最主流，生态支持完备，硬件友好，同时有Google Brain研究支撑。

PyTorch：后起之秀，融合了Torch和Caffe2，和python混合编程体验好，学术界宠儿。

以及国内的PaddlePaddle，MindSpore等。

精确率（Precision）和召回率（Recall）以及F1值/分数（F1 value/score）是什么？查准率和查全率呢？

先解释缩写：

TP: True Positive，预测为真，结果也为真的数量；

FP: False Positive，预测为真，结果为假的数量；

FN: False Negative，预测为假，结果为真的数量。

精确率：P = TP/(TP+FP)，西瓜书里也叫查准率；

召回率：R = TP/(TP+FN)，西瓜书里也叫查全率。

F1值：F1 = 2*(P*R)/(P+R)，精确率和召回率的调和均值。

可以看出，精确率和召回率的区别在于分母，精确率关心的是预测为真的数量中有多少真正对的（而不是其他类错误预测为这一类），而召回率关注的是这一类有多少判断正确了（而不是判断为其他类了）。直观理解：召回的意思是，如果这一类错误预测为其他类了，要找回来，即为召回。

AUC指标与precesion/recall/F1评估模型的手段有何区别，什么情况下应该用哪一种？

AUC是Area under Curve，曲线下面积。这个曲线横纵坐标分别为TPR和FPR.

TPR: True Positive Rate, 即recall; TPR = TP/(TP+FN), 表示正确分类的正样本所占所有正样本的比例；

FPR: False Positive Rate, FPR = FP/(FP+TN)，表示错误分类的负样本占所有负样本的比例。

对于同一个模型，TPR和FPR是一对跷跷板，可以通过修改阈值的方式来调节，例如调低分类为正样本的门槛，则更多的样本被分类为正样本，TP会增加，导致FPR增加；但此时，FP也会增加，导致FPR增加。

F1 score相当于是综合了precision和recall，使用默认阈值；AUC是一个模型更为全面的指标，考虑了不同的阈值。但由于AUC比较复杂，一般情况下使用F1 score就可以了。

SGD 中 S代表什么，如何理解？

S即为stochastic，随机梯度是指用来计算梯度的输入数据是随机选取的一部分（batch），而不是所有的数据。使用所有数据一方面计算量巨大，不太现实，另一方面容易陷入局部极小值难以跳出，随机batch的梯度反而增加了跳出局部极限值的可能性，从而获得更好的结果。

激活函数（Activation Function）有什么用处，有哪几种？

提供了非线性单元，使得整个网络变为非线性，从而能够解决各种非线性问题。

有ReLU / PReLU / Relu6 / Sigmond / Tanh / SELU / SWISH等，目前最常用的还是ReLU, 复杂度低，效果还可以。

监督学习和无监督学习的区别？请分别举例。

监督学习必须要标注，使用标记数据牵引训练，例如LR、SVM；

无监督机器学习不需要标注，模型通过自己发现数据的内部关系，例如Kmeans。

机器学习/深度学习项目中所需的步骤？

采集数据、预处理与特征选择、选择模型、训练模型、评估模型、诊断模型、调整参数，最后是预测、上线运行。

神经网络参数初始化方法有哪些，适用范围是什么？

weight最常用的是由Kaiming He提出的MSRA，在Xavier的基础上改进。Xavier假设激活函数关于原点中心对称，而常用的ReLU并不满足该条件。MSRA初始化是一个均值为0，方差为sqrt(2/Fin)的高斯分布。Xavier初始化是一个均匀分布U[-sqrt(6/(Fin+Fout))]，Fin、Fout代表扇入、扇出，即为输入和输出的维度。

bias一般初始化为0，另外提醒一下如果conv后面接bn，可以省略bias，是等价的，有兴趣的可以自己推导一下。

因此，如果激活函数使用ReLU，则推荐使用MSRA；如果激活函数使用tanh等中心对称的函数，则使用Xavier初始化。