机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。
例如，让机器人整齐有序的打扫房子，怎样去实现？我们要做的是让机器人观察我们完成任务的过程，从而从中学习。
- 人工智能、机器学习、深度学习、神经网络之间的关系：
人工智能(Artificial Intelligence)是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科。
机器学习(Machine Learning)是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
深度学习(Deep Learning)是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近最初的目标——人工智能。
神经网络(Neural Network)是一种模拟人脑的神经网络以期望能够实现类人的人工智能机器学习技术，它是深度学习的基础。
- 机器学习定义:
Arthur Samuel(1959): Field of study that gives computers the ability to learn without being explicitly programmed. 在没有明确设置的情况下，使计算机具有学习能力的研究领域。
Tom Mitchell(1998): Well-posed Learning Problem:A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E. 计算机程序从经验E中学习解决某一任务T，进行某一性能度量P，通过P测定在T上的表现因经验E而提高。例如，在人机玩跳棋游戏中，经验E是程序与自己下几万次跳棋；任务T是玩跳棋；性能度量P是与新对手玩跳棋时赢的概率。
- 机器学习分类：
监督学习(Supervised Learning): 教计算机如何去完成任务。它的训练数据是有标签的，训练目标是能够给新数据（测试数据）以正确的标签。
无监督学习(Unsupervised Learning)：让计算机自己进行学习。它的训练数据是无标签的，训练目标是能对观察值进行分类或者区分等。
强化学习(Reinforcement Learning)：智能体以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。
- 机器学习算法：
监督学习算法：线性回归、Logistic回归、神经网络、支持向量机等。
无监督学习算法：聚类、降维、异常检测算法等。
特殊算法：推荐算法等。
