机器学习的应用–大数据

article/2025/10/14 18:25:43
说完机器学习的方法,下面要谈一谈机器学习的应用了。无疑,在2010年以前,机器学习的应用在某些特定领域发挥了巨大的作用,如车牌识别,网络攻击防范,手写字符识别等等。但是,从2010年以后,随着大数据概念的兴起,机器学习大量的应用都与大数据高度耦合,几乎可以认为大数据是机器学习应用的最佳场景。

譬如,但凡你能找到的介绍大数据魔力的文章,都会说大数据如何准确准确预测到了某些事。例如经典的Google利用大数据预测了H1N1在美国某小镇的爆发。


图13 Google成功预测H1N1
百度预测2014年世界杯,从淘汰赛到决赛全部预测正确。

图14 百度世界杯成功预测了所有比赛结果
这些实在太神奇了,那么究竟是什么原因导致大数据具有这些魔力的呢?简单来说,就是机器学习技术。正是基于机器学习技术的应用,数据才能发挥其魔力。
大数据的核心是利用数据的价值,机器学习是利用数据价值的关键技术,对于大数据而言,机器学习是不可或缺的。相反,对于机器学习而言,越多的数据会越 可能提升模型的精确性,同时,复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因此,机器学习的兴盛也离不开大数据的帮助。 大数据与机器学习两者是互相促进,相依相存的关系。
机器学习与大数据紧密联系。但是,必须清醒的认识到,大数据并不等同于机器学习,同理,机器学习也不等同于大数据。大数据中包含有分布式计算,内存数据库,多维分析等等多种技术。单从分析方法来看,大数据也包含以下四种分析方法:
1.大数据,小分析:即数据仓库领域的OLAP分析思路,也就是多维分析思想。
2.大数据,大分析:这个代表的就是数据挖掘与机器学习分析法。
3.流式分析:这个主要指的是事件驱动架构。
4.查询分析:经典代表是NoSQL数据库。
也就是说,机器学习仅仅是大数据分析中的一种而已。尽管机器学习的一些结果具有很大的魔力,在某种场合下是大数据价值最好的说明。但这并不代表机器学习是大数据下的唯一的分析方法。
机器学习与大数据的结合产生了巨大的价值。基于机器学习技术的发展,数据能够“预测”。对人类而言,积累的经验越丰富,阅历也广泛,对未来的判断越准确。例如常说的“经验丰富”的人比“初出茅庐”的小伙子更有工作上的优势,就在于经验丰富的人获得的规律比他人更准确。而在机器学习领域,根据著名的一个实验,有效的证实了机器学习界一个理论:即机器学习模型的数据越多,机器学习的预测的效率就越好。见下图:

图15 机器学习准确率与数据的关系
通过这张图可以看出,各种不同算法在输入的数据量达到一定级数后,都有相近的高准确度。于是诞生了机器学习界的名言:成功的机器学习应用不是拥有最好的算法,而是拥有最多的数据!
在大数据的时代,有好多优势促使机器学习能够应用更广泛。例如随着物联网和移动设备的发展,我们拥有的数据越来越多,种类也包括图片、文本、视频等非结构化数据,这使得机器学习模型可以获得越来越多的数据。同时大数据技术中的分布式计算Map-Reduce使得机器学习的速度越来越快,可以更方便的使用。种种优势使得在大数据时代,机器学习的优势可以得到最佳的发挥。


http://chatgpt.dhexx.cn/article/WAlm1Uve.shtml

相关文章

什么是机器学习?有哪些算法和分类?又有哪些应用?看完你就懂了

导读:本文从大数据的概念讲起,主要介绍机器学习的基础概念,以及机器学习的发展过程,用一个形象的例子讲解大数据生态中的机器学习,并按照传统机器学习(包括分类、聚类、回归、关联规则、协同过滤、数据降维…

1.2 机器学习的应用

机器学习无处不在。 问:为什么机器学习已经成为人工智能的一个子领域? 答:通过编程能够让机器做一些事情,比如:如何找到从A到B的最短距离,现实生活对应着GPS导航。但是,有时候编程也存在难点&…

什么是机器学习?应用场景以及未来趋势

机器学习 (ML) 被定义为人工智能 (AI) 的一门学科,它使机器能够自动从数据和过去的经验中学习,以识别模式并在最少的人工干预下做出预测。本文介绍了机器学习的基础知识、其类型以及最重要的五个应用程序。它还分享了 2022 年机器学习的十大趋势。 目录…

学机器学习有什么用?机器学习可以应用哪些领域?

机器学习的目前在各个领域都非常实用,可以带来很多好处,包括以下几点: 学机器学习有什么用? 自动化:机器学习可以帮助自动处理大量数据和任务,减少人工处理的工作量。 预测性能:机器学习模型可…

机器学习有哪些应用场景?机器学习有什么用?

机器学习是一种广泛应用于各个领域的技术,以下列举几个机器学习的应用场景: 机器学习有哪些应用场景?机器学习有什么用? 金融领域:机器学习可以应用于信用评估、风险管理、欺诈检测等方面,帮助银行和保险公…

机器学习实战 | Python机器学习算法应用实践

作者:韩信子ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/41 本文地址:https://www.showmeai.tech/article-detail/201 声明:版权所有,转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容 引言 …

机器学习的应用方面,主要有哪些?

1、图像处理\识别(人脸识别、图片分类) 2、自然语言处理 3、网络安全(垃圾邮件检测、恶意程序\流量检测) 4、自动驾驶 5、机器人 6、医疗拟合预测 7、神经网络 8、金融高频交易 9、互联网数据挖掘/关联推荐 人工智能、大…

机器学习在各个领域的实际应用

机器学习在各个领域的实际应用 经常会被问到,现在机器学习、人工智能这么火,那么它到底有什么实际应用呢,在本文中,分享了一个来自Github的项目,这个项目整理了包括机器学习等数据科学技术在工业界的开源项目&#xff…

机器学习的应用——关于正确应用机器学习

引言 前阵子看到一篇文章,学习了一段时间的机器学习算法后,再回头看机器学习问题,发现要想利用机器学习去很好的求解一个问题,其实并不是一件容易办到的事情,尤其是能够对整个模型的解释方面,要想能够对模型…

机器学习在生活中的九大有趣应用

No1:虚拟个人助理 Siri、小冰、度秘是现在虚拟个人助理的典型例子。顾名思义,当你通过语音询问时,他们便会找寻相应的信息,比如你问“我今天的日程安排是什么?”“从德国到伦敦的航班是什么?”等类似的问题…

机器学习可以应用在哪些场景?机器学习有什么用?

我们在说机器学习分类的时候,简单介绍了一下不同机器学习方法,主要是解决是什么问题,在本节中具体介绍一些常用的应用场景,主要说明这些应用到底怎么用,不对其中的算法以及原理做深入的介绍。 机器学习的应用 1. 分类…

安装Linux操作系统(Centos)

安装Linux操作系统(Centos) 文章目录 安装Linux操作系统(Centos)一、创建虚拟机1.1.新建虚拟机1.2.选择虚拟机硬件兼容性1.3.选择虚拟空白磁盘1.3.选择Linux对应的Centos版本1.4.虚拟机命名和存放位置1.5.设置处理器配置1.6.设置机器内存1.7.网络类型选择1.8.I/O控制器类型1.9.…

Linux操作系统CentOS7安装

最近在学习Linux,今天记录下如何安装CentOS7操作系统。 1. 下载虚拟机软件 虚拟机选择的是VMware Workstation软件,可以访问这个链接下载:https://coding.net/u/aminglinux/p/resource/git/blob/master/README.md 2. 安装虚拟机 按照提示&…

CentOS Linux操作系统

对于windows来说,每一个分区有一个盘符,每一个盘符实际上不是一个硬盘,而是一个分区partition; 对于Linux来说,使用统一的目录树结构 /, /home/cherry, /root, /bin, /mnt, /usr, /etc. 一、Linux命令行 cd/pwd/ls 当前目录操作…

Linux 安装Centos7操作系统

安装前准备(vmware配置) 1. 在自己的vmware中选择文件-新建虚拟机 或者 点击创建新的虚拟机 2. 新建虚拟机向导中选择典型 3.稍后创建操作系统 4. 更改操作系统和和版本 5. 更改虚拟机名称和位置 6.选择磁盘大小和将磁盘拆分多个文件(防止一…

Linux - CentOS操作系统学习

Linux介绍 Linux 内核最初只是由芬兰人林纳斯托瓦兹(Linus Torvalds)在赫尔辛基大学上学时出于个人爱好而编写的。 Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个多用户、多任务、支持多线程和多CPU的操作系统。伴随着互联网的发展,Linux得…

安装LINUX操作系统(CENT OS)

转载:https://blog.csdn.net/sunshine1_0/article/details/80839430 centos镜像下载地址:https://www.centos.org/download/ 选择DVD下载即可 1. 安装虚拟机 在VMWARE中创建新的虚拟机 选择自定义 默认值,下一步 稍后安装操作系统 选择正…

LINUX操作系统centos安装

安装Linux之前需准备一下软件: 1、虚拟机:VMware workstations 2、镜像:CentOS-7-x86_64-DVD-2009.iso 首先先创建虚拟机 1、打开VMware,创建虚拟机 2、选择安装操作系统 3、 选择CentOS的版本 4、硬盘大小默认(20…

CentOS 停止维护,来看看国产操作系统中有哪些顶流!

前言 众所周知,CentOS 8 Linux 已于2021年底停止使用,取而代之的是滚动版本 CentOS Stream,而 CentOS 7 也将于 2024年结束其最后一个维护周期。 2022年,除了国外的 CentOS 替换方案,国内的 CentOS 替换方案又有哪些呢…

安装Linux CentOS7操作系统

目录 前言 1.安装虚拟机 1.1新建虚拟机 1.2 调整虚拟机硬件 1.3启动虚拟机 1.4创建虚拟机用户 总结 前言 本文记录学习在VMware虚拟机上,安装Linux CentOS7操作系统的全过程。 1.安装虚拟机 1.1新建虚拟机 点击新建(新的虚拟机) 选择…