大数据数据建模

article/2025/10/21 20:07:16

今天给大家分享一下 数据开发工作中数据建模的步骤,

                                                     第一步:选择模型或者自定义模型

这第一步需要我们基于业务问题,来决定我们需要选择哪种模型,目前市场中有很多模型可以供我们选择,

比如,如果要预测产品销量,则可以选择数值预测模型(比如回归模型,时序预测……);如果要预测员工是否离职,则可以选择分类模型(比如决策树、神经网络……)。

如果没有现成的模型可用,就需要我们自定义模型了,自定义模型不是一件容易的事情,需要非常nb的数学基础和科研精神,当前绝大多数人所谓的建模,都只是选择一个已有的数学模型来工作而已

一般情况,模型都有一个固定的模样和形式。但是,有些模型包含的范围较广,比如回归模型,其实不是某一个特定的模型,而是一类模型。我们知道,所谓的回归模型,其实就是自变量和因变量的一个函数关系式而已,如下表所示。因此,回归模型的选择,也就有了无限的可能性,回归模型的样子(或叫方程)可以是你能够想到的任何形式的回归方程。所以,从某种意义上看,你自己想出一个很少人见过的回归方程,也可以勉强算是自定义模型了哈!

这么多可选模型,到底选择哪个好呢?

这里我告诉你,模型的好坏是不能单独出来评论的,对不同的需求场景模型的选择也不同。

                                                   第二步 : 训练模型

模型选择好以后,就到训练模型这一步,

我们知道,之所以叫模型,这个模型大致的形状或模式是固定的,但模型中还会有一些不确定的东东在里面,这样模型才会有通用性,如果模型中所有的东西都固定死了,模型的通用性就没有了。模型中可以适当变化的部分,一般叫做参数,就比如前面回归模型中的α、β等参数。

所谓训练模型,其实就是要基于真实的业务数据来确定最合适的模型参数而已。模型训练好了,也就是意味着找到了最合适的参数。一旦找到最优参数,模型就基本可用了。

如何找到一个非常好的参数呢?不用担心,会有分析工具来帮我们来查找。

                                                   第三步:评估模型

所谓评估模型,就是决定一下模型的质量,判断模型是否有用。

前面说过,模型的好坏是不能够单独评估的,一个模型的好坏是需要放在特定的业务场景下来评估的,也就是基于特定的数据集下才能知道哪个模型好与坏。

既然要评估一个模型的好坏,就应该有一些评价指标。比如,数值预测模型中,评价模型质量的常用指标有:平均误差率、判定系数R2,等等;评估分类预测模型质量的常用指标(如下图所示)有:正确率、查全率、查准率、ROC曲线和AUC值等等。

对于分类预测模型,一般要求正确率和查全率等越大越好,最好都接近100%,表示模型质量好,无误判。

                                                                       

                                                    第四步:应用模型

如果评估模型质量在可接受的范围内,而且没有出现过拟合,于是就可以开始应用模型了。

这一步,就需要将可用的模型开发出来,并部署在数据分析系统中,然后可以形成数据分析的模板和可视化的分析结果,以便实现自动化的数据分析报告。

应用模型,就是将模型应用于真实的业务场景。构建模型的目的,就是要用于解决工作中的业务问题的,比如预测客户行为,比如划分客户群,等等。

当然,应用模型过程中,还需要收集业务预测结果与真实的业务结果,以检验模型在真实的业务场景中的效果,同时用于后续模型的优化。

                                                      第五步:优化模型

优化模型,一般发生在两种情况下:

一是在评估模型中,如果发现模型欠拟合,或者过拟合,说明这个模型待优化。

二是在真实应用场景中,定期进行优化,或者当发现模型在真实的业务场景中效果不好时,也要启动优化。

如果在评估模型时,发现模型欠拟合(即效果不佳)或者过拟合,则模型不可用,需要优化模型。所谓的模型优化,可以有以下几种情况:

1)重新选择一个新的模型;

2)模型中增加新的考虑因素;

3)尝试调整模型中的阈值到最优;

4)尝试对原始数据进行更多的预处理,比如派生新变量。

不同的模型,其模型优化的具体做法也不一样。比如回归模型的优化,你可能要考虑异常数据对模型的影响,也要进行非线性和共线性的检验;再比如说分类模型的优化,主要是一些阈值的调整,以实现精准性与通用性的均衡。

当然,也可以采用元算法来优化模型,就是通过训练多个弱模型,来构建一个强模型(即三个臭皮匠,顶上一个诸葛亮)来实现模型的最佳效果。

实际上,模型优化不仅仅包含了对模型本身的优化,还包含了对原始数据的处理优化,如果数据能够得到有效的预处理,可以在某种程度上降低对模型的要求。所以,当你发现你尝试的所有模型效果都不太好的时候,别忘记了,这有可能是你的数据集没有得到有效的预处理,没有找到合适的关键因素(自变量)。

不可能有一个模型适用于所有业务场景,也不太可能有一个固有的模型就适用于你的业务场景。好的模型都是需要根据需求进行优化的!

希望能帮助到各位程序员们!!!

 


http://chatgpt.dhexx.cn/article/mNSbgehm.shtml

相关文章

数据建模

周三保(zhousbcn.ibm.com) IBM 软件部信息技术专家. 简介: 本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型,而是将笔者在数据仓库建设项目中的一些经验,在这里分享给大家。希望帮助大家在数据仓库项目建设中总结出一套能够合…

大数据分析及其建模利用

在数字经济时期,互联网、物联网、5G、大数据、智慧城市等各类模式的信息技术呈爆炸式增长,使得数据以令人难以设想的速度始终增长,企业运营的各个阶段都可以被记载下来,产品销售的各个环节也被记载下来,客户的生产行为…

浅谈大数据建模的主要技术:维度建模

文章目录 前言维度建模关键概念度量和环境事实和维度事实表维度表星形架构和雪花架构 维度建模一般过程1. 选取业务过程2. 定义粒度3. 确定维度4. 确定事实 前言 我们不管是基于 Hadoop 的数据仓库(如 Hive ),还是基于传统 MPP 架构的数据仓…

大数据建模五步法

from:https://www.sohu.com/a/198093510_783844 前一阵子,某网络公司发起了一个什么建模大赛,有个学员问我,数据建模怎么搞? 为了满足他的好学精神,我决定写这一篇文章,来描述一下数据分析必须…

大数据实践之数据建模

随着DT时代互联网、智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。 为什么需要数据建模 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置&#xf…

大数据之数据建模

1.星座模型 星形模型中有一张事实表,以及零个或多个维度表,事实表与维度表通过主键外键相关联,维度表之间没有关联,当所有维表都直接连接到“事实表”上时,整个图解就像星星一样。 星形模型是最简单,也是…

数据模型篇之大数据领域建模综述

第8章 大数据领域建模综述 1.为什么需要数据建模 为了更好的将数据进行有序、有结构地分类组织和存储。数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。 数据建模的好处: 性能:良好的数据模型能帮助我们快…

大数据学习(七)一分钟了解数据建模

何为大数据建模,我们从3个W(什么、为什么、如何)出发来详解下大数据建模。 一、什么是数据建模(what) 数据建模指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成…

[数学建模] 大数据建模五步法

目录传送门 概要第一步:选择模型或自定义模式第二步:训练模型第三步:评估模型第四步:应用模型第五步:优化模型最后语 概要 PS: 本文转载自 https://www.sohu.com/a/198093510_783844 本文将尝试来梳理一下数据建模的…

人工智能知识体系大全

知识的搬运工,转从https://blog.csdn.net/j2iayu7y/article/details/79709420 转自:https://blog.csdn.net/wyx100/article/details/80950499

史上最全的人工智能知识图谱

史上最全的人工智能知识图谱 转载于公众号: 数邦客 人工智能知识图谱 1 知识图谱 知识图谱(Knowledge Graph)又称为科学知识图谱,由Google与2012年5月提出,目的是提高搜索引擎的能力,改善用户的搜索质量及搜索体验。随着人工智能…

人工智能之知识表示

人工智能之知识表示 人工智能课程复习笔记专题 人工智能绪论 人工智能之知识表示 人工智能之搜索方法 人工智能之经典逻辑推理 人工智能之专家系统 人工智能之不确定推理方法 人工智能之机器学习 一、知识 知识是人们在改造客观世界的实践活动中积累起来的认识和经验…

新一代人工智能知识体系大全

新一代人工智能知识体系大全,如下图:

人工智能基础知识(一)

目录 1.起源和定义 2.人工智能的流派 2.1 符号主义 2.2 连接主义 2.3 行为主义 3. 知识和知识表示的概念 3.1 知识的特性 3.2 产生表示法 3.3 产生式系统 4. 框架表示法 5. 状态空间表示法 1.起源和定义 如果不做很远的追溯,现代人工智能的起源就非常明…

人工智能知识

启发式搜索 一般需要某些有关具体问题的领域的特性信息,把此种信息叫做启发信息。 需定义一个评价函数,对当前的搜索状态进行评估,找出一个最有希望的节点来扩展。 重排OPEN表,选择最有希望的节点加以扩展 一、A算法 1 2局部择优搜索(瞎子爬山法) …

人工智能知识表达

2.1概述 2.1.1知识及知识的分类 知识是人们在改造客观世界的实践中积累起来的认识和经验。这些经验的描述又需要涉及数据和信息的概念。数据是记录信息的符号,是信息的载体和表示。信息是对数据的解释,是数据在特定场合下的具体含义。信息仅是对客观事…

人工智能的知识表示

文章目录 一、绪论人工智能研究的基本内容人工智能的主要研究领域 二、知识表示知识的概念知识的特性知识的表示1.一阶谓词逻辑表示法1.连接词(连词)2. 量词3.谓词公式4.量词的辖域谓词公式的性质一阶谓词逻辑表示法的特点 2.产生式表示法产生式系统产生…

人工智能知识图谱研究

1、研究背景及意义 随着互联网技术的发展以及大数据、人工智能等新科技时代的来临,我国高校教育改革、高校人才培养也面临着新的机遇与挑战。一方面,为了实现国家战略、支撑快速发展的新经济,需要高校变革发展培养新型人才,满足社…

【人工智能】知识表示

目录 一、知识表示(Knowledge Representation)的基本概念二、谓词逻辑(Predicate Logic)表示法三、产生式(Production Rule)表示法四、语义网络(Semantic Network)表示法五、框架&am…

人工智能之知识图谱

人工智能之知识图谱 知识图谱(knowledge graph )是人工智能领域的重要分支技术,概念最初由谷歌于2012年提出,成为创建大规模知识应用的必要技术,在自然语言处理,电子商务,搜索,智能…