10年经验总结:数据分析师7种工具,因果分析划重点!

article/2025/5/10 19:57:59

在我10年的从业经验中,发现真正拉开数据分析师差距的,不仅是对方法和工具的掌握,更重要的是分析思维。在数据分析工作中,我们经常需要通过数据分析方法来解决问题。随着科技的进步,数据分析师的思维也需要持续更新,无论是经典的数据分析方法,还是当前热门的数据分析手段,我们都需要知其然,也知其所以然。

本文为大家整理了7种在业务中比较实用的分析方法,建议收藏。

 

构成分析法、同类比较分析法、漏斗法、聚类分析法、分组分析法、关联分析法、因果分析法

1、构成分析

在统计分组的基础上计算结构指标,来反映被研究总体构成情况的方法。应用构成分析法,可从不同角度研究投资构成及其变动趋势,观察投资构成与产业结构、社会需要构成的适应关系,可以揭示事物由量变到质变的具体过程。 再比如利用构成分析,我们可以知道话务类别、投诉原因、客户群体、员工表现等多个方面的构成要素,从而确定进一步分析与改进的目标及优先级顺序。

 

2、同类比较分析

在同类事物之间通过比较分析揭示其相异点而产生新认识的方法。在实际研究中人们经常会遇到一些表面上相同但实际上并不同的现象,如果对这些现象不仔细地进行比较研究,就有可能以假当真,或以真当假。因此,在分析研究中对新发现的现象不要轻易地归类,应该认真地反复进行比较研究,尤其对那些小的差异点,更不能放过。同类比较分析经常应用到与竞争对手分析中,例如食品行业同一类食品的销量比较,鞋服行业同一类型鞋子的对比分析等。

 

3、漏斗法

漏斗法即是漏斗图,有点像倒金字塔,是一个流程化的思考方式,常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中,有趣的是很多的互联网app也通过类似的算法来主导内容的传播。

 

4、聚类分析法

聚类分析法是理想的多变量统计方法,主要有分层聚类法和迭代聚类法。聚类分析也称群分析、点群分析,是研究分类的一种多元统计方法。

例如,我们可以根据各个银行网点的储蓄量、人力资源状况、营业面积、特色功能、网点级别、所处功能区域等因素情况,将网点分为几个等级,再比较各银行之间不同等级网点数量对比状况。

 

5、分组分析

将客体(问卷、特征、现实)按研究要求进行分类编组,使得同组客体之间的差别小于各种客体之间的差别,进而进行分析研究的方法。其特点在于不依赖于原始资料分布的正常性假设,可以按任意规律分布,在分析既包括数量资料,又包括质量资料的混合资料时尤为重要。例如下图,通过分析发现成交率涨幅明显的是客户关系渠道,降幅明显的是传统渠道(且这两个渠道的客户体量较大),应该想办法提升传统渠道的成交率。

 

6关联分析法

关联分析又称关联挖掘,就是在交易数据、关系数据或其他信息载体中,查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。或者说,关联分析是发现交易数据库中不同商品(项)之间的联系。定义关联分析是一种简单、实用的分析技术,就是发现存在于大量数据集中的关联性或相关性,从而描述了一个事物中某些属性同时出现的规律和模式。

 

7、因果分析法

因果分析法是利用事物发展变化的因果关系来进行预测的方法。关联关系是因果分析的必要不充分条件,但是进行因果分析的预测,需要将事件A和事件B之间的关联进行更深维度的挖掘。在当前的业务场景中,很多企业还停留在仅依靠人工做判断的阶段,对于数据内在规律的挖掘尚存缺失。无论是我个人的工作需求,还是通过和圈内人士的交流,都深切感知到因果分析都是当前的刚需:比如故障归因分析、用户流失分析、欺诈人群预测……

在目前市面上的关联分析工具中,能够对事件规律进行深度挖掘,并可以支撑用户做出因果判断的,少之又少。我目前在使用的是比较新的数据分析系统“关河因果”,核心引擎是深圳计算科学研究院的“钓鱼城引擎”,熟悉大数据领域的朋友,应该都对樊文飞院士有所耳闻,钓鱼城引擎就以樊院士的理论为基础研发的。我在数字中国展会上了解到这个系统,目前正在试用,试用链接在这里,,对因果分析感兴趣的朋友欢迎一起来使用和讨论。新型数据分析产品_因果分析_关河因果【官网】关河因果系统融合“逻辑规则+机器学习”,支持将多源异构数据抽取转化为图数据格式、根据行业特性进行自动特征工程,实现对实体间隐含关系、异常关系等深度挖掘,高效、灵活、智能地从数据中推测出事件因果,帮助用户实现对预测、推荐和决策的支撑。https://yinguo.grandhoo.com/home

 关河因果系统的“规则”样式

目前我对这个系统的认知是:

·基于图数据进行分布式计算

·这里图比一般的知识图谱要增加实体属性,分析维度更广

·融合机器学习和逻辑规则,更具可解释性

根据我们团队近期的体验,这套系统至少在挖掘关联关系上,对比其他现有的系统,向前迈了一大步。但在因果分析决策上,其实仍需结合人工对于行业的理解。熟悉我的朋友应该知道,对于国产自研系统,我的态度一向是支持。在因果分析这个领域,放眼国内乃至全球都没有哪家机构可以给出底气十足的解决方案,但是在这条路上的探索和开拓,我期待是由我们中国人来完成。

今天给大家列举的数据分析方法,都是初级和中级数据分析师可以理解并掌握的。还想告诉大家的是,不同水平的数据分析师为公司带来的价值有天壤之别。想要成为顶级分析师,对于行业的认知,对于算法的理解,对于工具使用,缺一不可。当你已经有能力将“术”与“道”融合之时,才能感受到来自数据的惊人魅力。


http://chatgpt.dhexx.cn/article/S7JB8EdA.shtml

相关文章

数据分析36计(25):微软开源 DoWhy 之因果分析快速入门

因果分析是在统计领域内建立因果关系的实验分析。在数据分析中,我们始终对因果关系问题感到困扰,通常从统计角度对可用数据进行分析。虽然知道因果关系的金钥匙是 A/B 测试,但是由于某些原因(例如时间限制,成本或只是没…

4大方法,因果关系分析的总结,都在这了

因果关系推断,可以说是数据分析领域最难的问题之一,争吵很多年也没有定论。经常同学们被问到:“到底这个问题的原因是什么!”都会觉得分析起来很挠头,今天我们系统讲解下。 1 常见方法1:拆解法 最常见的…

TRIZ创新方法——因果链分析

TRIZ创新方法——因果链分析 1. 什么是因果链分析2. 缺点的种类3. 关键缺点的解决4. 分析案例1:消除静电危害5. 分析案例2:油漆溢出问题6. 课后习题 1. 什么是因果链分析 2. 缺点的种类 关键缺点对应的问题即为关键问题 3. 关键缺点的解决 解决缺点5能够…

中介分析(四)- 因果中介分析

引入 首先我们需要明确相关性和因果推断本质上有什么区别? 最大的区别是是否控制了混杂因素。(理论上,当回归控制了所有可观测和不可观测的混杂因素,就可以探究因果关系),Causal analysis可以简单理解为 regression a…

因果分析系列5--因果分析中的偏差

因果分析系列5--因果分析中的偏差 1.混杂偏差2.选择偏差小结在上一节中,介绍了现实中常见的三种因果图结构: 链结构(chain)A->B->C; 叉结构(fork)A<-B->C; 对撞结构(collider)A->B<-C。 不管多复杂的结构都可拆解为其中的一种或某几种。基于三种常见的结…

社会经济学中的因果分析思想初探

社会经济学中的因果分析思想初探 目录1.因果是什么2.因果关系和相关关系3.因果推断的三个层级4.经典因果推断模型5.社会经济学中的因果实证分析5.1随机控制实验5.2自然实验5.3准实验5.3.1准实验--双重差分法5.3.2准实验--工具变量法5.3.3准实验--断点回归法5.3.4准实验--匹配法…

因果分析

Causality Problems(相关不一定是因果)&#xff1a; 伪关系&#xff1a;Y和X只是恰巧同时发生&#xff0c;实际上没有明显的逻辑上的关联&#xff0c;如巧克力销量和诺奖得主数量遗漏变量偏差&#xff1a;存在既影响X也影响Y的混淆变量&#xff0c;如年龄混淆了年收入和罹患癌…

史上最全因果推断合集-14(因果分析在贝壳的探索实践)

因果推断的应用范围十分广泛&#xff0c;例如气候变暖、新药研发、物理研究、经济学等。AI领域&#xff0c;特别是互联网产业&#xff0c;如何科学的进行因果分析&#xff0c;是一个重要的议题。本次分享的主题是因果分析在贝壳的探索和实践。 今天的介绍会围绕下面三点展开&a…

史上最全因果推断知识合集-4(快手因果推断与实验设计)

导读&#xff1a;理解和识别用户行为指标的相互关系是实验分析的目标。在社区氛围下&#xff0c;影响用户行为的因素更为复杂&#xff0c;关系识别更为困难&#xff0c;如何使用各种学科的方法&#xff0c;对社区进行宏观或微观的建模分析&#xff0c;系统性的评估各种策略的长…

因果分析与相关

在现实场景中我们常被要求回答“如果”的问题&#xff0c;经济学家称之为反事实。如果我现在要的不是这个价格&#xff0c;而是另一个价格&#xff0c;会发生什么&#xff1f;如果我不吃低脂饮食&#xff0c;而是吃低糖饮食会怎么样&#xff1f;如果你在银行工作&#xff0c;提…

因果分析.科学实验评估

目录 1. A/B Test原理 2. 实验分组划分 3.实验指标设计 4. 实验效果评估 5.离线指标测算 6.实验结果分析 不是每个想法都是好的&#xff0c;大部分想法都是不好的。 在互联网背景下&#xff0c;快速试错已经成为产品持续迭代的必备能力。借鉴传统行业(医学等)成熟的实验…

因果关系分析方法

因果关系推断&#xff0c;可以说是数据分析领域最难的问题之一&#xff0c;争吵很多年也没有定论。经常同学们被问到&#xff1a;“到底这个问题的原因是什么&#xff01;”都会觉得分析起来很挠头&#xff0c;今天我们系统讲解下。 1 常见方法1&#xff1a;拆解法 最常见的用…

因果分析来了!

我是小z&#xff0c;也可以叫我阿粥~ 本文的分享主题为观测数据因果推断&#xff0c;希望通过本文可以让大家对观测数据因果推断有一个整体的了解&#xff0c;明晰当前观测数据因果推断的困境和主要处理方法&#xff0c;以及在特定问题中的一套通用解法。 具体将围绕以下3部分展…

因果分析:原理、方法论、应用

什么是因果分析&#xff1f; 因果分析(Causal Analysis)是分析彼此之间的因果关系。 因果推断(Causal Inference)是基于原因推结果&#xff0c;是因果分析的一部分。 因果分析是数据分析、数据科学中重要的方法&#xff0c;广泛应用于A/B实验&#xff0c;异常分析&#xff0…

C语言有负号的除法以及求余运算规则

举例说明 abc…d 1753…2 被除数除数商…余数 有负号的运算规则 求: -17除以5的商和余数17除以-5的商和余数-17除以-5的商和余数 答: abc…d 用a代表被除数,用b代表除数,用c代表商,用d代表余数. c的数值是|a|/|b|,c是正号还是负号由a和b的负号数量决定;d的正负号和a相同…

C语言取余问题

如果 % 左边的操作数是正数&#xff0c;则取余的结果为正数或零&#xff1b;如果 % 左边的操作数是负数&#xff0c;则取余的结果为负数或零。 例如代码运行如下&#xff1a; 主代码&#xff1a; #include<iostream> using namespace std; int main() {cout<<(13…

c语言怎么对大数求余,C语言:大数取余

大数取余数(数组) 今天做学校的oj时遇到一题&#xff0c;问题可见一下截图&#xff1a; 查遍各大论坛&#xff0c;都没有遇到合适的方法&#xff0c;普通方法不可用&#xff0c;要采用数组的形式。 被除数超过long long类型&#xff0c;不能采用常规思路&#xff0c;否则会出现…

C语言--求余问题

C在线工具 | 菜鸟工具 在c语言中&#xff0c;如果 a为一个四位数 那么a%1000/100是啥&#xff1f; 假设a的值为1345&#xff0c;那么当计算a%1000时&#xff0c;值为345 #include <stdio.h>int main() {int a 1345;int b a%1000;printf("%d",b); } 而345/…

软件开发流程图

文件下载https://download.csdn.net/download/weixin_43250197/12243113

嵌入式软件开发的特点和流程

嵌入式软件就是嵌入在硬件中的操作系统和开发工具软件&#xff0c;被广泛应用于工业控制、消费电子、医疗、通信等领域&#xff0c;我们常见的手机、电脑、数码相机等都运用到了嵌入式软件技术。为了确保嵌入式系统的运行&#xff0c;嵌入式软件迅速崛起&#xff0c;在整个软件…