大数据时代,我们应该具有怎样的思维方式?

article/2025/9/24 7:20:40

《飘》、《汤姆叔叔的小屋》之类的小说和故事在全社会激起的是强烈的“情感”共鸣,和故事相比,数据没有情节,它仅代表客观事实,数据激发的,更多的是理性思考。作为理性的人类,我们不会仅仅满足于感情的宣泄,而是希望通过数据掌握更多的事实,进行理性思考。

在当今时代,最不缺乏的就是信息。信息消费了什么,这是很明显的:它消费的是信息接受者的注意力。信息越丰富,就会导致注意力越匮乏……当今,信息并不匮乏,匮乏的是我们处理信息的能力,我们有限的注意力是组织活动的主要瓶颈。卡内基梅隆大学的赫伯特·西蒙指出,人类的理性是有限的,因此所有的决策都是基于有限理性的结果。他继而提出,如果能利用存储在计算机里的信息——即数据来辅助决策,人类理性的范围将会扩大,决策的质量就能提高。

在大数据时代,人类社会面临的问题之一是如何更好的利用数据来辅助决策。


对小数据而言,最基本最重要的要求就是减少错误,保证质量。因为收集的信息量比较少,所以我们必须确保记下来的数据尽量精确。无论是确定天体的位置还是观测显微镜下物体的大小,为了使结果更加准确,很多科学家都致力于优化测量的工具。在采样的时候,对精确度的要求就更苛刻了。因为收集信息的有限意味着细微的错误会被放大,甚至有可能影响整个结果的准确性。

然而,在不断涌现的新情况里,允许不精确性的出现已经成为一个新的亮点,而非缺点。因为放松了容错的标准,人们掌握的数据也多了起来,还可以利用这些数据做更多新的事情。这样就不是大量数据优于少量数据那么简单了,而是大量数据创造了更好的结果。谷歌的翻译更好并不是因为它拥有一个更好的算法机制,是因为谷歌翻译增加了各种各样的数据。2006年,谷歌发布的上万亿的语料库,就是来自于互联网的一些废弃内容。谷歌将其作为“训练集”,可以正确地推算出英语词汇搭配在一起的可能性。谷歌的这个语料库是一个质的突破,使用庞大的数据库使得自然语言处理这一方向取得了飞跃式的发展。

同时,我们需要与各种各样的混乱做斗争。混乱,简单的说就是随着数据量的增加,错误率也会相应增加。所以,如果采集的数据量增加1000倍的话,其中采集的部分数据就可能是错误的,而且随着数据量的增加,错误率可能也会继续增加。在整合来源不同的各类信息的时候,因为他们通常不完全一致,所以也会加大混乱程度。虽然如果我们能够下足够多的功夫,这些错误是可以避免的,但在很多情况下,与致力于避免错误相比,对错误的包容会带给我们更多好处。

如果将传统的思维模式——精确性运用于数据化、网络化的21世纪,就会错过重要的信息,执迷于精确性是信息缺乏时代的产物。当我们掌握了大量新型数据时,精确性就不那么重要了,不因为依赖精确性,我们同样可以掌握事情的发展趋势。大数据不仅让我们不再期待精确性,也让我们无法实现精确性。然而,除了一开始会与我们的直觉相矛盾之外,接受数据的不精确和不完美,我们反而能更好地进行预测,也能更好的理解这个世界。

相比依赖于小数据和精确性的时代,大数据因为更强调数据的完整性和混杂性,帮助我们进一步接近事实的真相。“部分”和“确切”的吸引力是可以理解的。但是,当我们的视野局限在我们可以分析和能够确定的数据上时,我们对世界的整体理解就可能产生错误和偏差。不仅失去了去尽力收集一切数据的动力,也失去了从各个不同角度来观察事物的权利。所以,局限于狭隘的小数据中,我们可以自豪于对精确性的追求,但是,就算我们可以分析的到细节中的细节,也依然会错过事物的全貌。就像印象派的画风一样,近看画中的每一笔都感觉是混乱的,但是退后一步你就会发现这是一副伟大的作品,因为你退后一步的时候就能看出画作的整体思路了。

这是大数据时代,思维方式的一个改变,不执着于对精确性的追求,拥抱混乱。另外一个思维方式的转变则是,更加重视相关关系,而不偏执于基于假设基础上对因果关系的追寻。

在小数据的世界中,相关关系也是有用的,但在大数据的背景下,相关关系大放异彩。通过应用相关关系,我们可以比以前更容易、更便捷、更清楚地分析事物。

相关关系的核心是量化两个数据值之间的数理关系。相关关系强是指一个数据增加时,另一个数据值很有可能也会随之增加。比如谷歌的流感趋势:在一个特定的地理位置,越多的人通过谷歌搜索特定的词条,该地区就有更多的人患了流感。相反,相关关系弱就意味着当一个数据值增加,另一个数据值几乎不会发生变化。例如,我们可以寻找关于个人的鞋码和幸福的相关关系,但会发现它们几乎扯不上什么关系。

相关关系通过识别有用的关联物来帮助我们分析一个现象,而不是通过揭示其内部的运作机制。当然,即使是很强的相关关系也不一定能解释每一种情况,比如两个事物看上去行为相似,但很有可能只是巧合。相关关系没有绝对,只有可能性。也就是说,不是亚马逊推荐的每本书都是顾客想买的书。但是,如果相关关系强,一个相关链接成功的概率是很高的。

我们理解世界不再需要建立在假设的基础上,这个假设是针对现象建立的有关其生产机制和内在机理的假设。因此,我们也不需要建立这样一个假设,关于哪些词条可以表示流感在何时何地传播;我们不需要了解航空公司怎样给机票定价;我们不需要知道沃尔玛的顾客的烹饪喜好。取而代之的是,我们可以对打数据进行相关关系分析,从而知道哪些检索词条是最能显示流感的传播的,飞机票的价格是否会飞涨,哪些食物是飓风期间待在家里的人最想吃的。我们用数据驱动的关于大数据的相关关系分析法,取代了基于假想的易出错的方法。大数据的相关关系分析法更准确、更快,而且不易受偏见的影响。建立在相关关系分析法基础上的预测是大数据的核心。这种预测发生的频率非常高,以至于我们经常忽略了它的创新性。当然,它的应用会越来越多。

在社会环境下寻找关联物只是大数据分析法采取的一种方式。同样有用的一种方式是,通过找出新种类数据之间的相互联系来解决日常需要。比方说,一种称为预测分析法的方法就被广泛的应用于商业领域,它可以预测实践的发生。比如车的某个零部件出故障。因为一个东西要出故障,不会是瞬间的,而是慢慢地出问题的。通过收集所有的数据,我们可以预先捕捉到事物要出故障的信号,比方说发动机的嗡嗡声、引擎过热都说明它们可能要出故障了。系统把这些异常情况与正常情况进行对比,就会知道什么地方出了毛病。通过尽早的发现异常,系统可以提醒我们在故障之前更换零件或者修复问题。通过找出一个关联物并监控它,我们就能预测未来。

在小数据时代,相关关系分析和因果分析都不容易,都耗资巨大,都要从建立假设开始。然后我们会进行实验——这个假设要么被证实要么被推翻。但由于两者都始于假设,这些分析都有受偏见影响的可能,而且极易导致错误。与此同时,用来做相关关系分析的数据很难得到,收集这些数据时也耗资巨大。现今,可用的数据如此之多,也就不存在这些难题了。

通过找出可能相关的事物,我们可以在此基础上进行进一步的因果关系分析,如果存在因果关系的话,我们再进一步找出原因。这种便捷的机制通过严格的实验降低了因果分析的成本。我们也可以从相互联系中找到一些重要的变量,这些变量可以用到验证因果关系的实验中去。相关关系很有用,不仅仅是因为它能为我们提供新的视角,而且提供的视角都很清晰。

在小数据时代,我们会假想世界是怎么运作的,然后通过收集和分析数据来验证这种假想。在不久的将来,我们会在大数据的指导下探索世界,不再受限于各种假想。我们的研究始于数据,也因为数据我们发现了以前不曾发现的联系。

总之,除了纠结于数据的准确性、正确性和严格度之外,我们也应该容许一些不精确的存在。数据不可能是完全正确或完全错误的,当数据的规模以数量级增加时,这些混乱也就算不上问题了。事实上,它可能是有好处的,因为它可能提供一些我们无法想到的细节。又因为我们用更快更便宜的方式找到数据的相关性,并且效果往往更好,而不必努力去寻找因果关系。当然,在某些情况下,我们依然要静心做因果关系研究和试验。但是,在日常很多情况下,我们知道“是什么”就够了,而不必非要弄清楚“为什么”。



    http://chatgpt.dhexx.cn/article/Q6MwEy88.shtml

    相关文章

    互联网思维PK大数据思维

    我们在O2O时代做营销,到底哪种趋势和战略更加有效?这里有两种不同的思维方式,一个是互联网思维,另一个是大数据思维。 互联网思维与大数据思维有交集但又不重合。目前热炒的互联网营销案例,基本上剥离了大数据,更多是…

    大数据与统计新思维

    对大数据的初步认识 到底什么是大数据,不同的学科领域、不同行业的从业人员肯定会有不同的理解。与传统意义上的数据相比,大数据的“大”与“数据”都有了新的含义,绝不仅仅是体量的问题,更重要的是数据的内涵问题。或许&#xff…

    大数据决策支持的优势

    结合这学期的“决策支持系统”课程的课堂作业对"大数据决策支持的优势"有了更深的理解,整理内容如下: 结合大数据的5V特征:Volume (大量)、Velocity (高速)、Variety (多样)、Veracity (真实性)、Value (价值),我认为其…

    一个人有没有大数据思维,主要体现在哪两个方面?

    第一他是不是具有定量化的思维方式:就是我们现在看很多问题习惯从经验、定性地角度看问题,不习惯所有的决策都用定量化的方式来进行描述。例如我们经常说一个人漂亮,说一个人好,但是我们不习惯用一套图像识别的算法来真正计算这个…

    【大数据】大数据思维的十大核心原理

    感谢博主,转自:https://blog.csdn.net/supermapsupport/article/details/78741774 一、数据核心原理 从“流程”核心转变为“数据”核心 大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。hadoop体系的分布式计…

    大数据思维与数据驱动

    大数据的核心:实现商业价值 大数据的本质:消除一切不确定性 一:大数据的概念 时代的发展变迁,单从互联网的角度来讲,从最初的IBM巨型机到后来的单机时代,在到后来家家户户都拥有了PC机,笔者就…

    大数据思维与技术——中国大学MOOC课程笔记

    大数据思维与技术——中国大学MOOC课程笔记 第一章 大数据思维与技术认知 0 一些例子 总之 大数据分析现在已经存在于方方面面。但事实上,其首次提出仅仅是20世纪90年代,而直到2011年6月,美国麦肯锡全球研究院发布了题为《大数据&#xff1…

    数据驱动决策的10种思维方式

    很多人都说会数据分析的人比别人聪明,实际上他们“聪明”在拥有分析思维,今天我们就来说说常见的数据分析思维。 以下10种数据分析思维可能不会瞬间升级你的思维模式,但说不定会为你以后的工作带来“灵光一闪”的感觉,请耐心读完&…

    数据思维,让决策更精准

    数据分析正在渗入到各行各业的商业活动中以及各种细小决策中,判断一个人了是否有数据思维,最核心的因素是看他有没有通过数据分析做决策的习惯。 一个合格的数据分析师要掌握各种数据分析模型和算法以及熟悉SAS、R、Python等统计工具。有些人可能会说&am…

    大数据决策的五个阶段

    原创 HANSEN老师 汉森定理 2022-12-11 17:37 发表于北京 「配图摄影 by 汉森老师」 互联网和消费金融是大数据应用最为广泛的两个行业,产生了所谓大数据风控、大数据营销等细分领域。 大数据是指具有海量、高维、动态、多源、非结构化等特征的信息载体。本文所说…

    变量foo 和 bar的由来

    在计算机程序设计与计算机技术的相关文档中,术语foobar是一个常见的无名氏化名,常被作为“伪变量”使用。 单词“foobar”或分离的“foo”与“bar”常出现于程序设计的案例中,如同Hello World程序一样,它们常被用于向学习者介绍某…

    转载:编程中常见的Foo,bar是什么意思

    原始链接:编程中常见的Foo,是什么意思。。_xhmz的专栏-CSDN博客_foo是什么意思 编程中常见的Foo,是什么意思。。 xhmz 于 2014-07-28 13:08:34 发布 47963 收藏 66 分类专栏: 前端 文章标签: foo ​前端专栏收录该内容 8 篇文章0 订阅 …

    2022-07-26

    什么时候用Set,什么时候用List hashset与hashmap的区别 为什么使用线程?使用线程一般都是什么场景? 为什么使用线程池? 租户隔离? 权限控制? 拦截器? 为什么使用redis而不是本地缓存&am…

    MATLAB破解版解决帮助文档需要许可证的问题

    由于MATLAB是破解版的所以查看帮助文档时,总是需要关联许可证 一、点击"预设项" 二、按图示配置 ok,接下来就可以使用帮助文档了

    破解版matlab安装Higher Order Spectral Analysis Toolbox-亲测成功

    破解版matlab安装Higher Order Spectral Analysis Toolbox-亲测成功 1.下载所需toolbox,随意保存于某个文件夹! 2.解压该压缩文件——继续解压hosa_d.exe文件——将hosa文件夹(及hosademo文件夹)copy到电脑安装matlab的toolbox文件夹中。并…

    matlab破解6.5免安装版 下载和使用说明

    1. 安装包下载 多套数学建模视频教程 参考:https://blog.csdn.net/COCO56/article/details/89299791 2. 使用步骤 Windows10自带的文件管理器可以直接打开镜像(.iso)文件,当然也可以自己装个虚拟光驱软件,或者使用WinRAR直接解压镜像文件…

    Ubuntu下安装Matlab并破解

    https://www.cnblogs.com/hEllOwOrlD2017/p/6936768.html https://blog.csdn.net/jesse_mx/article/details/53956358 Ubuntu下安装Matlab并破解 镜像下载地址: 链接:http://pan.baidu.com/s/1qYx2jIc 密码:z9cq 列出下面用到的三个目录&…

    Linux(x64)下安装Matlab 2015b破解版(含安装包)

    MATLAB2015b安装 下载地址 链接:https://pan.baidu.com/s/10P-Yi3E251H6peHu-Oq6jQ 提取码:9sb6 (1).挂载ISO镜像文件 1 sudo mkdir /media/matlab 2 sudo mount -o loop [path]MATHWORKS_R2014A.iso /media/matlab 挂载后,得到如下…

    Matlab PolySpace安装破解

    Polyspace 是一个静态分析工具,可识别、修复潜在的运行时错误(如:除以零),并检查源代码是否遵循 MISRA C、MISRA C++ 等代码标准。此外,Polyspace 还可以将必须手动审查的未经验证代码突出显示。其广泛用于嵌入式软件领域,如汽车、航空航天和铁路运输领域。 一、Matlab安…

    MATLAB获取附加功能的方法

    提示:这是作者关于MATLAB一个附加功能安装的踩坑系列,花了半天的时间摸索出来的,希望对使用盗版MATLAB的有缘人有所帮助 目录 前言 一、为啥我搞这个? 二、踩坑集锦 1.故事的起源 2.故事的中期 3.故事的高潮 4.故事的结尾 三、总结…