什么是大数据开发?大数据开发要学什么?一个Java转行过程和经历

article/2025/11/5 23:05:07

      大数据开发是大数据职业发展方向之一,另外一个方向是大数据分析。从工作内容上来说,大数据开发主要是负责大数据挖掘,大数据清洗处理,大数据建模等工作,主要是负责大规模数据的处理和应用,工作主要以开发为主,与大数据可视化分析工程师相互配合,从数据中挖掘出价值,为企业业务发展提供支持。

知道了大数据开发是什么,那么如果想要从事大数据开发的工作,需要学什么了。

下面我们以大数据开发课程为例进行说明:关注作者:需要大数据方面的学习资料,关注获取

阶段一:JavaSE开发

阶段二:JavaEE开发

阶段三:并发编程实战开发

阶段四:Linux精讲

阶段五:Hadoop生态体系

阶段六:Python实战开发

阶段七:Storm实时开发

阶段八:Spark生态体系

阶段九:ElasticSearch

阶段十:Docker容器引擎

阶段十一:机器学习

阶段十二:超大集群调优

阶段十三:大数据项目实战

总结下上面的课程内容,大数据开发需要学java、linxu、数据库、hadoop、spark、storm、python、ElasticSearch、Docker等知识。

目前学习大数据渠道主要是通过参加大数据培训,因为大数据的技术门槛高,一般通过自学来说难度较大。

最后再来说下大数据开发可以从事哪些工作岗位:

1.Hadoop开发工程师

2.数据挖掘工程师

3.大数据科学家

4.首席数据官(CDO)

5.ETL研发

6.大数据信息架构开发

7.数据仓库研究

8.OLAP开发

9.大数据安全研究

这里有一个半路转行做开发实现年薪40W的故事,也许对你有帮助。

毕业后第一份工作是公司的销售,卖那种app注册量,没错,就是经常在大街上有人拉着你让你扫二维码注册app那种。但是只工作了四个多月我就萌生了转行做开发的想法,原因有两点:一是通过在公司一段时间的工作,我意识到做开发更有技术含量,未来的想象空间更大,公司所有的销售基本就是靠开发的软件而生;二是开发比销售更体面,不用风吹雨晒花尽心思去猜客户的心理,简简单单和电脑相处就好。

有了这个想法之后就开始行动,因为当时刚毕业,养活自己是最重要的,所以就边工作边业余时间自学java编程,但是转行的热情极大的激励着我,所以几乎每天都坚持学习,即使每天加班到很晚,在那家公司工作了 3个月后,我觉得我自学的可以了,应该可以入门了,于是我辞职了,准备找一份开发的工作。

现在来看,其实那三四个月自学的效果完全是皮毛,只不过我当时转行选对了一个方向,选择了当初最热门的java开发,那时候市场人才本身就很少,所以,即使我很皮毛,但是离职之后也顺利找到了一份开发的工作。

但是转行真的不是那么容易的,因为完全陌生的领域,对你的要求是更高的,中间经历了非常痛苦的过程。任何一个工作,都是远看容易,近看复杂。从表面上看“别人”的工作“有趣、赚钱、有发展”,等到入行之后,才发现自己好像从一个深坑跳到另一个更深的坑里。很多看似光鲜亮丽的行业,背后都有常人不能了解的艰辛。最主要的还是要找到合适的方法和遇到对的人。

那年才转行第五年,我在北京的5环就买了房。如今在北京带着一个小团队,虽然公司比较小但是每年可以拿到2成的红利,每当夜深人静的时候,我在想要是几年前我做销售,现在的自己又是怎么样的呢?

在你不知道这种转行是否是成功的,但是我一度认为当初的转行可能是我此生做的最正确的决定,现在不管是从薪资回报还是幸福指数,都是转行带来的惊喜,所以,我斗胆从我的角度给题主以下一些建议:

转行要趁早

当你萌生要转行的想法时,在考虑清楚的前提下,一定要趁早,因为你在一个行业积累的经验越久,你转行付出的沉默成本越大,你会更没有勇气,我当初之所以这么决绝的确定转行本质上也是因为我刚毕业,还是一张白纸,转行对我来说成本还算是很小的。

转行不一定是靠着兴趣

我们知道,如果我们从事的是自己喜欢、自己感兴趣的工作,那是最幸福的事。

很多人转行的目的可能是因为觉得自己不喜欢现在这个行业,自己更喜欢 xxxx 之类的,但是我想告诉你们的是,很多时候我们不热爱自己的工作,不感兴趣可能只是借口,本质原因可能是因为你做的不够好。拿我举例子,我决定转行做开发的时候根本对开发没什么了解,也根本不知道自己是不是真的对编程感兴趣,我就是冲着薪资又高去的,只不过从事开发了一段时间之后,我才觉得我是挺适合编程的。

所以,不要急着给自己下定论说自己不喜欢、不适合做 xxxx...先把这件事做好你才有资格说自己感不感兴趣。

转行尽量选择高技术含量的行业

转行分很多种,比如有的人觉得现在的工作很辛苦,自己转行去做餐厅服务员、外卖员也是一种转行,这里并没有歧视的意思,只是举个例子,餐厅服务员、外卖员技术含量较低,谁都可以做,这种转行哪怕你说是你喜欢的也不建议,建议转行选择高技术含量的行业,高技术含量意味着稀缺,回报以及未来的潜力都不一样。

比如如果你从事的是流水线工作,那么建议早点转行,因为这没有体现出你的价值,每天重复的工作你消耗的是最宝贵的时间,应该考虑转行到专业技能型。

比如测试往开发、产品方向转等,最好参考下近几年的行业趋势,选择一个热门行业,因为转行到很成熟、很传统的方向,跟那些已经工作很长时间的人比,你没有什么优势,如果可以选择一个新兴产业,那么大家起跑线差不多,自己劣势没有那么大,像现在的大数据开发就是这样的行业,甚至最火的人工智能机器学习都是在此基础上进行升级的。下图可以看出,工资年薪至少可以40w。

转行不建议辞职全裸去学习

很多人一想到转行,第一时间就辞职了,想着全职在家学习,不学会不罢休。这个不推荐这种形式。因为一是很可能转行只是你暂时的决定,也许一时头脑发热说不定,二是,即使是你经过慎重考虑的,人的学习热情是有限的,上学读书的时候每天没什么事,也没见你一天到晚都在学习,所以,我建议工作的时候,业余时间自学,现在互联网这么发达,网上有各种各样的在线学习资料,每天从追剧、玩游戏的时间中抽出两小时,坚持一周,等你差不多入门了,再建议辞职。如果坚持不了,那么可能说明你对转行也没多大的热情,这个时候再继续现在的工作,不会有遗憾。所以线上学习就是不错的选择,线下学习看似专门学习,其实学习效率也不怎么高,很多时候做了这个决定后悔莫及。

转行真的很痛苦

前面我说了,转行真的很难,很不容易。尤其是你向高技术含量的行业转行,那才真的叫痛苦,因为这意味着什么都是全新的,你之前所有的工作能力与经验都用不到,你唯一要做的就是不断的学习,这个阶段很痛苦,但是过来了,你才知道,如果你感受到痛苦,那说明你有进步与成长了,只要坚持下来,你会发现,一切的付出都不会白费。最近我推荐团队新来的在学的大数据开发,难度系数就不低。

工资看起来确实不错。

北京大数据开发平均工资:¥ 30230/月。

那么要达到这样的水平,专业技术水平是什么样的呢?

假如你去百度或者其他的互联网公司,你至少要会大数据网站日志统计分析系统的开发,可以计算得出用户所检索的关键词排行榜、用户停留时间最高的页面等;更复杂的,构建广告点击模型、分析用户行为特征等等,这些都是大型电商平台的核心技术。

还有像阿里巴巴这样的在线电商平台行业分析系统,如果你连这些东西都不会,别说去百度,阿里巴巴了,相关业务的小公司工作都不一定能胜任的了。


http://chatgpt.dhexx.cn/article/SSQnU4aa.shtml

相关文章

Java后端开发工程师是否该转大数据开发?

背景 看到一些java开发工程师,对java后端薪酬太悲观了。认为换去大数据领域就会高工资。觉得java后端没有前途。我从事java后端开发,对大数据领域工作有些了解,但不深入。本文描述一下我对java后端和是否转大数据开发的个人见解。 目的 分…

Java开发转大数据开发,必须要做到哪几点?

Java开发转大数据开发要做到几点?假设你有Java基础选择了自学大数据,而对于完全没有编程和Java基础的人来说,自学绝对是浪费时间和精力的事情。 现在已经从之前的java后端开发正式转大数据开发,项目数据50T,日均数据增长20G左右…

大数据时代,为什么很多JAVA程序员会转型做JAVA大数据

分享之前推荐一个大数据交流学习群:722680258零基础进阶高级,需要学习大数据欢迎加入 JAVA的精密,强大,拥有其它语言不可替代的性能和可维护性,早已经是成为最受欢迎的编程语言之一,很多人想进入IT行业&am…

Java要不要转行大数据?

前几天有个朋友在群里提问:如何看待大数据的未来?有必要转大数据方向吗? 关于这个问题,谈谈我的思考。伴随公有云厂商的兴起,大数据的应用进入了2.0时代。 传统大数据那种需要大量购买机器以及Hadoop发行商版本的时代一…

java开发转大数据容易吗,看这篇足矣了!

前言 毕业以来,还算顺利的进入一家互联网公司,从事Java后端的开发。一路走来将近八年的光景,期间经历过刚毕业工作的狂喜,也遇到过因工作失误而受到的打击。我觉得这都是一种历练,经过这些磨砺,算是学到了不少东西,同时我自己也探索了很多的学习方法,总结了很多心得体…

大数据【Java开发转大数据学习路线分解】(不断细化ing)

技术点: 将基础的数仓搭建沉淀成自己的实践方法论提高大数据实时处理平台的稳定性和高效性提升自己分析定位及解决问题的能力既懂得平台开发又懂得算法原理和应用注重风控系统,监控大数据平台安全前后端高吞吐交互处理以及服务的自动发现和多租户的权限…

java转大数据方向如何走?

大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/ 设计/ 架构、数据分析/挖掘。请不要问我哪个容易,哪个前景好,哪个钱多。 先扯一下大数据的4V特征: 数据量大,TB->PB 数据类型繁多,结构化…

java转大数据的学习路线

首先这个文章是转载的,留着后面基础再扎实一点之后开始学习,感谢原文的作者,写出了如此清晰的学习路线。原文作者文章链接:https://blog.csdn.net/gitchat/article/details/78341484 【不要错过文末彩蛋】 申明: 本…

当我说要做大数据工程师时他们都笑我,直到三个月后……

作者:Fickr孫啟誠 原文: 三个月大数据研发学习计划实战解析 关注微信公众号:「GitChat 技术杂谈」 一本正经的讲技术 【不要错过文末彩蛋】 申明: 本文旨在为普通程序员(Java程序员最佳)提供一个入门级别…

你为什么从java开发转大数据? 大数据方向能走的更远吗?

今天在知乎上看到一个问题,问: 你为什么从java开发转大数据方向?大数据方向能走的更远吗? 我是从java开发转到大数据开发的。 看到这个问题,想到了几年前,学校刚毕业时,在传统行业做java开发&am…

Java开发者想尝试转行大数据,三大方面详细的讲如何学大数据

相信很多Java开发者都对大数据有一定的了解,随着大数据时代的到来,也有很多Java程序员想要转行大数据。大数据技术中大多数平台使用的都是Java语言,因此,对于大数据技术的学习来说,Java程序员已经占尽了先机。但是很多…

Java转型大数据开发全套教程,都在这儿!

众所周知,很多语言技术已经在长久的历史发展中掩埋,这期间不同的程序员也走出的自己的发展道路。 有的去了解新的发展趋势的语言,了解新的技术,利用自己原先的思维顺利改变自己的title。 比如我自己,也都在往更高的技能…

java转大数据方向学习路线

申明: 本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学。 目录 前言 一、背景介绍 二、大数据介绍 正文 一、大数据相关…

Python定义变量不用声明类型

当在定义变量i时 声明为int类型时,运行程序就会出现语法格式错误,经过上网查询后得知Python不用去声明函数的返回类型,是由于其“若类型”的语言特性决定的。python是一种解释型语言,当你定义了一个变量时,解释器自动完…

python:循环定义多个变量

我们可能会时长碰到这样一个场景,计算得到一个非固定值,需要根据这个值定义相同数量个变量。 实现方式的核心是exec函数,exec函数可以执行我们输入的代码字符串。exec函数的简单例子: >>>exec (print "hello world") he…

Python基础语法——变量

一.Python 语言特点 1.简单易学:与C和Java比,Python的学习难度更低一点,更适合新手入门。 2.简洁明了。Python的语法非常简洁,代码量少,非常容易编写。 3.Python 是解释型语言: 开发过程中没有了编译这个…

Python中的全局变量

在本文章中,我们来讨论一下python中的全局变量,我们将学习如何定义全局变量,然后如何在函数中访问它们,以及如何在函数中修改全局变量的值。 全局变量: python的代码结构一般按照shebang、import模块、全局变量、函数…

Python3:变量的定义

1.简介 学习一门语言从当前的变量定义开始,来源于菜鸟教程:菜鸟教程中变量的定义 2.定义数字类型的变量 # 2.定义数字类型的变量 intNum1 # 整数默认为int floatNum1.1 # 小数都被定义为float complexNum1.1j # 使用j为结尾的变量表示复数 p…

Python 变量,定义变量,变量类型

变量的定义.py: # 1. 定义一个变量记录 QQ 号码。 定义变量必须要有 赋值;没有表示使用变量,会报未定义的错误 qq_number "1234567"# 2. 定义一个变量记录 QQ 密码 qq_password "123"# 如果希望通过解释器的方式,输出变量的内容…

Python定义全局变量的用法

全局变量是编程语言中常见的一种变量,通过全局定义,可以是某对象函数创建,也可以是本程序任何位置创建,能够被本程序中的所有对象或函数进行引用,全局变量的定义有利于程序的变量共享,简化了添加和修改的程序。 和C语言一样,Python也具有全局变量,其定义全局变量的用法…