大数据平台搭建,cdh选型配置

article/2025/10/9 19:15:26

天天干后端,又干前端,本行大数据,差点生疏了,哦吼~正当我发愁之际。

领导安排任务了,下个月去某控上市公司。他们需要从0 开始做大数据平台,主要工作内容如下,

平台搭建,数据迁移,数据分析与挖掘。然后让我招2个大数据小弟和我一起去干活。


由于工作大致分3块,而前2块是核心,数据平台搭建和数据迁移,这种东西搞不好,问题比较严重,所以我不是很放心,交给他们,因为公司开的工作年限招小弟,只有2年以上经验,我想工资给的也不会高,2年左右,在公司中,一般不会给你机会,让你搭建平台。所以我先以悲观的想法,去整这件事。小弟招不好,我干活就累。所以一方面,梳理和复习搭建的技术,另一方面,从中抽取些面试题,然后面新人。

怎么做呢,先对比下自己公司的cdh(测试服局域网)是什么个硬件

硬件如下

 12台主机,其中前三台是数据核心,磁盘是120T,内存是64G

总共加起来,磁盘140TB,内存64G*12左右

应用服务配置

flume是3台,hbase3台,hdfs3台。对于计算的全是12台,存储数据的就是那3台(占120GB磁盘)的3台。对于可视化界面hue,ooize调度,这些辅助工具都是只有1个。

kudu数据仓库与impala查询配合,所以也是12台

 先暂时这样,我要去写招人文档了

各版本信息


http://chatgpt.dhexx.cn/article/ngbODsKd.shtml

相关文章

大数据平台CDH搭建

一、数仓之Cloudera Manager 1、CM简介 1.1、简介 Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具。 1.2、架构 1)Cloudera Repository:软件由Cloudera管理分布存储库。(有点类似Maven的中心仓库&…

大数据平台搭建目录

欢迎各位学习和借鉴搭配大数据系统 1.备注 省略了一些文件的创建,请自行创建 2.配置到大数据系统的所有配套文件 案例中所使用的版本,解决了版本适配问题 百度网盘链接:https://pan.baidu.com/s/1B5sx61Ori4U8fshHE3bJaA 提取码:6666 一.安装Lunx&…

高可用的分布式Hadoop大数据平台搭建,超详细,附代码。

目录 前言1: 前言2: 一,基础环境 1,三台Centos7.5,一台master,两台slave1和slave2 2,IP配置 ​ 3,改主机名 4,配三台主机映射 5,三台主机时钟同步 6&a…

CDH大数据平台搭建之集群规划

CDH大数据平台搭建之集群规划 前言一、集群规模二、集群规划总结 前言 话说无规矩不成方圆,搭建CDH大数据平台之前需要的工作很多,首先,你需要计算公司每日的数据量,来确定需要多少服务器,确定好服务器之后&#xff0…

大数据平台搭建及集群规划

CDH大数据平台搭建之集群规划_码上_成功的博客-CSDN博客_cdh集群规划 大数据Hadoop分布式集群部署(详细版)_arnoldmp的博客-CSDN博客_分布式集群部署 大数据平台的硬件规划、网络调优、架构设计、节点规划 【全网独家】大数据集群节点与硬件规划_大数…

知名大厂大数据平台搭建案例分享

“ 今天我们来看一下淘宝、美团和滴滴的大数据平台” 01 淘宝大数据平台 淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司,下图是淘宝早期的 Hadoop 大数据平台,比较典型。 淘宝的大数据平台基本也是分成三个部分,上面是数据源与数据…

CDH大数据平台搭建之HADOOP分布式集群搭建

CDH大数据平台搭建之HADOOP安装 一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载 三、搭建集群1.虚拟机准备2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录:2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文…

大数据平台搭建实训报告(思路而已)

目录 1.环境准备 1.1实验目的 1.2实践操作 2.部署HDFS 2.1实验步骤 2.2实践操作 3.实验三 HDFS shell操作 3.1实验目的 3.2实践操作 3.2.1练习对HDFS文件创建、查看、删除、复制、粘贴等文件操作 3.2.2练习本地文件与HDFS文件的上传与下载 3.2.3练习HDFS文件权限修…

CDH大数据平台搭建

Hadoop是apache旗下的一套开源软件平台, 主要对海量数据进行分布式处理。 本次部署,计划使用5台服务器,服务器磁盘规划如下: 分区挂载完成以后,使用root用户执行对目录/data授权。每台服务器都执行此命令。 chmod 777 -R /data …

Hadoop大数据平台搭建(一)

虚拟机准备(本节针对于初学者) vmawre、xshell、centos7镜像及搭建包自提地址已放在评论区。 目录 虚拟机准备(本节针对于初学者) 1、节点规划 2、虚拟机安装 3、启动虚拟机配置网关 总结 1、节点规划 2、虚拟机安装 这里的系统和…

大数据平台搭建详细流程(一)框架简介与平台准备

一、框架简介与平台准备 1.1、框架 1.2、硬件 CPU:四核、内存:4G、磁盘:50G hadoop102、hadoop103、hadoop104 1.3、操作系统 操作系统:Centos7(最小系统) 1.4、基础环境 1.4.1、网络配置 hadoop10…

Hadoop大数据平台搭建(超详细步骤)

相关软件下载链接: Xshell:家庭/学校免费 - NetSarang Website Xftp:家庭/学校免费 - NetSarang Website Xshell与Xftp官网:XSHELL - NetSarang Website Jdk:百度网盘 请输入提取码 提取码:jdhp Hado…

大数据实战平台环境搭建

大数据实战平台环境搭建 一、创建 Hadoop 用户二、更新apt和安装Vim编辑器三、安装 SSH 和配置 SSH 无密码登录四、安装 Java五、安装单机 Hadoop六、Hadoop 伪分布式安装七、HDFS常用命令八、HDFS实验之通过JAVA-API访问HDFS 一、创建 Hadoop 用户 1、创建 Hadoop 用户&#…

大数据基础平台搭建-(一)基础环境准备

大数据基础平台搭建-(一)基础环境准备 大数据平台系列文章: 1、大数据基础平台搭建-(一)基础环境准备 2、大数据基础平台搭建-(二)Hadoop集群搭建 3、大数据基础平台搭建-(三&#x…

QList添加自定义结构体

QList中使用自定义结构体后,构建错误信息如下: 看内容是说需要重载,遂进行重载,如下: 重新构建,不再提示错误。

4.6 案例10 使用QList处理数据集

本案例对应的源代码目录&#xff1a;src/chapter04/ks04_06。 本节介绍Qt的数据处理类QList。如果要使用QList&#xff0c;需要包含其头文件<QList>。本案例也设计了三种编程场景对QList的使用进行介绍。 &#xff08;1&#xff09;向QList中添加成员并遍历。 &#x…

Qt· 常用容器之QList

目录 1、QList介绍 2、构造函数 3、插入函数 4、删除和移动类函数 5、访问和查询函数 6、替换、移动和交换函数 7、运算符函数 8、迭代器函数 9、容器类型转换函数 其他内容 1、QList介绍 在开始讲解 QList 之前&#xff0c;我们先明确一下 Qt 数据容器能存储什么&a…

QT QList<T>介绍与应用、详解、使用说明、官方手册翻译

文章目录 1. 简介2. 使用示例3. 官方手册4. Member Function Documentation 1. 简介 QList<T>是目前最常用的容器类 。它存储了给定类型的值的一个列表&#xff0c;而这些值可以通过索引访问。在内部&#xff0c;QList使用数组来实现&#xff0c;一确保进行快速的基于索…

Web后端开发入门(3)

在Eclipse中创建web项目 右键->new->Project->Web->Dynamic Web Project->下一步 Project name&#xff1a;给你的web项目起一个名称 Target runtime:你这个项目运行在哪一个web服务器上。点击New runtime&#xff0c;选择自己安装的服务器&#xff0c;然后点击…