hadoop入门1:ERROR Cannot set priority of datanode process

article/2025/10/14 4:08:52

问题现象:

部署hadoop-3.1.2,启动hdfs时出现如下错误:

Starting datanodes
zglinux: ERROR: Cannot set priority of datanode process 2905

解决方案:

此问题困扰了很久,百度上也搜不到,且是我已经在公司的环境下部署成功,回家后部署失败的情况下产生,甚是气恼。因而,解决后发誓写成此博,以警示后人。可能的方案:

  • core-site.xml配置错误

core-site.xml是配置hadoop 组件hdfs(分布式文件系统的)的,此datanode即为hdfs中成员,因而可能由core-site.xml配置出错导致—我的不是;

  • hadoop-env.sh环境变量配置问题

可能在环境变量中配置了HDFS_DATANODE_SECURE_USER=root,导致错误—我的就是这个原因,至于这个配置有撒用,暂时不知;至于当初为撒要配置这个,是因为网络中有“安装手册”贴了这个,可能也是我知其然不知其所以然导致…

# -------- for set priority if datanode process-----error
export HDFS_DATANODE_SECURE_USER=root

错误后日志:

配置了以上环境变量并报错后,在hadoop的日志目录产生privileged-root-datanode-XXX.out文件,记录了datanode出错的原因,如下:

小弟就是根据此对配置文件产生了怀疑+灵感,因而得出解决方案。

正确的现象:

最后,贴出个正确结果,希望以此激励大家,有关hadoop的安装小弟就不多写了,网上一大堆-----谢谢。


http://chatgpt.dhexx.cn/article/ERly35Yr.shtml

相关文章

hadoop报错ERROR: Cannot set priority of namenode process

现象: 解决: 1.看Hadoop的日志: 查看namenode日志:tail -n 200 hadoop-xinjie-namenode-VM-0-9-centos.log (文件目录所在位置:hadoop安装位置logs文件) 2.发现是端口占用 3.命令查看端口占用…

Cannot set priority of nodemanager process xxx问题

Cannot set priority of nodemanager process xxx问题 一、问题描述 这个问题是我在配置hadoop集群时遇到的问题,启动resourcemanager和nodemanager时总会出现,但是奇怪的是只会在第二台机器出现这个问题,当把resourcemanager配置到其他机器时…

关于hadoop的Cannot set priority of datanode process

关于使用Hadoop3.1.2安装时的报错,在进行start-dfs.sh发生了Cannot set priority of datanode process xxx的报错。 之前搜索了很多文章一直没有效果,用了一个下午的时间。最后我思考是不是我的初始化操作有问题。因为之前我用root账户进行了初始化操作…

Hadoop在启动yarn时报错:Cannot set priority of resourcemanager process xxxxx

着急看解决方法的请直接奔文末。 今天刚开始弄Hadoop,启动完namenode和hadoop之后,开始启动yarn,结果直接报错了: Cannot set priority of resourcemanager process 93826 翻译过来就是说:无法设置resourcemanager进…

Traceroute和Tracert

Traceroute是Linux和Mac OS等系统默认提供的路由追踪小程序,Tracert是Windows系统默认提供的路由追踪小程序。二者的功能相同,都能探测数据包从源地址到目的地址经过的路由器的IP地址。Traceroute/Tracert的实现都借助了TTL:通过向目的地址发…

Centos安装traceroute

Centos安装traceroute 什么是traceroute,网络追踪 traceroute (Windows 系统下是tracert) 命令利用ICMP 协议定位您的计算机和目标计算机之间的所有路由器。TTL 值可以反映数据包经过的路由器或网关的数量,通过操纵独立ICMP 呼叫报文的TTL 值和观察该报…

Traceroute/tracert原理和实践

*本文原创作者:ArkTeam/YSYY,转载须注明来自FreeBuf.COM 一、路由追踪程序traceroute/tracert Traceroute是Linux和Mac OS等系统默认提供的路由追踪小程序,Tracert是Windows系统默认提供的路由追踪小程序。二者的功能相同,都能探…

关于tcpTrace使用

关于tcpTrace 一款系统请求、响应的监听工具, 体积小, 工具界面简洁, 使用简单. 官网链接 https://www.pocketsoap.com/tcptrace/ 使用方式 1. 下载好工具后打开出现如下界面 Listen on Port # : 需要监听的端口, 可以随意, 但是端口必须是未被占用的状态. Destination …

tcp/ip ---------- traceroute

Ping通过发送ICMP回显请求和应答报文来完成,traceroute通过发送UDP报文的TTL和判断对方回复的ICMP报文来完成 Traceroute程序可以让我们看到IP数据报从一台主机传到另一台主机所经过的路由,还可以使用IP路由选项 在Ping程序中,我们描述了IP记…

TraceRoute实现

网络课上老师布置了第二个作业,写一个TraceRoute的程序。 Traceroute的工作原理: Traceroute程序的设计是利用ICMP及IP header的TTL(Time To Live)栏位(field)。首先,traceroute送出一个TTL是1…

tcp client

Mina 自定义硬件通讯协议框架搭建(TCP Client) 2018.03.04 18:49:29字数 1057阅读 2323 Apache MINA 是一个能够帮助用户开发高性能和高伸缩性网络应用程序的框架。它通过Java nio技术基于TCP/IP和UDP/IP协议提供了抽象的、事件驱动的、异步的API。 使用背景 大三读完,出去…

traceroute的工作原理

MyySophia5个月前 traceroute的工作原理 是利用ICMP差错控制报文中的TTL超时会回向源点发送一个时间超时报文。例如A 主机 traceroute B主机,A会封装一些分组,这些分组很特殊,例如第一个分组的TTL设置为1 ,第二个分组的TTL设置为…

TCPTRACE的使用说明

主要的配置项介绍 Listen on Port :本机监听的端口,后面请求服务时使用; Destination Server :目标服务器的地址 Destination Port :目标端口 完成后,在地址栏中输入 http://127.0.0.1:8080(或 http://loca…

tcptrace

http://download.csdn.net/tag/tcptrace TcpTrace 0.8.1.717 http://www.soft82.com/download/windows/tcptrace/ 用tcpTrace查看SOAP请求/应答消息 使用说明 12. 五月 2009 23:17 by 螵蛸in Server技术 // Tags: tcpTrace, SOAP // 评论 (0) 对于开发Web服务应用…

tracert/traceroute原理

一、路由追踪程序traceroute/tracert Traceroute是Linux和Mac OS等系统默认提供的路由追踪小程序,Tracert是Windows系统默认提供的路由追踪小程序。二者的功能相同,都能探测数据包从源地址到目的地址经过的路由器的IP地址。Traceroute/Tracert的实现都借…

tcpTrace的使用

tcpTrace是一款小巧的获取请求报文和响应报文的工具,使用非常简单。 比如我现在有一个服务地址是http://localhost:8080/springmvc/handle.do,那么我们在tcpTrace中的配置如下: listen on port:8081(这个端口号可以自己设定&…

Tracetcp/Tcptrace的使用

Tracetcp是一个类似于Tracert的工具,可以直接在命令后加端口进行指定端口测试。 使用Tracetcp要求 1. 安装winpcap , 下载链接:https://www.winpcap.org/install/ 2.下载tracetcp软件,下载链接: https://github.com…

traceroute详解

traceroute详解 1.traceroute基本概念 traceroute (Windows系统下是tracert) 命令利用ICMP 协议定位您的计算机和目标计算机之间的所有路由器。TTL值可以反映数据包经过的路由器或网关的数量,通过操纵独立ICMP呼叫报文的TTL值和观察该报文被抛弃的返回信息&#x…

如何使用TCP Traceroute

与发送UDP或ICMP ECHO数据包的传统跟踪路由不同,TCP跟踪路由使用TCP数据包,因此可以绕过最常见的防火墙过滤器。 请遵循以下说明以运行TCP Traceroute: 对于Windows用户对于Mac用户对于Linux用户 对于Windows用户, Windows没有…

TCP/IP 网络:Traceroute程序

Traceroute是一个用来探索TCP/IP协议的工具,他通过ICMP协议可以让我们看到IP数据报从一台主机传送到另一台主机所经过的所有路由。 使用方法: traceroute [参数] [主机名] windows下命令为 tracert [] [] [-n]:显示的地址是用数字表示而不是符号[-v]…