博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop使用中遇到的问题
阅读量:7235 次
发布时间:2019-06-29

本文共 965 字,大约阅读时间需要 3 分钟。

hot3.png

将本地文件拷贝到hdfs上去,结果上错误:Name node is in safe mode

这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除, 直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过 命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。

可以通过以下命令来手动离开安全模式:

  1. bin/hadoop dfsadmin -safemode leave  

用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:

enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待,一直到安全模式结束。

 

 

T

 

在hive中,创建表后,使用load data命令加载数据到表中,出现“There are 0 datanode(s) running and no node(s) are excluded in this operation”错误,于是使用jps命令查看datanode节点是否都已经启动,发现都是正常启动 的,然后又使用“hdfs dfsadmin -report”命令查看节点的报告信息,发现没有“存活”的datanode节点,同样通过http://master:50070/查看也是没有 datanode节点。回想了下,估计是之前删除hdfs上的部分文件,格式化hadoop namenode -format后,存在版本残留的问题。于是,停掉hadoop,删除dfs.namenode.name.dir设置的(file:///dfs /data)目录下的current 文件夹,从节点相应目录也要删除,再次执行格式化,重启hadoop,问题解决。

 

hadoop自带网页监控

localhost:8088

localhost:50070

转载于:https://my.oschina.net/iioschina/blog/707501

你可能感兴趣的文章
微信小程序下拉框
查看>>
【Java】Swagger2 结合spring boot 请求接口自动生成文档
查看>>
迭代器
查看>>
node express mongodb 数据录入
查看>>
Oracle使用随机数插入表数据
查看>>
python下基于sokcet的tcp通信——入门篇
查看>>
python socket之tcp服务器与客户端demo
查看>>
码农们:完美主义也是一种错
查看>>
温馨的一刻
查看>>
C# 中实现表达式计算
查看>>
1113: 递归调用的次数统计(函数专题)
查看>>
MongoDB的安装和基本操作
查看>>
PLSQL_海量数据处理系列4_并行
查看>>
JavaScript中date 对象常用方法
查看>>
统计学习方法 李航---第6章 逻辑回归与最大熵模型
查看>>
C# 解析html —— 将html转为XHTML,然后利用Xml解析
查看>>
BitBlt 函数 详解, StretchBlt、SetStretchBltMode、SetBrushOrgEx 按句柄截图、直接截取缩略图...
查看>>
Java学习笔记(2)
查看>>
S3C2440 SDRAM内存驱动
查看>>
Oracle的一些简单语句
查看>>