博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop中遇到的一些问题
阅读量:6657 次
发布时间:2019-06-25

本文共 914 字,大约阅读时间需要 3 分钟。

1、在hdfs中创建文件夹时

hadoop fs -mkdir testdata

错误 提示:No such file or directory

解决方法: 

hadoop fs -mkdir -p /user/hadoop/testdata
2、datanode无法启动

jps发现没有datanode服务。

解决方法:

删除datanode的所有资料。将集群中每个datanode的/hdfs/data/current中的VERSION删掉,hdfs为hadoop-src/conf/hdfs-site.xml中name为dfs.data.dir所指向的值,如:/usr/local/hadoop/data/hadoop/data,

/hdfs/data/current/VERSION =/usr/local/hadoop/data/hadoop/data/current/VERSION)。

然后stop所有服务,格式化namenode。。。

stop-all.shhadoop namenode -formatstart-all.shjps

3.使用hadoop fs -ls时报错

WARN ipc.Client: Address change detected. Old: xxx New:  xxx

/etc/hosts文件内容在启动前后有变动,或者IP与主机名称配置不正确

4.javac 编译引入hadoop API 时报错

(1)、可以通过配置hadoop的classpath变量解决;

export	CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

(2)、在编译时引入hadoop core包

javac -classpath hadoop-core-xxx.jar Xxxxx.java

若依赖的还有其他包则使用 : 加上

javac -classpath hadoop-core-xxx.jar:XXX.jar Xxxxx.java

转载于:https://www.cnblogs.com/baalhuo/p/5762106.html

你可能感兴趣的文章
python 一致性hash
查看>>
jquery submit()不能提交表单的解决方法
查看>>
iOS:KVO/KVC 的概述与使用
查看>>
Ubuntu 12.04 LTS 下配置 apache支持SPDY, 使用wireshark 抓包分析SPDY 协议
查看>>
安卓开发_慕课网_百度地图_添加覆盖物
查看>>
RabbitMQ基本概念和使用
查看>>
JSP网站开发基础总结《十三》
查看>>
SQL Server 2005 安装图解教程(Windows)
查看>>
3.0+百度地图在地图初始化的时候就弹框展示一个信息框,而不是用户点击poi时才弹出...
查看>>
第一部分 mongodb 基础篇
查看>>
俯卧撑:男人体能健康的检测标准
查看>>
坚持的力量 第二篇
查看>>
silverlight 进行本地串口调用的一种可行的解决方法
查看>>
emacs之配置4,颜色插件
查看>>
emmet语法
查看>>
[效率提升]工作中的那些命令行
查看>>
citus 多租户应用开发(来自官方文档)
查看>>
java鼠标双击和右键事件处理
查看>>
hash算法
查看>>
Apache LRU算法问题分析解决
查看>>