注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

还东国的博客

行之苟有恒,久久自芬芳

 
 
 

日志

 
 

云计算和云存储之六分布式Hadoop的安装的拾遗  

2016-07-10 14:22:37|  分类: |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

云计算和云存储之六分布式Hadoop的安装的拾遗

因为要把开发环境从公司拷贝到家里的新电脑上,就把虚拟机整体的给回迁了回来。认为本来就是分分钟的事儿就可以搞定,却搞了足足有一午之多。

总结起来有以下几个问题:

1、  master,slaver这两个文件的IP地址一定要和实际情况相对应。特别要说明的是:

无论是在MASTER还是在SLAVER(这里是2个)端,其conf目录下的两个XML文件:

Core-site.xml  mapred-site.xml都是完全一样,换句话说,你可以直接把主机端的这几个文件直接拷贝到客户端都可以。

2SSH一定要做好,特别是分两种情况:一种是在SLAVER端一定不要写错SCP的地址。第二种情况是MASTER端一定不要忘记在测试成功SSH 192.168.XXX.XXX后,记得EXIT,否则再打开一个SSH连接,即使做了授权,仍然会让你输入密码。切记。

3、记得在配置弄清楚后,清除临时文件和日志,临时文件位置在core-set.xml<name>hadoop.tmp.dir</name>据对就把路径下。

如果有必要做一个bin/hadoop   namenode    -format

,然后记得重启三个虚拟机。

4、启动HADOOP后,不要急,可以看一下客户机上的新日志,如果没有错误,过一会儿刷新一下网页http://localhost:50070就会出现有两个节点。

5、最大的经验教训是,要及时做好快照,这是虚拟机的利刃。不用就等于考虑拔了几颗牙。

其它网上说的类似于多临时分区删除(利用 Hadoop fs –ls /查看),HOST映射不对,都不是这次出现的主要问题。

特别是在查看Slaver上的日志时发现“Server at /192.168.123.132:9000 not available yet, Zzzzz...”才觉得可能是配置的不对,因为他去连接本机而不是去连接HADOOP的服务器主机的IP地址。改了半天不知道为啥也不对,后来还是恢复到快照,重新修改过来才OK

可以开始干活了。

  评论这张
 
阅读(110)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017