注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

还东国的博客

行之苟有恒,久久自芬芳

 
 
 

日志

 
 

云计算和云存储之七Hadoop的发轫  

2016-09-04 12:57:37|  分类: |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

云计算和云存储之七Hadoop的发轫

环境都准备好,可以开始干活了,先把HADOOP启动,然后测试一下上面的WordCount程序,结果启动时报路径存在的错误。

好吧,不要理解成是在HADOOP中的删除文件夹或者说文件夹存在,它就是在UBUNTU上有这个文件夹,直接手动删除就OK了。

这个问题应该是Java程序里没有对路径进行判断,所以直接就写成固定的位置了。测试程序,无所谓,大家不要当回事儿。

当然大家还可以用命令把文件弄下来,到本地:

/usr/haddop-0.20.2$bin/Hadoop dfs –get in getin

上面的命令的意思是把HADOOP文件系统中的in文件下载到本地并重命名为getin

-rmr,删除命令,在上面也提到过了。

然后还有查看:

/usr/haddop-0.20.2$bin/Hadoop dfs –cat in/*

还有报告基本统计信息:

/usr/haddop-0.20.2$bin/Hadoop dfs –report

安全模式这里就不讲了,大家可以看书,这个毕竟是自动处理的。

添加节点和负载均衡这个在前边其实都一直在做,这里也不再详细的展开。

大家只要记得,在成功执行命令后,可以去:

http://(master node 的主机名/IP)50070

页面去查看效果就可以,一定记得要有耐心,可能网页的反应没有大家在单机上反应的那么快,这个问题困扰了好几次了。

下周回来,开始用JAVAHADOOPAPI操作工程。

  评论这张
 
阅读(72)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017