mac下eclipse调试vagrant hadoop

#hadoop

情况简介

mac下不想装图形界面虚拟机,所以用vagrant+virtual box虚拟了ubuntu环境,在ubuntu下配置好hadoop环境,然后利用eclipse远程调试

简直就是蛋疼……

准备

  • vagrant环境
  • virtual box
  • hadoop环境,我的是hadoop 2.5.2 + hbase 0.98.11

一切部署都在这里弄好了,配一次,以后可以直接用了,不要因为换机器而烦恼了……:

https://github.com/yijia2413/vagrant-cascading-hadoop-cluster

配置步骤

  • step1: 假设hadoop + hbase都配置好了,在远程(或者vagrant里面)
  • step2: 下载安装eclipse,官网解决即可,for os x
  • step3: 下载hadoop2x-eclipse-plugin,放入ecipse插件下

在release目录下,没想到2.6.0的插件居然也做好了,2.6.0可以兼容2.5.2,可以放心使用,执行以下操作

cp hadoop-eclipse-kepler-plugin-2.2.0.jar /your_path/eclipse/plugins

/your_path/eclipse/ -clean
  • step4: 下载hadoop源码包,在本地,无需配置,解压即可,eclipse要用到里面的lib文件,在preference里面,添加hadoop的location即可。比如:~/hadoop-2.5.2/

  • step5: eclipse->window->Open Perspective->others->mapreduce,下方mapreduce location,右键添加location

接下来要配置location的一些参数,我的配置如下:

location name: Namenode
map/reduce(v2) Master:
host:192.168.7.10
port:9001

dfs master:
host:192.168.7.10
port:9000

username:vagrant

IP为远程IP,此处为vagrant的master节点对应的ip(伪分布式)

  • step6: 新建mapreduce项目,新建一个class,就可以开始写程序了

可以用官方的程序做一个验证

  • step7: 配置参数:

下面是我的运行参数配置,ip地址也可以改为master.local,当然修改了hosts

hdfs://192.168.7.10:9000/tmp/pg20417.txt hdfs://192.168.7.10:9000/tmp/pg20417.out
  • step8: 运行,检测,搞定

  • step9: 添加log,在eclipse的控制台,在src里面加入log4j.properties即可

完成

此时,可以在eclipse里面尽情的远程调试hadoop程序了