首先需要明白,在windows使用eclipse操作linux系统中安装的hadoop集群,需要在本地也安装一份hadoop,这个hadoop需要在本地进行编译才能使用。
1.编译hadoop,编译教程很多,可以去搜索,或者直接下载已经编译好的bin文件。
下载连接:http://download.csdn.net/detail/u010286605/9743359
2.解压一份hadoop到本地,将上面准备好的bin合并到到hadoop的安装目录中的bin,然后配置环境变量,
路径是hadoop 的bin文件。例如:我安装的路径是:G:\hadoop-2.6.4 环境变量path中配置为:G:\hadoop-2.6.4\bin;
3.测试:打开黑窗口,直接输入:winutils.exe如下则成功
4.eclipse测试代码
新建java project
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://ip地址:9000");//ip地址为hadoop的主服务器 // 拿到一个文件系统操作的客户端对象 FileSystem fs = FileSystem.get(conf); fs.copyFromLocalFile(new Path("d:/mylog.log"), new Path("/mylog.log.copy"));//测试文件 fs.close(); }运行时加上参数
5.浏览器打开http://ip地址:50070/
查看
成功