干货分享:Hadoop学习系列一之环境搭建
浏览器打开http://192.168.56.100:50070: 可以看到Live Nodes是3,说明由node1管理的3个节点在运行中 在namenode上使用slaves文件启动datanode 其实可以直接在namenode上启动datanode,但要确保datanode上的hadoop路径与namenode上的一致,而且需要datanode配置了上一篇文章中提到的core-site.xml。在etc/hadoop/slaves中添加所有的datanode节点: node2 node3 node4 使用下列命令启动整个集群: start-dfs.sh 运行完成后,发现datanode也都启动了 在namenode上免密启动datanode 虽然上面通过slaves文件已经可以启动整个集群了,但是在连接每个datanode时都需要输入密码,很不方便。 到root用户的.ssh下: cd /root/.ssh 生成密钥对: ssh-keygen -t rsa 将密钥对拷贝到所有node中: ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3 ssh-copy-id node4 接下来,启动和结束hdfs时不需要再输入密码 hdfs的使用 使用hadoop fs或hdfs dfs可查看帮助 将文件1.txt保存到hdfs根目录下: hadoop fs -put ./1.txt / 查看hdfs根目录文件: hadoop fs -ls / 命令和linux下命令很像 (编辑:威海站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |