centos下,安装spark+hadoop+scala,

说下我遇到的问题和注意事项

1、hadoop的文件夹及用户问题

假定是3台部署,1台master,2台slave,在master,slave1,slave2上均建立hadoop用户,

然后用命令修改所有者

sudo chown -hR hadoop /srv/hadoop

2、低级错误,端口号,主要是全角的冒号::导致的

hdfs://master:9000和hdfs://master:9000

因为复制的电子书的配置文件

3、端口号,no route to host

这是个组名的问题难题,虽然官方有说明,但一点解决不了问题

还是要自己解决

一个是关闭防火墙,另外一个是查看端口telnet ip 端口号,

sudo iptables -F

缺点是机器重启后要重新运行一次

netstat -ntual | grep 9000

4、SSH免密码登录

ssh-keygen -t rsa  而不是ssh-keygen -trsa,书上的错误

5、HOSTS配置

192.168.0.100 master

192.168.0.200 slave1

192.168.0.201 slave2

6、JPS少了进场

master运行JPS,只有namenode ,secondarynamenode,jps ,resourcemanager

slave运行jps ,只有datanode,nodemanager,jps

50070能访问,但50030不能,没有jobtracker和 tasktracker

原因是2.*版本后没有了这2个