119
  1. SSH免密登录:
  2. 安装配置Hadoop:
  3. 启动Hadoop:

本文将多次使用名词主节点与子节点,主节点对应master,子节点对应node1与node2

SSH免密登录:


1.主节点执行命令ssh-keygen -t rsa 产生密钥,一直回车

2.完成后,将秘钥复制到其他两个节点

ssh-copy-id -i node1

ssh-copy-id -i node2

这样就实现了免密登录到子节点

3.在主节点使用命令ssh node1登录到node1上,第一次需要使用密码,后面就不需要了,使用命令exit可以退出,这样就能验证ssh登录

4.实现主节点master本地免密码登录(子节点不需要执行,仅在主节点执行)

首先进入到/root目录

命令:cd  /root

再进入进入到 ./.ssh目录下

命令:cd ./.ssh/

然后将公钥写入本地执行

命令cat ./id_rsa.pub >> ./authorized_keys

安装配置Hadoop:


使用xftp将Hadoop-2.6.0.tar.gz传到主节点上

解压Hadoop-2.6.0.tar.gz

命令:tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/soft/

进入目录/usr/local/soft/hadoop-2.6.0/etc/hadoop

命令:cd /usr/local/soft/hadoop-2.6.0/etc/hadoop

1.修改slaves

命令:vi slaves

把内容改为子节点主机名

2.修改hadoop-env.sh

命令:vi hadoop-env.sh

添加java的环境变量

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

3.修改core-site.xml

命令:vi core-site.xml

添加代码

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/soft/hadoop-2.6.0/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
</configuration>

4.修改hdfs-site.xml

命令:vi hdfs-site.xml

添加代码

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

5.修改yarn-site.xml

命令:vi yarn-site.xml

添加代码

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

6.修改mapred-site.xml

将mapred-site.xml.template 复制一份为 mapred-site.xml

命令:cp mapred-site.xml.template mapred-site.xml

命令:vi yarn-site.xml

添加代码

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

7.将hadoop的安装目录分别拷贝到其他子节点

命令:scp -r /usr/local/soft/hadoop-2.6.0  node1:/usr/local/soft/

命令:scp -r /usr/local/soft/hadoop-2.6.0  node2:/usr/local/soft/

8.格式化

hadoop-2.6.0目录下若没有tmp文件夹

执行一次格式化命令:./bin/hdfs namenode -format

会生成tmp文件

注:此命令执行一次即可,若再次执行,tmp目录会再次格式化

启动Hadoop:


在/usr/local/soft/hadoop-2.6.0目录下

输入./sbin/start-all.sh启动Hadoop

验证进程:

在主节点和子节点输入jps

主节点master

子节点node1

子节点node2

验证hdfs:

在本机登录浏览器地址:192.168.2.128:50070(IP地址为主节点master的ip)

显示下图,证明hdfs安装成功

注:如果首次启动失败,请重新检查配置文件或者步骤正确性!

再次重启的时候,需要手动将每个节点的tmp目录(/usr/local/soft/hadoop-2.6.0/tmp)删除

然后执行将namenode格式化

在主节点执行命令./bin/hdfs namenode -format

Hadoop集群搭建-虚拟机(上)

Hadoop集群搭建-虚拟机(中)

转载原创文章请注明,转载自: 酌金樽化清风 » Hadoop集群搭建-虚拟机(下)

留言

Loading...

发表评论

电子邮件地址不会被公开。 必填项已用*标注

  1. 你不是真正的快乐 五月天 5:00
  2. Chris Medina - What Are Words 3:08
  3. Carry Me Home SOHN 4:09
  4. Right Here Waiting 李玖哲 4:22