cloudera hadoop 安装

September 06, 2018

一、准备

1、JAVA 安装

要求:

  • JDK必须使用64位,不能使用32位.
  • cloudera5.3以上版本需要用JDK8
  • 必须在每台集群上安装相同版本的Oracle JDK
  • JDK必须被安装在/usr/java/jdk-(version) ,后来发现只要配置了JAVA_HOME可以在任何目录。
  • jdk 必须是Oracle JDK不能是open jdk

2、Mysql 安装

cloudera manage 会存储一些信息到数据库中,所以需要使用mysq,也可以使用其他DB,如:postgresql,mariadb

3、集群hostname配置

集群之间需要修改hostname,并且绑定hosts.使用hostnamectl set-hostname hadoop-11.142.dev.net 来修改主机的hostname,修改之后验证。

$ vim /ets/hosts
host1 hadoop-11.142.dev.net
host2 hadoop-11.143.dev.net
host3 hadoop-11.144.dev.net
host4 hadoop-11.145.dev.net
host5 hadoop-11.146.dev.net

4、ssh 免密登陆配置

cloudera manage需要访问和分发数据到salve节点,所以需要ssh免密登陆,只需要manage节点能免密登陆到salve节点即可.配置步骤如下。

 # 在manage节点上配置,先清除所以节点上的.ssh文件夹下的内容
$ ssh-keygen # 生成公钥和似钥
$ ssh-copy-id hadoop-11.142.dev.net #拷贝公钥到其他集群上,首先拷贝到自己上面,重复执行上面的步骤,直到拷贝完所有的节点。
$ ssh hadoop-11.143.dev.net #检验是否可以实现免密登陆。

5、安装所需模块和系统设置

$ yum install psmisc 
# 每一台宿主机都要设置
$ echo never > /sys/kernel/mm/transparent_hugepage/defrag
$ echo never > /sys/kernel/mm/transparent_hugepage/enabled
$ echo 10 >> /proc/sys/vm/swappiness #

6、下载parcel

此处下载是为了使用离线安装,不然安装的时候再下载,如果网络不好就会出现多次安装都没有不成功。此处下载比较耗时,可以先进行下载,下载存放目录可以任意,安装时可以指定。

$ wget -c http://archive.cloudera.com/cdh5/parcels/5.12/CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel
$ wget -c http://archive.cloudera.com/cdh5/parcels/5.12/CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel.sha1
$ wget -c http://archive.cloudera.com/cdh5/parcels/5.12/manifest.json

二、安装

1、 Cloudera Manager Server 安装

上面的准备工作都完成了之后就可以进行下载安装了,

1、命令安装

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

2、下载manager

# http://archive.cloudera.com/cm5/cm/5/
$ wget -c http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.2_x86_64.tar.gz
$ tar -zxf cloudera-manager-centos7-cm5.12.2_x86_64.tar.gz
$ cd ./cm-5.12.2

3、下载mysql-connector-java

下载mysql-connector-java并放入/usr/local/cloudera/cm-5.12.2/share/cmf/lib路径中,

$ wget -c https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-8.0.12.tar.gz
$ tar -zxf mysql-connector-java-8.0.12.tar.gz 
$ cd mysql-connector-java-8.0.12
$ cp mysql-connector-java-8.0.12.jar /usr/local/cloudera/cm-5.12.2/share/cmf/lib

4、创建db

$ cd ./cm-5.12.2/share/cmf/schema
# https://www.cloudera.com/documentation/enterprise/6/6.0/topics/prepare_cm_database.html 次命令有很多参数,具体参考
$ bash scm_prepare_database.sh mysql cm root password # 执行命令,创建db

5、修改agent配置

$ cd ./etc/cloudera-scm-agent/
$ vim config.ini
# Hostname of the CM server.
server_host=hadoop-11.142.dev.net

6、把agent分发到其他机器上

$ tar -zcf cm-5.12.2.tar.gz cm-5.12.2/
$ scp cm-5.12.2.tar.gz root@host2:/usr/local/cloudera
$ scp cm-5.12.2.tar.gz root@host3:/usr/local/cloudera
$ scp cm-5.12.2.tar.gz root@host4:/usr/local/cloudera
$ scp cm-5.12.2.tar.gz root@host5:/usr/local/cloudera

7、启动manage

# 添加用户
$ useradd --system --home=/usr/local/cloudera/cm-5.12.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
$ cd ./cm-5.12.2/run/cloudera-scm-server
$ ./cm-5.12.2/etc/init.d/cloudera-scm-server start

8、启动agent

$ ./cm-5.12.2/etc/init.d/cloudera-scm-agent start

9、启动hadoop集群

浏览器中访问manage服务器的ip:port,http://host1:7180/,密码账号为admin/amdin.进入执行页面

1 2 3 4 5

如果Parcel没有存放在/opt/cloudera/parcels 这个目录,就可以修改为自己存放文件的路径,需要修改一个文件名cp CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel.sha1 CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel.sha,把sha1文件改为sha,之后的都默认一直继续。

6 如果有警告,需要解决警告,上面有提示解决方法,如果没有警告就继续执行下一步。

7 可以自定义选择安装的软件。

8 通过自己服务的情况,来分配角色,除了manage servie不能修改。

9

连接之前安装的mysql,要有能连接上的权限的账号和密码。写完之后可以测试连接一下。在安装过程中会出现hiveOoize没有数据库连接的包报错,此时需要把之前下载好的jar包分发到hiveOoize的主机上去。

# hive 主机在配置角色页面上指定
$ scp mysql-connector-java-8.0.12.jar root@host5:/opt/cloudera/parcels/CDH/lib/hive/lib
# oozie 主机在配置角色页面上指定
$ scp mysql-connector-java-8.0.12.jar root@host3:/var/lib/oozie

10 11

三、 下载地址

四、参考


LRF 记录学习、生活的点滴