一、准备
1、JAVA 安装
要求:
JDK
必须使用64
位,不能使用32
位.cloudera5.3
以上版本需要用JDK8
。- 必须在每台集群上安装相同版本的
Oracle JDK
。 JDK
必须被安装在/usr/java/jdk-(version)
,后来发现只要配置了JAVA_HOME
可以在任何目录。jdk
必须是Oracle JDK
不能是open jdk
。
2、Mysql 安装
cloudera manage
会存储一些信息到数据库中,所以需要使用mysq
,也可以使用其他DB
,如:postgresql
,mariadb
3、集群hostname配置
集群之间需要修改hostname
,并且绑定hosts
.使用hostnamectl set-hostname hadoop-11.142.dev.net
来修改主机的hostname
,修改之后验证。
$ vim /ets/hosts
host1 hadoop-11.142.dev.net
host2 hadoop-11.143.dev.net
host3 hadoop-11.144.dev.net
host4 hadoop-11.145.dev.net
host5 hadoop-11.146.dev.net
4、ssh 免密登陆配置
cloudera manage
需要访问和分发数据到salve
节点,所以需要ssh
免密登陆,只需要manage
节点能免密登陆到salve
节点即可.配置步骤如下。
# 在manage节点上配置,先清除所以节点上的.ssh文件夹下的内容
$ ssh-keygen # 生成公钥和似钥
$ ssh-copy-id hadoop-11.142.dev.net #拷贝公钥到其他集群上,首先拷贝到自己上面,重复执行上面的步骤,直到拷贝完所有的节点。
$ ssh hadoop-11.143.dev.net #检验是否可以实现免密登陆。
5、安装所需模块和系统设置
$ yum install psmisc
# 每一台宿主机都要设置
$ echo never > /sys/kernel/mm/transparent_hugepage/defrag
$ echo never > /sys/kernel/mm/transparent_hugepage/enabled
$ echo 10 >> /proc/sys/vm/swappiness #
6、下载parcel
此处下载是为了使用离线安装,不然安装的时候再下载,如果网络不好就会出现多次安装都没有不成功。此处下载比较耗时,可以先进行下载,下载存放目录可以任意,安装时可以指定。
$ wget -c http://archive.cloudera.com/cdh5/parcels/5.12/CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel
$ wget -c http://archive.cloudera.com/cdh5/parcels/5.12/CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel.sha1
$ wget -c http://archive.cloudera.com/cdh5/parcels/5.12/manifest.json
二、安装
1、 Cloudera Manager Server 安装
上面的准备工作都完成了之后就可以进行下载安装了,
1、命令安装
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
2、下载manager
# http://archive.cloudera.com/cm5/cm/5/
$ wget -c http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.2_x86_64.tar.gz
$ tar -zxf cloudera-manager-centos7-cm5.12.2_x86_64.tar.gz
$ cd ./cm-5.12.2
3、下载mysql-connector-java
下载mysql-connector-java
并放入/usr/local/cloudera/cm-5.12.2/share/cmf/lib
路径中,
$ wget -c https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-8.0.12.tar.gz
$ tar -zxf mysql-connector-java-8.0.12.tar.gz
$ cd mysql-connector-java-8.0.12
$ cp mysql-connector-java-8.0.12.jar /usr/local/cloudera/cm-5.12.2/share/cmf/lib
4、创建db
$ cd ./cm-5.12.2/share/cmf/schema
# https://www.cloudera.com/documentation/enterprise/6/6.0/topics/prepare_cm_database.html 次命令有很多参数,具体参考
$ bash scm_prepare_database.sh mysql cm root password # 执行命令,创建db
5、修改agent配置
$ cd ./etc/cloudera-scm-agent/
$ vim config.ini
# Hostname of the CM server.
server_host=hadoop-11.142.dev.net
6、把agent分发到其他机器上
$ tar -zcf cm-5.12.2.tar.gz cm-5.12.2/
$ scp cm-5.12.2.tar.gz root@host2:/usr/local/cloudera
$ scp cm-5.12.2.tar.gz root@host3:/usr/local/cloudera
$ scp cm-5.12.2.tar.gz root@host4:/usr/local/cloudera
$ scp cm-5.12.2.tar.gz root@host5:/usr/local/cloudera
7、启动manage
# 添加用户
$ useradd --system --home=/usr/local/cloudera/cm-5.12.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
$ cd ./cm-5.12.2/run/cloudera-scm-server
$ ./cm-5.12.2/etc/init.d/cloudera-scm-server start
8、启动agent
$ ./cm-5.12.2/etc/init.d/cloudera-scm-agent start
9、启动hadoop集群
浏览器中访问manage
服务器的ip:port
,http://host1:7180/
,密码账号为admin/amdin
.进入执行页面
如果Parcel
没有存放在/opt/cloudera/parcels
这个目录,就可以修改为自己存放文件的路径,需要修改一个文件名cp CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel.sha1 CDH-5.12.2-1.cdh5.12.2.p0.4-el7.parcel.sha
,把sha1
文件改为sha
,之后的都默认一直继续。
如果有警告,需要解决警告,上面有提示解决方法,如果没有警告就继续执行下一步。
可以自定义选择安装的软件。
通过自己服务的情况,来分配角色,除了manage servie
不能修改。
连接之前安装的mysql,要有能连接上的权限的账号和密码。写完之后可以测试连接一下。在安装过程中会出现hive
和Ooize
没有数据库连接的包报错,此时需要把之前下载好的jar
包分发到hive
和Ooize
的主机上去。
# hive 主机在配置角色页面上指定
$ scp mysql-connector-java-8.0.12.jar root@host5:/opt/cloudera/parcels/CDH/lib/hive/lib
# oozie 主机在配置角色页面上指定
$ scp mysql-connector-java-8.0.12.jar root@host3:/var/lib/oozie