搭建Hadoop集群(生产环境)

1.搭建之前:百度copy一下介绍 (本博客几乎全都是生产环境的配置。。包括mongo等hbase其他)

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1]  Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。[2] 
 
其实hadoop,就是两个点   HDFS   和  yarn   ,HDFS存数据, yarn来做资源调度(将集群机器的CPU和内存收纳到一起,根据需求做分配)
 
所以配置文件其实就是围绕这两个点的 配置啦。Hadoop总共要修改5个配置文件(4个最重要。1个是指定JDK等等路径的哈哈)
 
2:开始搭建
 
 
①去Oracle官网下载JDK:生产环境使用1.8.0_92,64位,不要问为什么,每个公司都有每个公司的标准。自己定就可以。反正最新的hadoop hbase应该都是需要JDK1.8的。当然这个很重要,像大型的这种Hbase Hadoop  GC方式等等配置。会对整个集群造成很大的影响。大到不能再大,,所以后续会讲、
安装JDK 我就不说了,
 
机器硬件标准及目录标准:/app目录下放应用     /data下放应用产生的数据,包括DB数据,但是大数据比较特殊,会单独给HDATA下挂载12个盘。每个公司标准不一样。。。。。。再说一下、  服务器标配  48核   256G 内存   高配就是   64核心  512G内存好像是。   顶配好像可以达到1T内存。。。
 
JDK放在 /app/jdk1.8.0_092     然后ln -s jdk1.8.0_092 jdk   就会产生软链,类似下图(集群所有机器)

接下来编辑 /etc/profile文件     加入JDK环境变量(当然,这些我全是salt自动化。就一句命令全部自动搞定,后续会讲。机器多的时候会很有作用。) 
 
vim /etc/profile  加到最后保存之后   source一下。这些搞不定就。。。自己想办法。
 
 
② 安装zookeeper 
下载zookeeper    zookeeper-3.4.9.tar.gz  一般zk要奇数个  5个吧,一般或者7个也可以。
 
 
也是类似JDK的目录。最终效果就是

注意:zookeeper配置文件
vim /app/zookeeper/conf/zoo.cfg
 

tickTime=2000
dataDir=/app/zookeeper/data
dataLogDir=/app/zookeeper/logs
maxClientCnxns=300
minSessionTimeout=100000
maxSessionTimeout=120000
clientPort=2181
syncLimit=5
initLimit=10
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
jute.maxbuffer=4096
server.1=10.202.105.52:2888:3888
server.2=10.202.105.53:2888:3888
server.3=10.202.105.54:2888:3888

 server.X就是你每个zk集群的  ip和端口。2888为通信端口,3888为zk自己选举的端口(异常情况或初始化时候zk自己本身集群选举leader 等使用。)
 
dataDir dataLogDir等目录(配置文件中,自己都建立好,然后用户权限等都新建zookeeper用户并赋予zk相关各个路径的权限。并且在集群每个节点/app/zookeeper/data下建立   myid文件   里面填上数值   数值就是server.x中的x, )
 
启动zk   zkServer.sh start    注意将zk加入环境变量并source  否则就绝对路径启动吧。
 
 
zkServer,sh status 可以查看集群每个zk的角色,如果显示   leader   或者flower就是对的了。
 
 
接下来就是搭建hadoop了。
③搭建hadoop(这里注重一台机器上的,其他你咋么分发到别的机器,后续会用自动化工具介绍,本篇注重配置文件)
 
 
 
 
 
 
 
 
 
 
 
 

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注