开源大数据集群部署（十六）Hadoop集群部署（一）

news/2024/7/10 18:52:11 标签: 大数据, 开源, hadoop

作者：櫰木
按照上文中hadoop集群规划进行安装。

1 HADOOP集群安装

在hd1.dtstack.com主机root权限下安装hadoop集群

  • 解压
[root@hd1.dtstack.com software]# tar -zvxf hadoop-3.2.4.tar.gz -C /opt/
[root@hd1.dtstack.com software]# chown -R hdfs:hadoop /opt/hadoop-3.2.4
[root@hd1.dtstack.com software]# ln -s /opt/hadoop-3.2.4 /opt/hadoop

2 HADOOP Kerberos主体

服务所在主机主体格式（Principal）keytab文件
NameNodehd1.dtstack.com、hd2.dtstack.comhdfs/_HOST@DTSTACK.COM/etc/security/keytab/hdfs…keytab
DataNodehd3.dtstack.com、hadoop04、hadoop05hdfs/_HOST@DTSTACK.COM/etc/security/keytab/hdfs…keytab
JournalNodehd1.dtstack.com、hd2.dtstack.com、hd3.dtstack.comhdfs/_HOST@DTSTACK.COM/etc/security/keytab/hdfs.keytab
Web UIhd1.dtstack.com、hd2.dtstack.com、hd3.dtstack.comHTTP/_HOST@DTSTACK.COM
/etc/security/keytab/hdfs.keytab
JobHistory Serverhd1.dtstack.com、hd2.dtstack.comyarn/_HOST@DTSTACK.COM/etc/security/keytab/yarn…keytab
ResourceManagerhd1.dtstack.com、hd2.dtstack.comyarn/_HOST@DTSTACK.COM/etc/security/keytab/yarn.service.keytab
NodeManagerhd3.dtstack.comyarn/_HOST@DTSTACK.COM/etc/security/keytab/yarn…keytab

说明：

  • 创建主体命令见上面kerberos票据创建
  • _HOST表示配置文件变量，在实际使用过程会自动替换成主机名，如hd1.dtstack.com
  • Keytab文件名每台主机文件名一样，但文件内容不一样，主要区别是主机名
  • Keytab文件创建完成后分发到对应主机，且权限修改成600，权限修改命令如下：
chown -R root:hadoop /etc/security/keytab/
   chmod 660 /etc/security/keytab/*

按照kerberos票据创建进行票据主体创建和keytab文件创建以及分发到对应主机目录上

生成keytab文件

bash /root/bigdata/getkeytabs.sh /etc/security/keytab/hdfs.keytab  hdfs
由于页面需要http的principal，给hdfs的keytab添加httpprincipal
bash /root/bigdata/getkeytabs.sh /etc/security/keytab/hdfs.keytab  HTTP
bash /root/bigdata/getkeytabs.sh /etc/security/keytab/yarn.keytab  yarn
bash /root/bigdata/getkeytabs.sh /etc/security/keytab/yarn.keytab  HTTP

3、 HDFS使用HTTPS安全传输协议配置

在hd1.dtstack.com主机root权限下执行

  • 添加生成脚本
[root@hd1.dtstack.com hadoop]# cd /opt/hadoop/
[root@hd1.dtstack.com hadoop]# cd bin/ && vi on.sh
#!/bin/bash
 
path1=/opt/hadoop/bin
hosts="hd1.dtstack.com hd3.dtstack.com hd2.dtstack.com"
echo "===========begine install ca ==========="
sh $path1/ca_install.sh
echo "===========finish install ca ==========="
 
echo "===========begine install https ==========="
for host in $hosts
do
  ssh -t $host "$path1/keystore.sh"
  done
echo "===========finish install https ==========="
 
添加ca脚本
vi ca_install.sh
#! /bin/bash
 
path=/data/kerberos/hdfs_ca
#集群中安装https
hostnamess="hd1.dtstack.com hd3.dtstack.com hd2.dtstack.com"
passwords=abc123
hostname1=`hostname`
#ca证书创建，只需要在一个节点上创建
function make_CA(){
        hostnames=$hostnamess
        password=$passwords
        echo 'make_CA begin ...'
        cd $path
        #删除之前可能产生的过期CA证书
        rm -rf $path/hdfs_ca*
 
        #其中一台上生成CA，密码全部为abc123
        /usr/bin/expect <<-EOF
                set timeout 10
                spawn openssl req -new -x509 -keyout hdfs_ca_key -out hdfs_ca_cert -days 9999 -subj /C=CN/ST=zhejiang/L=hangzhou/O=dtstack/OU=dtstack/CN=$hostname1
                expect {
                                "*phrase*" {send "$password\r"; exp_continue}
 
                               "*phrase*" { send "$password\r"; exp_continue}
                        }
EOF
 
        #将生成的CA证书hdfs_ca_key、hdfs_ca_cert分发到其他节点上
        for host in $hostnames;
        do
                echo "copy hadoop CA to $host:$path"
                ssh root@$host "mkdir -p /data/kerberos/hdfs_ca"
                scp hdfs_ca_* $host:$path
        done
        #rm -rf hdfs_ca*
        echo 'make_CA end ...'
}
 
 
make_CA
添加keystore脚本
vi keystore.sh
#! /bin/bash
path=/data/kerberos/hdfs_ca
#集群中安装https keystore
hostnamess="hadoop01.dtstack.com hadoop03.dtstack.com hadoop02.dtstack.com"
passwords=abc123
current_hostnames="`hostname`"
export.UTF-8
function make_certificate(){
        current_hostname=$current_hostnames
        password=$passwords
 
        cd $path
        #keytool需要使用java环境
        source /etc/profile
 
        #生成keystore
        #name="CN=$current_hostname, OU=dtstack, O=dtstack, L=hangzhou, ST=zhejiang, C=CN"
        /usr/bin/expect <<-EOF
                spawn keytool -keystore keystore -alias localhost -validity 9999 -genkey -keyalg RSA -keysize 2048 -dname "CN=$current_hostname, OU=dtstack, O=dtstack, L=hangzhou, ST=zhejiang, C=CN"
                expect {
                        "*password*" {send "$password\r"; exp_continue}
                        "*password*" {send "$password\r"; exp_continue}
                        "*password*" {send "$password\r"; exp_continue}
                        "*password*" {send "$password\r"; exp_continue}
                }
EOF
 
        #添加CA到truststore
        /usr/bin/expect <<-EOF
                spawn keytool -keystore truststore -alias CARoot -import -file hdfs_ca_cert
                expect {
                        "*password*" {send "$password\r"; exp_continue}
                        "*password*" {send "$password\r"; exp_continue}
                        "*certificate*" {send "yes\r"; exp_continue}
                }
EOF
 
        #从keystore中导出cert
        /usr/bin/expect <<-EOF
                spawn keytool -certreq -alias localhost -keystore keystore -file cert
                expect {
                        "*password*" {send "$password\r"; exp_continue}
                }
EOF
 
        #用CA对cert签名
        /usr/bin/expect <<-EOF
                spawn openssl x509 -req -CA hdfs_ca_cert -CAkey hdfs_ca_key -in cert -out cert_signed -days 9999 -CAcreateserial
                expect {
                        "*phrase*" {send "$password\r"; exp_continue}
                }
EOF
 
        #将CA的cert和用CA签名之后的cert导入keystore
        /usr/bin/expect <<-EOF
                spawn keytool -keystore keystore -alias CARoot -import -file hdfs_ca_cert
                expect {
                        "*password*" {send "$password\r"; exp_continue}
                        "*certificate*" {send "yes\r"; exp_continue}
                }
EOF
 
        /usr/bin/expect <<-EOF
                spawn keytool -keystore keystore -alias localhost -import -file cert_signed
                expect {
                        "*password*" {send "$password\r"; exp_continue}
                }
EOF
 
        #将最终keystore,trustores放入合适的目录，并加上后缀jks
        #rm -rf /etc/security/https && mkdir -p /etc/security/https
        #chmod 755 /etc/security/https
        echo "install keystore、truststore to /data/kerberos/hdfs_ca/..."
        cp $path/keystore $path/keystore.jks
        cp $path/truststore $path/truststore.jks
}
 
        echo "[+] execute hlk_each_host_install_https.sh begin ..."
        echo "hostnames:$hostnames"
        echo "current_hostname:$current_hostname"
        #每个节点获取CA证书签照
        make_certificate
        echo "[+] execute hlk_each_host_install_https.sh end ..."

将脚本分发到每个节点的/opt/hadoop/bin/目录下，同时修改脚本权限

4、生成对应https证书（只需要在一个节点执行即可）

mkdir -p /data/kerberos/hdfs_ca
cd /opt/hadoop/bin/
bash on.sh

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw


http://www.niftyadmin.cn/n/5431236.html

相关文章

微信小程序将高德地图转为腾讯地图的自行车路线规划

微信小程序将高德地图转为腾讯地图的自行车路线规划

微信小程序后台首页开发设置 相关文档 腾讯后台 微信小程序接入JDK JDK腾讯地图文档 腾讯路线规划文档 核心代码 <map id"myMap" ref"myMap" style"width: 100%; height: calc(100vh - 80px)":latitude"latitude" :scale&qu…
阅读更多...
SQLiteC/C++接口详细介绍之sqlite3类（八）

SQLiteC/C++接口详细介绍之sqlite3类（八）

返回目录&#xff1a;SQLite—免费开源数据库系列文章目录 上一篇&#xff1a;SQLiteC/C接口详细介绍之sqlite3类&#xff08;七&#xff09; 下一篇&#xff1a; SQLiteC/C接口详细介绍之sqlite3类&#xff08;八&#xff09;&#xff08;暂未发表&#xff09; 24.sqlite3_cr…
阅读更多...
Adobe PDF背景设置护眼模式，缓解眼部疲劳

Adobe PDF背景设置护眼模式，缓解眼部疲劳

一、背景 在用Adobe PDF看论文时&#xff0c;默认的白色背景看久了&#xff0c;眼睛会特别疲劳&#xff0c;下面介绍如何设置背景为护眼模式。 二、设置PDF为护眼模式 使用Adobe Acrobat Pro DC打开任意PDF文件&#xff0c;在上方工具栏选择“编辑”&#xff0c;在下拉菜单栏…
阅读更多...
【论文阅读笔记】Attention Is All You Need

【论文阅读笔记】Attention Is All You Need

1.论文介绍 Attention Is All You Need 2017年 NIPS transformer 开山之作 回顾一下经典&#xff0c;学不明白了 Paper Code 2. 摘要 显性序列转导模型基于包括编码器和解码器的复杂递归或卷积神经网络。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一个新…
阅读更多...
百度飞桨大模型训练营：人工智能与大语言模型

百度飞桨大模型训练营：人工智能与大语言模型

文章目录 生成式AI、提示词工程和零代码应用开发人工智能概念机器学习深度学习 大语言模型大语言模型为什么大大语言模型为什么通用大语言模型的灵魂Transformer之前Transformer的优势 Transformer内部原理第一步——数据预处理第二步——编码器第三步——解码器第四步——Line…
阅读更多...
CPU、GPU、IPU、NPU、TPU、LPU、MCU、MPU、SOC、DSP、FPGA、ASIC、GPP、ECU、

CPU、GPU、IPU、NPU、TPU、LPU、MCU、MPU、SOC、DSP、FPGA、ASIC、GPP、ECU、

CPU&#xff1a; 中央处理器&#xff08;Central Processing Unit&#xff09;是一块超大规模的集成电路&#xff0c;是一台计算机的运算核心&#xff08;Core&#xff09;和控制核心&#xff08; Control Unit&#xff09;。 它的功能主要是解释计算机指令以及处理计算机软件…
阅读更多...
Vue3全家桶 - Vue3 - 【2】声明响应式数据（ref + reactive + toRef + toRefs）

Vue3全家桶 - Vue3 - 【2】声明响应式数据（ref + reactive + toRef + toRefs）

声明响应式数据 一、 组合式API 1.1 ref() ref() 函数&#xff0c;可以创建 任何数据类型 的 响应式数据&#xff1b;&#x1f53a;注意&#xff1a; 当值为 对象类型 时&#xff0c;会用 reactive() 自动转换它的 .value&#xff1b; ref 函数的内部实现依赖于 reactive 函…
阅读更多...
Python面试笔记

Python面试笔记

Python面试笔记 PythonQ. Python中可变数据类型与不可变数据类型&#xff0c;浅拷贝与深拷贝详解Q. 解释什么是lambda函数&#xff1f;它有什么好处&#xff1f;Q. 什么是装饰器&#xff1f;Q. 什么是Python的垃圾回收机制&#xff1f;Q. Python内置函数dir的用法&#xff1f;Q…
阅读更多...
最新文章

Copyright @ 2022~2023