最快方式搭建docker大数据 测试集群

news/2024/9/28 3:25:58

平时搭建一套测试集群 找包 找的累死,现在使用docker搭建 cdh版本的 

1.首先在服务器上安装docker

yum install docker

2.配置国内 阿里云docker仓库服务 

https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

 换成地址,重启docker服务

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://vy8pfxw7.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

2.执行下载

docker pull cloudera/quickstart:latest

需要时间 4个g的镜像文件

3.启动

docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8888:8888 -t -i 4239cd2958c6 /usr/bin/docker-quickstart

docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8888:8888 -t -i 4239cd2958c6 /usr/bin/docker-quickstart这条docker run命令用来启动一个名为quickstart.cloudera的Cloudera Quickstart容器,这是一个预配置的Hadoop和CDH(Cloudera Distribution Including Apache Hadoop)环境,用于快速搭建大数据处理平台。下面是对命令中各个部分的详细解释:docker run:这是启动一个新容器的Docker命令。--privileged=true:此标志授予容器额外的权限,使其能够访问主机的设备和资源,比如网络设备和硬件中断。这在运行某些需要直接访问底层硬件的软件时很有用,但同时也增加了安全风险。--hostname=quickstart.cloudera:设置容器的主机名,这在容器内部的网络识别和配置中非常重要。-p 8020:8020,-p 7180:7180...-p 8888:8888:这一系列-p标志用于端口映射,将容器内的端口映射到宿主机的相应端口。例如,-p 8020:8020意味着容器内的8020端口将被映射到宿主机的8020端口。这样,从宿主机或网络上的其他机器可以通过这些端口访问容器中的服务。-t:表示容器将在一个tty(终端)中运行,这意味着标准输入、输出和错误流都将保持打开状态。-i:表示交互模式,意味着容器将以交互的方式运行,接受来自标准输入的数据。4239cd2958c6:这看起来像是一个容器ID或镜像ID。但是,通常我们会使用镜像的名称和标签来运行容器,例如cloudera/quickstart。这里可能是直接从一个具体的镜像ID运行,这通常在你已经拉取了镜像并知道其确切的ID时使用。/usr/bin/docker-quickstart:这是容器启动时运行的命令或程序。在Cloudera Quickstart容器中,这通常是一个脚本,用于初始化和启动Hadoop、CDH等服务。这条命令启动的容器将允许你通过一系列的端口访问Hadoop生态系统中的各种服务,如HDFS NameNode、Cloudera Manager、Impala、Hive、YARN Resource Manager等。每个端口号对应着不同的服务,便于在宿主机上管理和监控这些服务。在实际使用中,建议使用镜像的完整名称和标签,例如cloudera/quickstart:latest,而不是直接使用镜像ID,以增加可读性和可维护性。

上面命令执行完 就进入容器里面了 

执行 /home/cloudera/cloudera-manager --force --express &

 前面的宿主机和容器端口已经映射了,直接使用宿主机:7180访问

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/45795.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

L 波段射频采集存储回放系统

L 波段采集回放系统是一套便携式模拟数字采集系统,该系统主要由射频输入模块、中频接收回放模块、FPGA 信号处理单元、服务器系统和存储单元等组成。L 波段采集回放系统的功能主要用于对950MHz〜2150MHz 模拟量射频信号的采集、存储记录与回放;采集与回放信号瞬时带宽高达500…

VuePress使用

记一篇:安装Vuepress过程也遇到的问题,于是想写篇文章总结一下~ ~ 一、介绍 VuePress 是一个以 Markdown 为中心的静态网站生成器。你可以使用 Markdown在新窗口打开 来书写内容(如文档、博客等),然后 VuePress 会帮助你生成一个静态网站来展示它们。 官网链接:https://v…

windows server登录密码忘记,怎么重置

在开始前,需要准备U盘,作为引导盘,进入安装界面 亲测,对所有的windows server都有效 步骤1在虚拟机的光盘中选择Server2012R2的ISO,并确定(如果是物理机,直接把ISO刻录成光盘,放入光驱即可)2重启服务器,修改启动项从CD-ROM启动,当在屏幕出现Press any key to boot f…

基于django的灾害监测系统

说明 技术栈: 开发框架:Django 前端:boostrap、ajax、JavaScript 后端:python 数据库:redis、postgresql前期工作 安装PostgreSQL 安装Redis 创建第一个页面 1. 创建Django项目运行测试 python manage.py runserver2. 创建app python manage.py startapp app13.将app1注册…

基于AD9009的PCIe射频信号采集回放卡

基于AD9009的PCIe射频信号采集回放卡PCIe射频收发平台75MHz至 调谐范围200MHz瞬时带宽基于RF-IC芯片PCIe射器和接收器、集成式频率合成器以及数字信号处理功能。满足3G、4G和5G宏蜂窝时分双工(TDD)基站应用要求。接收链路由两个独立的带宽、直接变频接收器组成,具有出色的动射…

解决Error: error:0308010C:digital envelope routines::unsupported(个人亲测)

解决Error: error:0308010C:digital envelope routines::unsupported的四种解决方案-CSDN博客真的管用,个人是方案二解决了问题。

嵌入式产品如何做安全加密?

1. 版权保护芯片RJGT102介绍 为了防止硬件电路与固件被抄袭,核心在于加密芯片和安全解决方案的设计,目前大多MPU并不具备安全防护功能,所以最好的办法是使用一颗专用的加密芯片,通过加密芯片对接MPU,进行认证,授权,保存关键数据等。 RJGT102采用了SHA256对称加密算法,2…

TP4086B电源管理芯片

896s外部充电芯片tp4086b 充电过程 当输入电压大于电源低电压检测阈值和芯片使能输入端接高电平时,TP4086B/C开始对电池充电,CHRG 管脚输出低电平,表示充电正在进行。如果电池电压低于 2.9V,TP4086B/C采用涓流对电池进行预充电此时充电电流是恒流充电电流的 10%。当电池电压…