windows下安装部署 hadoop

news/2024/10/13 17:00:03

 

一、安装下载

1.首先在hadoop官网下载一个稳定版本,选择binary包

官网地址:https://hadoop.apache.org/releases.html

下载下来是tar.gz文件,用winrar解压即可。

2.因为这个压缩包是for linux系统的,win下还需要安装几个dll winutils, 

下载地址:https://www.jianguoyun.com/p/Dcs2UoQQzuztCxiq89oFIAA

二、环境变量

1.在环境变量中配置好JAVA_HOME

2.将压缩包解压到 D:\\hadoop-3.3.6\ ,并在环境变量里将此路径添加到 HADOOP_HOME。

3.将 hadoop-3.3.6 目录下的 bin 文件夹添加到 PATH 变量中。

4.并把 winutils 压缩包解压后的 dll 文件拷贝复制到 hadoop 的 bin 目录下。

三、配置HADOOP

1.配置 hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:///D:/hadoop-3.3.6/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///D:/hadoop-3.3.6/data/datanode</value></property>
</configuration>

2.配置 core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://127.0.0.1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/D:\\hadoop-3.3.6\data\tmp</value></property>
</configuration>

3.配置 mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property>
</configuration>

4.配置 yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hahoop.mapred.ShuffleHandler</value></property>
</configuration>

 

四、启动执行

1.执行 hdfs namenode -format 命令, 初始化数据目录

成功后会生成如下文件

 

2.执行 start-dfs.cmd , 启动 namenode 和 datanode 进程

 3.执行 start-yarn.cmd , 启动 resourcemanager 和 nodemanager进程

 五、WEB访问

1.启动成功后, 访问 localhost:8088,可以看到 hadoop 的管理页面

 2. 访问 localhost:9870, 查看 namenode 节点的管理信息

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/71125.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

软件工程实验:结对编程与Git实战

Lab 1实验报告 实验要求 1 .读入文本并生成有向图: 将文本数据转换为有向图结构,各单词作为节点,有向边表示单词在文本中的相邻关系及其出现次数。 2. 展示有向图: 图形化展示生成的有向图,并可保存为图形文件。 3. 查询桥接词: 查询两个单词之间的桥接词,即图中存在两条…

【Ubuntu】“Linux版PhotoShop”绘图软件的安装和汉化

【Ubuntu】“Linux版PhotoShop”绘图软件的安装和汉化 零、前言 最近换了Linux系统,但是写教程做PPT的时候还是得用到绘图软件,上网一查,总结对比之后发现Krita比较好用,故此讲解一下如何安装和汉化Krita。 壹、安装 安装很简单,按快捷键Ctrl+Alt+T,打开bash,输入如下命…

The 1st Universal Cup. Stage 22: Shaanxi

Preface 时隔一周之后难得开了场训练,然后犯了一堆弱智错误给自己搞红温了,最后感觉啥难题也没写就混着混着就结束了 赛后想补题经典找不到题解,只搜到哥哥的题解结果搞不懂细节还是写不来一点,直接开摆D. Alice and Bob 首先博弈部分的结论很好猜,若第一次操作开头的数为…

cookie 和 session

1、cookie 通过在客户端记录的信息确定用户身份。 http是一种无连接协议,客户端和服务端交互仅限于请求/响应过程,结束后断开,下一次请求时,服务端会认为是一个新的客户端。 为了维护连接,让服务端知道这是前一个用户发起的请求,必须在一个地方保存客户端信息。 2、sessi…

2024-2025-1 20241318 《计算机基础与程序设计》第三周工作总结

这个作业属于哪个课程 <(https://edu.cnblogs.com/campus/besti/2024-2025-1-CFAP)>(如[2024-2025-1-计算机基础与程序设计]这个作业要求在哪里 https://www.cnblogs.com/rocedu/p/9577842.html#WEEK03这个作业的目标 数字分类与计数法位置计数法进制转换模拟数据与数字…

Qt/C++开源控件 圆形进度条

Qt/C++开源控件 圆形进度条简约风格: 设计简洁,没有多余的元素,清晰地显示了当前进度。 颜色对比: 使用了亮色的蓝色来标示进度,与深色背景形成鲜明对比,使得进度指示一目了然。 清晰的刻度: 刻度线清晰,尽管没有标注所有数字,但通过较长的刻度线在50和100的位置,用户可…

GIC V3中断

GIC(Generic Interrupt Controller)是ARM公司提供的一个通用的中断控制器,其architecture specification目前有四个版本,V1~V4(V2最多支持8个ARM core,V3/V4支持更多的ARM core,主要用于ARM64服务器系统结构)。目前在ARM官方网站只能下载到Version 2的GIC architecture…

销售团队管理过程常见问题

一、招聘与选拔 在竞争激烈的市场环境中,寻找并选拔出既有能力又符合企业文化的销售人才是企业面临的首要挑战。优秀销售人才的稀缺性加剧了这一难题,而仅凭面试难以全面评估候选人的销售潜力和坚韧精神。因此,设计一套高效、多维度的招聘流程与评估标准显得尤为关键。这包括…