spark的SparkSubmit类关于Configuration的资源文件加载

news/2024/10/4 9:22:46
在阅读 SparkSubmit 源代码时,重点关注 Configuration 的资源文件的加载情况,默认通过 new Configuration() 构造方法创建时,只会加载 core-default.xml 和core-site.xml文件,但是 SparkSubmit 中打印 Configuration 时,发现还会加载 yarn-site.xmlSparkSubmit 代码中没有看到显示加载 yarn-site.xml 的地方,那 yarn-site.xml 从哪里加载进来的?
跟进 SparkSubmit 源代码,找到关键代码 lazy val secMgr = new SecurityManager(sparkConf), secMgr懒初始化,触发了 yarn-site.xml 的加载。如下图所示:
spark 的 SparkSubmit 类关于 Configuration 的资源文件加载
 
跟进 new SecurityManager(sparkConf),打印yarn-site.xml 的相关堆栈,如下所示:
 
spark 的 SparkSubmit 类关于 Configuration 的资源文件加载
上述的关键代码,org.apache.hadoop.mapred.JobConf.(JobConf.java:119),打开 JobConf 这个类,如下图:
 
spark 的 SparkSubmit 类关于 Configuration 的资源文件加载
 
继续打开 ConfigUtil.loadResources(),如下图,在ConfigUtil 中显示加载了yarn-site.xml。
spark 的 SparkSubmit 类关于 Configuration 的资源文件加载
欢迎关注公众号和访问网站,了解更多技术资讯:
spark 的 SparkSubmit 类关于 Configuration 的资源文件加载
谷百特博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/55044.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

uni-app实录

虽然小程序已经火了好几年,但是现在还是经久不衰,虽然已经有很多出色的制作者和供应商,但作为一门技术手艺,秉持着“技多不压身”的原则,这里再次进行填坑。本文来自博客园,作者:ukyo--君君小时候,转载请注明原文链接:https://www.cnblogs.com/ukzq/p/18390418

python中的编码解码

https://cloud.tencent.com/developer/article/2278351 编码(encode):将Unicode字符串转为特定编码格式对应的字节码的过程;就是将字符串转换为字节码 解码(decode):将特定编码格式的字节码转为对应的Unicode字符串的过程;就是将字节码转换为字符串 正确写法只有str.en…

Flutter的一些概念(二)

介绍一些Fluter面试中可能会遇到的一些非项目相关的概率名词注:本文同步发布于微信公众号:stringwu的互联网杂谈 Flutter的一些概念(二) 1 flutter的核心渲染模块 当应用启动时flutter 会遍历所有的Widget 形成Widget 树,并通过createElement 方法创建每个element 对象,最…

阿尔茨海默病症识别+图像识别Python+人工智能+深度学习+TensorFlow+机器学习+卷积神经网络算法

一、介绍 阿尔茨海默病症识别。使用Python作为主要编程语言进行开发,基于深度学习等技术使用TensorFlow搭建ResNet50卷积神经网络算法,通过对病症图片4种数据集进行训练[轻度痴呆, 中度痴呆, 非痴呆, 非常轻微的痴呆],最终得到一个识别精确度较高的模型。然后使用Django框架…

【安全运营】安全事件运营SOP:网络攻击

一、常见网络攻击1.1 网络攻击概述 1.2 网络攻击方式 1.3 网络攻击检测 二、安全运营SOP2.1 攻击告警初判 2.2 攻击地址封禁 2.3 攻击告警研判 2.4 应急响应处置 2.5 附SOP流程图 三、网络攻击防范3.1 减少对外暴露面 3.2 系统上线…

【可视化】一套全面的数据可视化指南

#一、可视化问题#二、可视化原则#三、类型原创 DataCharm今天跟大家分享一套谷歌数据可视化团队形成的全面的数据可视化指南,涵盖了设计原则、图表分类、图表的选用、样式设计、交互设计、仪表板设计等方面。 一、可视化问题 不论你是从事数据相关工作,还是业务相关工作,或多…

【应急靶场系列】vulntarget-n-勒索病毒应急靶场

原创 vulntarget 乌鸦安全✎ 阅读须知 乌鸦安全的技术文章仅供参考,此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或…

CentOS 7 安装 .net 8 环境

1)下载 .net 8 运行时 https://dotnet.microsoft.com/zh-cn/download/dotnet/8.0 依据运行程序类型,下载运行时,比如需要运行web应用,下载如同运行时,一般选择 x64 版本 2)上传到服务器 解压tar -xzf dotnet-runtime-8.0.x-linux-x64.tar.gz -C /opt/dotnet/ 3)配置环…