Flink-Yarn模式修改Task Slot的数量

news/2024/9/28 1:23:12

1.修改 Flink 配置文件 (flink-conf.yaml)

Flink 中的 TaskManager 是根据 slots 来分配任务的,默认情况下,一个 TaskManager 可以有多个 slots。你可以通过调整 flink-conf.yaml 中的以下配置来控制每个 TaskManager 的 slot 数量:

taskmanager.numberOfTaskSlots: <number_of_slots>`

(1)先找到配置文件路径

(1.1)使用 find 命令

find 命令可以帮助你从指定的目录下递归查找文件。假设你不知道具体的 Flink 安装目录,可以从根目录 / 开始查找:

find / -name flink-conf.yaml

(1.2)使用 locate 命令

如果系统中安装了 locate,它可以通过预先构建的文件索引快速查找文件。首先确保更新索引数据库:

sudo updatedb

然后使用 locate 查找文件:

locate flink-conf.yaml

(1.3)使用 grep 命令

如果你知道 flink-conf.yaml 的大致目录,可以使用 grep 搜索文件内容中的关键字。假设 Flink 安装在 /opt/flink 目录下,可以通过以下命令查找包含特定配置项的文件:

grep -r "taskmanager.numberOfTaskSlots" /opt/flink

这样可以直接找到包含配置项的文件路径。

(2)修改配置文件参数

修改如下参数即可

2.重启Flink集群

这里要区分不同的Flink启动方式, 方式不同要修改配置文件的数量不同

(1)Standalone 模式

在 Standalone 模式下,Flink 集群由多个 TaskManager 和 JobManager 组成,每个节点(无论是运行 JobManager 还是 TaskManager)都需要加载自己的 flink-conf.yaml 配置文件。

操作步骤:

  • 每台机器都需要修改:由于每个 TaskManager 都依赖于本地的配置文件来确定 slots 的数量,因此你需要在三台机器上分别修改 flink-conf.yaml 中的 taskmanager.numberOfTaskSlots 参数。
    操作步骤如下:
    1. 在每一台机器上找到 Flink 安装目录。
    2. 打开 conf/flink-conf.yaml 文件。
    3. 修改 taskmanager.numberOfTaskSlots 的值。
    4. 保存修改。
  • 重启整个集群:在修改配置之后,需要重启 Flink 集群。每台机器上运行的 TaskManager 都会根据新的配置文件加载 slots 数量。
  • 你可以通过以下步骤完成重启:
    • 在主节点(JobManager 所在的机器)上停止集群:
      ./bin/stop-cluster.sh
      
    • 然后在主节点上重新启动集群:
      ./bin/start-cluster.sh
      

Flink 会自动从主节点调度任务到所有的 TaskManager(即每个节点),因此每台机器的配置需要保持一致。

(2)YARN 模式

如果你使用的是 YARN 或 Kubernetes 部署模式,集群的 TaskManager 是动态分配的,而不是直接安装在每台机器上。

  • 在 YARN 模式下,配置文件通常只需要在 JobManager 启动时生效,因此你可以在主节点(YARN Client)修改配置,然后重新提交作业。YARN 会根据这些配置分配 TaskManager 的资源。

可以通过以下步骤重新启动集群:

  • 如果作业正在运行,你可以使用以下命令手动停止作业:
    yarn application -kill <application_id>
    
    其中,<application_id> 是 YARN 分配给该 Flink 作业的 ID,可以通过以下命令查看当前运行的作业:
    yarn application -list
    
    另外,你也可以在 Flink Web UI 上通过点击 "Cancel Job" 按钮停止正在运行的作业。
  • 启动 YARN 会话集群
    如果你希望启动一个 YARN 会话集群,可以使用以下命令:
    ./bin/yarn-session.sh -n <number_of_taskmanagers> -jm <jobmanager_memory> -tm <taskmanager_memory>
    
    -n:指定 TaskManager 数量。
    -jm:指定 JobManager 的内存大小。
    -tm:指定每个 TaskManager 的内存大小。
    启动会话集群后,你可以通过 Flink Web UI(默认地址 http://<JobManager_IP>:8081)提交多个作业到这个会话集群
  • 示例:
    bin/yarn-session.sh -nm flink-yarn-session-ha-dev -d
    

(3)Kubernetes 模式

如果你使用的是 YARN 或 Kubernetes 部署模式,集群的 TaskManager 是动态分配的,而不是直接安装在每台机器上。

操作步骤:

  • 在 Kubernetes 中,TaskManager 是作为容器动态创建的。你只需要修改 Kubernetes 配置文件或者 Flink 的 ConfigMap,并在 Kubernetes 集群中重新部署 TaskManager,所有新的 TaskManager 都会使用你配置的 slots 数量。

(4)总结

  • Standalone 模式:你需要在所有三台机器上修改 flink-conf.yaml 文件,因为每个 TaskManager 节点会独立加载配置文件。
  • YARN/Kubernetes 模式:一般只需要在 JobManager 或客户端节点上修改配置,并通过 YARN 或 Kubernetes 动态分配 TaskManager。
    因此,在 Standalone 模式下,每台机器都要同步修改 flink-conf.yaml,而 YARN 或 Kubernetes 模式下的操作会稍微简单一些,只需修改主节点上的配置。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/65053.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

Linux服务器运维管理面板1Panel快速安装及安全配置

1Panel 是一个现代化、开源的 Linux 服务器运维管理面板,旨在帮助运维人员简化服务器管理任务。它提供了直观的界面和强大的功能,使用户可以通过图形化操作界面对服务器进行管理,减少了对命令行的依赖。1Panel 支持多种操作系统,适用于 Linux 服务器,提供了如网站管理、数…

怎么查看网站是否被谷歌收录,怎么查看网站是否被谷歌收录的办法

要查看网站是否被谷歌收录,可以采用以下几种办法: 一、使用谷歌搜索引擎的“site:”指令 这是最直接且常用的方法之一。具体步骤如下: 打开谷歌搜索引擎:在浏览器中打开Google.com,确保使用的是谷歌的官方搜索引擎。 输入查询指令:在搜索框中输入“site:”加上你的网站域…

【YashanDB知识库】YMP迁移oracle不兼容给用户授权高级包

本文转自YashanDB官网,具体内容请见https://www.yashandb.com/newsinfo/7441382.html?templateId=1718516 【标题】YMP迁移oracle不兼容给用户授权高级包 【关键字】oracle迁移,高级包授权 【问题描述】迁移评估任务中,oracle迁移YashanDB,YMP不兼容语句:grant execute o…

FICO:常规配置

FICO后台常规配置 定义mySAP系统中的国家: Tcode:OY01 SAP系统中的国家已经提前定义好了,无需自行配置,此处只做查看演示 检查货币代码 Tcode:OY03 SAP系统中的常规的货币代码也已经提前定义好了,一般不做更改此处只做查看演示为货币设置小数位数: Tcode:OY04 SAP系统中货币的小…

183天打造行业新标杆!BOE(京东方)国内首条第8.6代AMOLED生产线提前全面封顶

2024年9月25日,BOE(京东方)投建的国内首条第8.6代AMOLED生产线全面封顶仪式在成都市高新区举行,该生产线从开工到封顶仅用183天,以科学、高效、高质的速度再树行业新标杆。这不仅是BOE(京东方)创新突破、打造新质生产力的又一重大举措,也是OLED领域的里程碑事件,极大推…

按内容关键字批量查找文件并导出的方法

按内容关键字批量查找文件并导出的方法 文件批量查找复制导出 软件下载地址:http://6laohu.com 将指定目录下所有文件 按文件名中的关键字或文件内容中出现的关键字查找你需要的那些文件 并全部整理复制到指定文件夹下

Zotero 颜色标注

颜色列表:Orange(传说):该文章的核心Idea,通篇只有一两处的重点 Red(诅咒): 比较重要的idea,可以有多处; Magenta(史诗):非常巧妙的设计,学到了! Blue(稀有): 学习到知识点了。 ...... Grey(一般):没搞清楚的东西,查一下!

vulnhub 靶场DC-8实战指南

vulnhub 靶场DC-8实战指南 靶机下载地址:https://www.vulnhub.com/entry/dc-8,367/ 攻击机kali:192.168.48.138 靶机DC-8:192.168.48.171 信息收集查看靶机iparp-scan -l发现靶机ip为192.168.48.171端口扫描 nmap -A -p- -T4 192.168.48.171访问80端口的web站点随便点点,发…