应用模式启动

news/2024/9/28 9:22:24

与单作业模式类似,直接执行flink run-application命令

$ bin/flink run-application -t yarn-application -c com.huft.flk117.demo.StreamSocketCnt job_jar/original-fk117-1.0-SNAPSHOT.jar
查看 web及yarn id

2.在命令行中查看或取消作业。
$ bin/flink list -t yarn-application -Dyarn.application.id=application_1715411206268_0004
$ bin/flink cancel -t yarn-application -Dyarn.application.id=application_1715411206268_0004 21694a9ed391ba08c992d579b0e67103


3.依赖及jar包存放hdfs,运行作业更轻量
可以通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到远程。
3.1 上传flink的lib和plugins到HDFS上
$ hadoop fs -mkdir /flink-dist
$ hadoop fs -put lib/ /flink-dist
$ hadoop fs -put plugins/ /flink-dist
3.2 上传自己的jar包到HDFS
$ hadoop fs -mkdir /flink-jars
$ hadoop fs -put job_jar/original-fk117-1.0-SNAPSHOT.jar /flink-jars

3.3 提交作业
$ bin/flink run-application -t yarn-application -D yarn.provided.lib.dirs="hdfs://hdf1:8020/flink-dist" -c com.huft.flk117.demo.StreamSocketCnt hdfs://hdf1:8020/flink-jars/original-fk117-1.0-SNAPSHOT.jar

这种方式下,flink本身的依赖和用户jar可以预先上传到HDFS,而不需要单独发送到集群,这就使得作业提交更加轻量了

3.4 报错
java.lang.IllegalStateException: No ClusterClientFactory found. If you were targeting a Yarn cluster, please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the "Deployment" section of the official Apache Flink documentation.

执行 export HADOOP_CLASSPATH=hadoop classpath 无效

3.5
然后测试会话模式和单作业模式,是正常的。所以判断不是依赖问题
最后看命令行,发现参数这里是连着的,所以导致没识别hdfs上依赖(-D 参数原来和后面的yarn间没有空格,导致报错。上面语句已更改)

3.6 增加空格后运行正常

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/30298.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

通义灵码企业版正式发布,满足企业私域知识检索、数据合规、统一管理等需求

5 月 9 日阿里云 AI 峰会,阿里云智能集团首席技术官周靖人宣布,通义灵码企业版正式发布,满足企业用户的定制化需求,帮助企业提升研发效率。5 月 9 日阿里云 AI 峰会,阿里云智能集团首席技术官周靖人宣布,通义灵码企业版正式发布,满足企业用户的定制化需求,帮助企业提升…

三分钟分享自定义表单系统开源的优势

利用低代码技术平台、自定义表单系统开源的优势特点,可以助力企业实现高效办公,降低人工成本。在数字化转型浪潮下,利用低代码技术平台、自定义表单系统开源的优势特点,可以助力企业实现高效办公,降低人工成本,从而进入流程化办公新时代。为了帮助大家了解相关信息,流辰…

Fastjson反序列化漏洞3:JdbcRowSetImpl利用链-JNDI注入

顺势找到setDataSourceName,有setter方法,可以使用fastjson为其添值第二条链 Fastjson的三条链,现在我们来讲第二条com.sun.rowset.JdbcRowSetImplcom.sun.rowset.JdbcRowSetImpl org.apache.tomcat.dbcp.dbcp2.BasicDataSourceFastjson的三条链,现在我们来看第二条com.sun…

Sychronized的锁升级过程是怎样的

`synchronized`关键字的锁升级过程是Java为了提高锁的性能,减少在无竞争或多线程轻度竞争情况下的开销而设计的一套机制。这一过程主要涉及以下四个阶段:1. 无锁状态:当一个对象刚创建时,并没有锁与其关联,处于无锁状态。 2. 偏向锁(Biased Locking):-初始化:当第一个…

西门子博途软件安装及使用

西门子博途软件安装及使用 一、博途软件的简介博途软件可以对西门子300、400、1200及1500产品进行组态、编程和调试。TIA博途软件是一个系统,里面包含有多种软件,可以满足用户在不同自动化控制系统中的各种需求。因此,博途软件要求的电脑配置较高,且安装文件较大,但安装过…

记一些CISP-PTE题目解析

本文CISP-PTE题目解析包括:基础题目的命令执行、文件上传突破、流量分析、代码审计、SQL注入、无回显命令执行,以及二阶SQL注入等。0x01 命令执行直接payload: 127.0.0.1 &whoami,发现可以成功执行whoami命令然后ls ../ ,发现有个key.php文件尝试用cat命令查看发现不行…