Flink - [06] 状态管理

news/2024/10/2 16:24:17

题记部分

 

一、Flink中的状态

由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态。

可以认为状态就是一个本地变量,可以被任务的业务逻辑访问。

Flink会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开发人员可以专注于应用程序的逻辑

在Flink中,状态始终与特定算子相关联,为了使运行时的Flink了解算子的状态,算子需要预先注册其状态。

总的来说,有两种类型的状态:

(1)算子状态(Operator State):算子状态的作用范围限定为算子任务

(2)监控状态(Keyed State):根据输入数据流中定义的键(key)来维护和访问

 

二、算子状态

(1)算子状态的作用范围限定为算子任务,由同一并行任务所处理的所有数据都可以访问到相同的状态

(2)状态对于同一任务而言是共享的

(3)算子状态不能由相同或不同算子的另一个任务访问

 

2.1、算子状态数据结构

(1)列表状态(List State):将状态表示为一组数据的列表

(2)联合列表状态(Union list state):也将状态表示为数据的列表。它与常规列表状态的区别在于,在发生故障时,或者从保存点(savepoint)启动应用程序时如何恢复

(3)广播状态(Broadcast state):如果一个算子有多项任务,而它的每项任务状态又都相同,那么这种特殊情况最适合应用广播状态。

 

 

三、键控状态

(1)键控状态是根据输入数据流中定义的键(key)来维护和访问的。

(2)Flink为每个key维护一个状态实例,并将具有相同键的所有数据,都分区到同一个算子任务中,这个任务会维护和处理这个key对应的状态。

(3)当任务处理一条数据时,它会自动将状态的访问范围限定为当前数据的key

 

3.1、键控状态数据结构

(1)值状态(Value state):将状态表示为单个的值

(2)列表状态(List state):将状态表示为一组数据的列表

(3)映射状态(Map state):将状态表示为一组Key-Value对

(4)聚合状态(Reducing state & Aggregating State):将状态表示为一个用于聚合操作的列表

 

3.2、键控状态的使用

(1)声明一个键控状态

lazy val lastTemp: ValueState[Double] = getRuntimeContext.getState[Double](new ValueStateDescriptor[Double]("lastTemp", classOf[Double])
)

(2)读取状态

val prevTemp = lastTemp.value()

(3)对状态赋值

lastTemp.update(value.temperature)

 

 

四、状态后端(State Backends)

  每传入一条数据,有状态的算子任务都会读取和更新状态。由于有效的状态访问对于处理数据的低延迟至关重要,因此每个并行任务都会在本地维护其状态,以确保快速的状态访问。状态的存储、访问以及维护,由一个可插入的组件决定,这个组件就叫做状态后端(state backend)

  状态后端主要负责两件事:本地的状态管理,以及将检查点(checkpoint)状态写入远程存储

 

4.1、状态后端的类型

(1)MemoryStateBackend

  内存级的状态后端,会将键控状态作为内存中对象进行管理,将它们存储在TaskManager的JVM堆上,而将checkpoint存储在JobManager的内存中。特点:快速、低延迟,但不稳定

(2)FsStateBackend

  将checkpoint存储到远程的持久化文件系统(FileSystem)上,而对于本地状态,跟MemoryStateBackend一样,也会存在TaskManager的JVM堆上。特点:同时拥有内存级的本地访问四度,和更好的容错保证。

(3)RocksDBStateBackend

  将所有状态序列化后,存入本地的RocksDB中存储

 

 

 

— 业精于勤荒于嬉,行成于思毁于随 —

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/44774.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

tableau图表样式/格式

1、色阶2、饼图变形

Linux 提权-Capabilities

本文通过 Google 翻译 Capabilities – Linux Privilege Escalation - Juggernaut-Sec 这篇文章所产生,本人仅是对机器翻译中部分表达别扭的字词进行了校正及个别注释补充。导航0 前言 1 什么是 Capabilities ? 2 枚举 Capabilities2.1 枚举 Capabilities - 手动方法2.1.1 进…

C# 设置PDF表单不可编辑、或提取PDF表单数据

PDF表单是PDF中的可编辑区域,允许用户填写指定信息。当表单填写完成后,有时候我们可能需要将其设置为不可编辑,以保护表单内容的完整性和可靠性。或者需要从PDF表单中提取数据以便后续处理或分析。 之前文章详细介绍过如何使用免费Spire.PDF库通过C# 创建、填写表单,本文将…

Python工具箱系列(五十三)

​​水印 水印是一种常见的图片处理需求。当既需要展示,又需要保护知识产权时,就需要使用文字或者图片来打水印。下面的代码展示了文字水印与图片水印的过程。 ​--javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown from pathlib import Pathfrom PI…

高效开发系列:鸿蒙原生app套用混合app开发思路

使用混合App开发思路来开发鸿蒙原生App是一种可行的方案。该方案可以提高开发效率、降低开发成本,但同时也存在一些劣势。开发者可以根据自己的具体需求来决定是否采用这种方案。随着鸿蒙OS生态的不断完善,鸿蒙原生App开发也将迎来新的机遇和挑战。相信在不久的将来,鸿蒙原生…

操作系统B期末复习(STD)

操作系统1、什么是操作系统 基本特征是什么? 操作系统是配置在计算机硬件上的第一层软件,是对硬件系统的首次扩充2、PCB TCB FCB 相关内容 PCB: ①基本信息:进程控制块,又叫进程表,是操作系统中最重要的记录型数据结构。记录了操作系统所需的,用于描述进程的当前情况以及…

React中AntDesign upload组件 自定义请求将多个上传请求合并成一个并

接口文档核心代码 const ImportPictureUpload = () => {const [fileList, setFileList] = useState([])const onBeforeUpload = (file: any, fileList: any) => {setFileList(fileList)return false;}useEffect(() => {if(fileList.length > 0) {onCustomRequest()…

java构造器

构造器分为无参构造与有参构造 每一个类都有一个隐藏起来的无参构造 这个午餐构造没有返回值和返回类型,且方法名必须与类名相同,且必须是public1.使用new关键字必须要有构造器 2.构造器用来初始化 alt+insert快捷键快速创建构造器当有有参构造,却想调用无参构造时,必须有一…