Flink - [07] 容错机制

题记部分

 

一、一致性检查点

  Flink故障恢复机制的核心，就是应用状态的一致性检查点。有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候。

 

二、从检查点恢复状态

  在执行流应用程序期间，Flink会定期保存状态的一致检查点。如果发生故障，Flink将会使用最近的检查点来一致恢复应用程序的状态，并重新启动处理流程。

（1）遇到故障之后，第一步就是重启应用

（2）第二步是从checkpoint中读取状态，将状态重置。从检查点重新启动应用程序后，其内部状态与检查点完成时的状态完全相同。

（3）第三步开始消费并处理检查点到发生故障之间的所有数据。这种检查点的保存和恢复机制可以为应用程序状态提供“精确一次”（exactly-once）的一致性，因为所有算子都会保存检查点并恢复其所有状态，这样一来所有的输入流都会被重置到检查点完成时的位置。

 

 

 

三、检查点的实现算法

（1）一种简单的想法：暂停应用，保存状态到检查点，再重新恢复应用

（2）Flink的改进实现：基于Chandy-Lamport算法的分布式快照，将检查点的保存和数据处理分离开，不暂停整个应用。

 

 

 

 

 

 

 

 

 

— 业精于勤荒于嬉，行成于思毁于随 —