本站主要采用城通网盘链接分享,因为其他网盘会和谐链接!非VIP会员的朋友请点击普通下载,弹窗关闭即可。速度可能比较慢,请耐心等待,提高下载速度,送您10元消费红包。

《阿里云Flink社区贡献Flink从入门到精通》电子书综述
本文主要介绍Flink Runtime的作业执行的核心机制。首先介绍Flink Runtime的整体架构以及Job的基本执行流程,然后介绍在这个过程,Flink是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍Flink Runtime层当前正在进行的一些工作。
Flink Runtime整体架构
Flink的整体架构。Flink是可以运行在多种不同的环境中的,例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运行在Yarn或者K8S这种资源管理系统上面,也可以在各种云环境中执行。
错误恢复
在Flink作业的执行过程中,除正常执行的流程外,还有可能由于环境等原因导致各种类型的错误。整体上来说,错误可能分为两大类:Task执行出现错误或Flink集群的Master出现错误。由于错误不可避免,为了提高可用性,Flink需要提供自动错误恢复机制来进行重试。
对于第一类Task执行错误,Flink提供了多种不同的错误恢复策略。如图8所示,第一种策略是Restart-all,即直接重启所有的Task。对于Flink的流任务,由于Flink提供了Checkpoint机制,因此当任务重启后可以直接从上次的Checkpoint开始继续执行。因此这种方式更适合于流作业。第二类错误恢复策略是Restart-individual,它只适用于Task之间没有数据传输的情况。这种情况下,我们可以直接重启出错的任务。
Flink是可以运行在多种不同的环境中的,例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运行在Yarn或者K8S这种资源管理系统上面,也可以在各种云环境中执行。
flinkcrmdjt.zip: https://t00y.com/f/560517-577465024-9e67c6?p=311929 (访问密码:311929)



