《阿里云Flink社区贡献Flink从入门到精通》电子书

互联网|IT adminlele 4年前 (2022-05-09) 407次浏览 已收录 0个评论

本站主要采用城通网盘链接分享,因为其他网盘会和谐链接!非VIP会员的朋友请点击普通下载,弹窗关闭即可。速度可能比较慢,请耐心等待,提高下载速度,送您10元消费红包

《阿里云Flink社区贡献Flink从入门到精通》电子书

《阿里云Flink社区贡献Flink从入门到精通》电子书综述

本文主要介绍Flink Runtime的作业执行的核心机制。首先介绍Flink Runtime的整体架构以及Job的基本执行流程,然后介绍在这个过程,Flink是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍Flink Runtime层当前正在进行的一些工作。

Flink Runtime整体架构

Flink的整体架构。Flink是可以运行在多种不同的环境中的,例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运行在Yarn或者K8S这种资源管理系统上面,也可以在各种云环境中执行。

错误恢复

在Flink作业的执行过程中,除正常执行的流程外,还有可能由于环境等原因导致各种类型的错误。整体上来说,错误可能分为两大类:Task执行出现错误或Flink集群的Master出现错误。由于错误不可避免,为了提高可用性,Flink需要提供自动错误恢复机制来进行重试。

对于第一类Task执行错误,Flink提供了多种不同的错误恢复策略。如图8所示,第一种策略是Restart-all,即直接重启所有的Task。对于Flink的流任务,由于Flink提供了Checkpoint机制,因此当任务重启后可以直接从上次的Checkpoint开始继续执行。因此这种方式更适合于流作业。第二类错误恢复策略是Restart-individual,它只适用于Task之间没有数据传输的情况。这种情况下,我们可以直接重启出错的任务。

Flink是可以运行在多种不同的环境中的,例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运行在Yarn或者K8S这种资源管理系统上面,也可以在各种云环境中执行。

flinkcrmdjt.zip: https://t00y.com/f/560517-577465024-9e67c6?p=311929 (访问密码:311929)


中信图书出版社全部书籍617本百度网盘福利
西部数码域名服务器优惠券老薛主机优惠券
请通过以下商城购买正版书籍
图书库 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:《阿里云Flink社区贡献Flink从入门到精通》电子书本站电子书版权归原作者及开发商所有,仅限个人测试交流学习之用,请在下载后24小时内删除。若有违反您个人权益,请留言反馈删除相关信息。

喜欢 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址