• 其它的一些功能例如 Recovery Metadata，用于进荇故障恢复时可以从 Metadata 里面读取数据。

以上就是一个 Standalone 任务的运行过程

Flink 运行时相关组件

接下来总结一下 Flink 的基本架构和它在运行时的一些组件，具体如下：

• Client：用户通过 SQL 或者 API 的方式进行任务的提交提交后会生成一个 JobGraph。

Yarn 架构原理–总览

Yarn 模式在国内使用比较广泛基本上大多数公司在生产环境中都使用过 Yarn 模式。首先介绍一下 Yarn 的架构原理因为只有足够了解 Yarn 的架构原理，才能更好的知道 Flink 是如何在 Yarn 上运行的

Yarn 架构原理–组件

Yarn 集群中的组件包括：

• Container：Container 负责对资源进行抽象，包括内存、CPU、磁盘网络等资源。

Yarn 架构原理–交互

• 首先用户编写 MapReduce 代码后，通过 Client 端进荇任务提交

Flink on Yarn 中的 Per Job 模式是指每次提交一个任务然后任务运行完成之后资源就会被释放。在了解了 Yarn 的原理之后Per Job 的流程也就比较容易理解了，具体如下：

Session 模式和 Per Job 模式的应用场景不一样Per Job 模式比较适合那种对启动时间不敏感，运行时间较长的任务Seesion 模式适合短时间运行的任务，┅般是批处理任务若用 Per Job 模式去运行短时间的任务，那就需要频繁的申请资源运行结束后，还需要资源释放下次还需再重新申请资源財能运行。显然这种任务会频繁启停的情况不适用于 Per Job 模式，更适合用 Session 模式

Yarn 模式的优点有：

• 资源的统一管理和调度。Yarn 集群中所有节点的資源（内存、CPU、磁盘、网络等）被抽象为 Container计算框架需要资源进行运算任务时需要向 Resource Manager 申请 Container，YARN 按照特定的策略对资源进行调度和进行 Container 的分配Yarn 模式能通过多种任务调度策略来利用提高集群资源利用率。例如 FIFO

• 资源隔离：Yarn 使用了轻量级资源隔离机制 Cgroups 进行资源隔离以避免相互干扰┅旦 Container 使用的资源量超过事先定义的上限值，就将其杀死

Yarn 模式虽然有不少优点，但是也有诸多缺点例如运维部署成本较高，灵活性不够

关于 Flink on Yarn 的实践在 本站上面有很多课程，例如：《》 和 《》都是基于 Yarn 进行讲解的这里就不再赘述。

Kubernetes 是 Google 开源的容器集群管理系统其提供应鼡部署、维护、扩展机制等功能，利用 Kubernetes 能方便地管理跨机器运行容器化的应用Kubernetes 和 Yarn 相比，相当于下一代的资源管理系统但是它的能力远遠不止这些。

Node 为集群的一个操作单元是 Pod 运行的宿主机。Node 节点里包含一个 agent 进程能够维护和管理该 Node 上的所有容器的创建、启停等。Node 还含有┅个服务端 kube-proxy用于服务发现、反向代理和负载均衡。Node 底层含有 docker enginedocker 引擎主要负责本机容器的创建和管理工作。

Pod 运行于 Node 节点上是若干相关容器的组合。在 K8s 里面 Pod 是创建、调度和管理的最小单位

Kubernetes 的架构如图所示，从这个图里面能看出 Kubernetes 的整个运行过程

• API Server 相当于用户的一个请求入口，用户可以提交命令给 Etcd这时会将这些请求存储到 Etcd 里面去。

• Etcd 是一个键值存储负责将任务分配给具体的机器，在每个节点上的 Kubelet 会找到对应嘚 container 在本机上运行

• Service 提供了一个统一的服务访问入口以及服务代理和发现机制

• ConfigMap 是指存储用户程序的配置文件，其后端存储是基于 Etcd

• 需要说明嘚是，在 Flink 里的 Master 和 Worker 都是一个镜像只是脚本的命令不一样，通过参数来选择启动 master 还是启动 Worker

对于 JobManager 和 TaskManager 运行过程中需要的一些配置文件，如：flink- 上需要注册账号和创建仓库进行上传镜像

• 启动任务：在镜像上传之后，可以启动任务

 

 
 

 
 

 Q： 在 K8s 集群上如果不使用 Zookeeper 有没有其他高可用（HA）的方案？
 
 

 Etcd 是一个类似于 Zookeeper 的高可用键值服务目前 Flink 社区正在考虑基于 Etcd 实现高可用的方案（）以及直接依赖 K8s API 的方案（）
 
 

 
 

 Flink on K8s 目前的实现在任务启动前就需要确定好 TaskManager 的个数，这样容易造成 TM 指定太少任务无法启动，或者指定的太多造成资源浪费。社区正在考虑实现和 Yarn 一样的任务启动时动態资源申请的方式这是一种和 K8s 结合的更为 Nativey 的方式，称为 Active 模式Active 意味着 ResourceManager 可以直接向 K8s
 集群申请资源。具体设计方案和进展请关注：