Flink架构

Flink 运行时的脑图,重点包括:

  • Session 集群、Application 集群两种模式,以及客户端、JobManager、TaskManager 之间的基本关系
  • 作业从提交到调度执行的主链路,包括心跳、checkpoint、slot 分配、任务状态汇报
  • 运行时启动时会顺带拉起的组件,比如 RPC service、blob server、metric registry、HA service、heartbeat service 等
flink_3/15.jpg 34 35 36 37 38 40+14

阅读全文

Flink执行图的生成

Flink 逻辑计划到物理执行的主线整理,重点包括:

  • 流任务如何先转换成 StreamGraph,批任务如何进入 OptimizedPlan,最后统一落到 JobGraph
  • StreamNodeStreamEdgeJobVertexJobEdgeIntermediateDataSet 这些图结构节点和边分别代表什么
  • 再往后如何结合并行度、算子链和调度需求,生成最终的 ExecutionGraph 并进入物理执行
17 19 1 2 3 4 5 6+7

阅读全文

学习一下 pytorch

PyTorch 入门学习单,内容比较散,这里把主线收一下:

  • 先从 numpytensor、索引切片、张量和数组转换这些最基础的操作开始
  • 再往上走到 Torchvision、MNIST、训练评估、模型保存加载,以及常见图像预处理
  • 最后补到卷积、padding、空洞卷积、梯度、tensorboard、visdom、分布式训练这些进阶主题
1 2 3 4 5 6 7 8+9

阅读全文

公有云中日志收集

在公有云和 Kubernetes 环境里,日志怎么从 pod 里拿出来、再怎么落到后端存储:

  • 先对比两种采集方式:程序内通过 log4j appender 直接发送,或者由辅助程序读取日志文件再转发
  • 再看几种常见处理路径,比如写 Kafka、共享存储、S3,或者交给 Raft 集群、NewSQL 系统做聚合和索引
  • 重点不只是怎么采,还包括高可用、吞吐、解耦和后续检索分析成本
0-a 1-a 1-b 2-a 2-b 3 4

阅读全文

BTrace 的学习

记录一个 BTrace 脚本,再顺带把几类 Java 线上诊断工具放到一起看:

  • 先用一个简单的 BTrace 例子理解字节码插桩、运行期观测和不重启排查问题的基本思路
  • 再和 Arthas retransformjdb 这种更常见的调试方式做对照
  • 最后补上 JFRVisualVMJProfilerMAT、火焰图这些工具,方便按问题类型选手段

阅读全文

Spark 注册数据源

总结:

  • DataSourceRegister 的注册方式,以及自定义 XXRelationProvider 是怎么被 Spark 发现和加载的
  • DataSource 的查找过程,以及 DataFrameReaderDataFrameWriter 在读写路径里的角色
  • 顺手补到 CheckpointRDDPartitionReliableCheckpointRDDSparkSession 内部的 SparkContextsharedStateSQLContextRuntimeConfig

阅读全文

最近文章

分类

归档

标签

RSS