模型微调步骤

包括:

  • 按任务类型拆开看图像、视频、音频、文本、多模态的微调差异
  • 把数据准备、冻结层、学习率、LoRA/全参微调、评估与部署这些通用步骤串起来
  • 补上梯度下降、导数这些基础概念,方便把工程流程和模型原理接上

阅读全文

Flink 状态管理

Flink 的状态数据、后端实现和 checkpoint 主线串起来:

  • 先看 State 体系本身,包括 MapStateValueStateBroadcastState 以及内部使用的 InternalKvState
  • 再看 KeyedStateOperatorState 两条实现路径,以及 HeapRocksDBStateTableOperatorStateBackend 这些核心组件
  • 最后把 checkpoint 的触发、barrier 对齐、下游传播、ACK 回传和 job-manager 确认完成的过程连起来
flink_3/1.jpg flink_3/2.jpg flink_3/3.jpg flink_3/4.jpg flink_3/5.jpg flink_3/6.jpg flink_3/7.jpg flink_3/8.jpg+18

阅读全文

Flink 集群管理

主要看 Flink 集群是怎么被创建出来、怎么和外部资源管理器打交道的,重点包括:

  • ClusterClientFactory -> ClusterDescriptor -> ClusterClientProvider -> ClusterClient 这条客户端侧的入口链路
  • AbstractContainerizedClusterClientFactoryStandaloneClientFactory 这些不同部署模式下的工厂实现
  • Yarn 和 Kubernetes 两条典型路径里,ResourceManagerTaskExecutorfabric8、pod/Container 启动之间的关系
flink_2/30.jpg flink_2/31.jpg flink_2/32.jpg flink_2/33.jpg flink_2/34.jpg flink_2/35.jpg flink_2/36.jpg flink_2/37.jpg+2

阅读全文

Flink 任务提交

重点是把“提交一个 Flink 作业”拆成几个明确阶段:

  • CLIFrontendPackagedProgramDefaultExecutorServiceLoader 到不同集群类型下的 PipelineExecutor
  • ExecutionEnvironmentStreamExecutionEnvironment 生成 StreamGraph / JobGraph,再交给运行时调度
  • 再往后看 DispatcherJobMasterSlotPoolTaskDeploymentDescriptorStreamTask、Mailbox、重启策略这些运行阶段的关键组件
flink_2/1.jpg flink_2/2.jpg flink_2/3.jpg flink_2/4.jpg flink_2/5.jpg flink_2/6.jpg flink_2/7.jpg flink_2/8.jpg+23

阅读全文

Flink-DataStraem

DataStream 在运行时到底会落到哪些算子和线程模型上:

  • StreamOperatorAbstractStreamOperatorAbstractUdfStreamOperator 一路看到单输入、双输入算子的继承体系
  • 再看 SourceFunctionSinkFunctionTwoPhaseCommitSinkFunctionProcessFunctionKeyedProcessFunction 这些常用扩展点
  • 最后顺着 SourceStreamTask -> StreamSource -> user functionStreamSink -> invoke() 这条路径,把 WatermarkTimerService、端到端一致性串起来
5 21 22 23 24 25 26 27+7

阅读全文

Flink架构

Flink 运行时的脑图,重点包括:

  • Session 集群、Application 集群两种模式,以及客户端、JobManager、TaskManager 之间的基本关系
  • 作业从提交到调度执行的主链路,包括心跳、checkpoint、slot 分配、任务状态汇报
  • 运行时启动时会顺带拉起的组件,比如 RPC service、blob server、metric registry、HA service、heartbeat service 等
flink_3/15.jpg 34 35 36 37 38 40+14

阅读全文

Flink执行图的生成

Flink 逻辑计划到物理执行的主线整理,重点包括:

  • 流任务如何先转换成 StreamGraph,批任务如何进入 OptimizedPlan,最后统一落到 JobGraph
  • StreamNodeStreamEdgeJobVertexJobEdgeIntermediateDataSet 这些图结构节点和边分别代表什么
  • 再往后如何结合并行度、算子链和调度需求,生成最终的 ExecutionGraph 并进入物理执行
17 19 1 2 3 4 5 6+7

阅读全文

学习一下 pytorch

PyTorch 入门学习单,内容比较散,这里把主线收一下:

  • 先从 numpytensor、索引切片、张量和数组转换这些最基础的操作开始
  • 再往上走到 Torchvision、MNIST、训练评估、模型保存加载,以及常见图像预处理
  • 最后补到卷积、padding、空洞卷积、梯度、tensorboard、visdom、分布式训练这些进阶主题
1 2 3 4 5 6 7 8+9

阅读全文

公有云中日志收集

在公有云和 Kubernetes 环境里,日志怎么从 pod 里拿出来、再怎么落到后端存储:

  • 先对比两种采集方式:程序内通过 log4j appender 直接发送,或者由辅助程序读取日志文件再转发
  • 再看几种常见处理路径,比如写 Kafka、共享存储、S3,或者交给 Raft 集群、NewSQL 系统做聚合和索引
  • 重点不只是怎么采,还包括高可用、吞吐、解耦和后续检索分析成本
0-a 1-a 1-b 2-a 2-b 3 4

阅读全文

BTrace 的学习

记录一个 BTrace 脚本,再顺带把几类 Java 线上诊断工具放到一起看:

  • 先用一个简单的 BTrace 例子理解字节码插桩、运行期观测和不重启排查问题的基本思路
  • 再和 Arthas retransformjdb 这种更常见的调试方式做对照
  • 最后补上 JFRVisualVMJProfilerMAT、火焰图这些工具,方便按问题类型选手段

阅读全文

最近文章

分类

归档

标签

RSS