雅思句子分析和单词(2)

雅思句子分析与单词系列的第 2 篇,重点包括:

  • 覆盖 第 21 到 40 个句子,延续逐句拆解的方式继续做结构训练
  • 重点会更多落在 并列复合句、形式主语、主语从句、后置定语、谓语并列 这类雅思里高频出现的结构
  • 除了句法分析,还会补充 固定搭配、词组边界、句子成分树,帮助把“看懂”变成“能自己拆”
  • 词汇部分继续围绕原句扩展,适合边做句子精读边积累写作和阅读常用表达

阅读全文

雅思句子分析和单词(1)

雅思句子分析与单词系列的第 1 篇,重点包括:

  • 覆盖 第 1 到 20 个句子,先建立这一系列的分析节奏和拆句方法
  • 每个句子都从 结构分析、固定搭配、语义理解、词汇扩展 几个角度展开,而不是只给翻译
  • 词汇部分会顺着句子主题做延展,补充 近义词、搭配、词根记忆,方便把句子学习和单词积累放在一起
  • 整体更适合当成系列入口:先学会怎么看句子,再逐步进入更复杂的长难句

阅读全文

OpenLDAP 学习

OpenLDAP 最常见的学习入口整理到一起,重点包括:

  • 先从 OpenLDAP 的主要模块 入手,理解 slapdlloadd、协议库以及周边工程分别负责什么
  • 再结合 目录树结构按 DNS 分层的组织方式,建立对 LDAP 数据组织模型的直觉
  • 命令部分集中整理 ldapadd、ldapmodify、ldapdelete、ldapsearch、ldappasswd、ldapwhoami 等常用工具,方便日常查询和维护
  • 后面补上 配置文件、Web 控制台和官方文档入口,让这篇既能做入门笔记,也能当成后续排障和查配置时的索引
ldap/1.jpg

阅读全文

Flink 内存管理

重点包括:

  • MemorySegment 是 Flink 最小的内存分配单元,默认 32KB,既可以直接驻留内存,也可以在必要时借助序列化写到磁盘
  • HeapMemorySegmentDataInputViewDataOutputView 这些基础抽象分别负责堆内内存访问、读取视图和写入视图,是上层算子和序列化框架的基础
  • MemoryManager 主要管理排序、哈希、缓存等更偏离线计算的内存,而 NetworkBufferPool 则通过 MemorySegmentFactory 申请网络缓冲区使用的内存
  • 调用链可以从 TaskManager -> TaskSlot -> MemorySegment 这条路径去理解,后面再结合 KryoSerializerTypeInformation 看 Flink 的序列化体系怎么工作
flink_4/4.jpg flink_4/5.jpg flink_4/6.jpg flink_4/7.jpg flink_4/8.jpg flink_4/9.jpg flink_4/10.jpg flink_4/11.jpg+1

阅读全文

Flink RPC

重点包括:

  • RPC 层:Flink 早期基于 Akka 构建 RPC,DispatcherJobMasterResourceManager 等组件都继承 RpcEndpoint,而 RpcServer 则通过 AkkaInvocationHandler 完成动态代理
  • 网络栈:TaskManager 之间的数据传输走 Netty,数据从 RecordWriter 写入本地 buffer,再进入 ResultPartition,最后发给对端的 Netty,再转入 InputGate -> OperatorChain -> StreamTaskInput
  • 任务执行模型:包括直接从外部源读取数据的 SourceStreamTask / SourceReaderStreamTask,以及支持从网络或本地消费数据的 OneInputStreamTask / TwoInputStreamTask
  • Shuffle 与反压ResultPartitionIntermediateResultPartition 的底层物理实现,包含多种实现形态;而基于 credit 的反压机制里,每个 credit 基本就对应一个上游 buffer(默认 32KB)
flink_3/18.jpg flink_3/19.jpg flink_3/20.jpg flink_3/21.jpg flink_3/22.jpg flink_3/23.jpg flink_3/24.jpg flink_3/25.jpg+32

阅读全文

模型微调步骤

包括:

  • 按任务类型拆开看图像、视频、音频、文本、多模态的微调差异
  • 把数据准备、冻结层、学习率、LoRA/全参微调、评估与部署这些通用步骤串起来
  • 补上梯度下降、导数这些基础概念,方便把工程流程和模型原理接上

阅读全文

Flink 状态管理

Flink 的状态数据、后端实现和 checkpoint 主线串起来:

  • 先看 State 体系本身,包括 MapStateValueStateBroadcastState 以及内部使用的 InternalKvState
  • 再看 KeyedStateOperatorState 两条实现路径,以及 HeapRocksDBStateTableOperatorStateBackend 这些核心组件
  • 最后把 checkpoint 的触发、barrier 对齐、下游传播、ACK 回传和 job-manager 确认完成的过程连起来
flink_3/1.jpg flink_3/2.jpg flink_3/3.jpg flink_3/4.jpg flink_3/5.jpg flink_3/6.jpg flink_3/7.jpg flink_3/8.jpg+18

阅读全文

Flink 集群管理

主要看 Flink 集群是怎么被创建出来、怎么和外部资源管理器打交道的,重点包括:

  • ClusterClientFactory -> ClusterDescriptor -> ClusterClientProvider -> ClusterClient 这条客户端侧的入口链路
  • AbstractContainerizedClusterClientFactoryStandaloneClientFactory 这些不同部署模式下的工厂实现
  • Yarn 和 Kubernetes 两条典型路径里,ResourceManagerTaskExecutorfabric8、pod/Container 启动之间的关系
flink_2/30.jpg flink_2/31.jpg flink_2/32.jpg flink_2/33.jpg flink_2/34.jpg flink_2/35.jpg flink_2/36.jpg flink_2/37.jpg+2

阅读全文

Flink 任务提交

重点是把“提交一个 Flink 作业”拆成几个明确阶段:

  • CLIFrontendPackagedProgramDefaultExecutorServiceLoader 到不同集群类型下的 PipelineExecutor
  • ExecutionEnvironmentStreamExecutionEnvironment 生成 StreamGraph / JobGraph,再交给运行时调度
  • 再往后看 DispatcherJobMasterSlotPoolTaskDeploymentDescriptorStreamTask、Mailbox、重启策略这些运行阶段的关键组件
flink_2/1.jpg flink_2/2.jpg flink_2/3.jpg flink_2/4.jpg flink_2/5.jpg flink_2/6.jpg flink_2/7.jpg flink_2/8.jpg+23

阅读全文

Flink-DataStraem

DataStream 在运行时到底会落到哪些算子和线程模型上:

  • StreamOperatorAbstractStreamOperatorAbstractUdfStreamOperator 一路看到单输入、双输入算子的继承体系
  • 再看 SourceFunctionSinkFunctionTwoPhaseCommitSinkFunctionProcessFunctionKeyedProcessFunction 这些常用扩展点
  • 最后顺着 SourceStreamTask -> StreamSource -> user functionStreamSink -> invoke() 这条路径,把 WatermarkTimerService、端到端一致性串起来
5 21 22 23 24 25 26 27+7

阅读全文

最近文章

分类

归档

标签

RSS