分类 分布式 中的文章

Volcano 笔记

按:一个任务的一生来梳理 Volcano,重点包括:

  • vcjob 提交、controller 创建 PodGroup/Podscheduler 执行 enqueue/allocate/bind,一直到 kubelet 起容器、Job Policy 处理异常、TTL 自动清理
  • QueuePodGroupgangactionplugin 这些核心概念挂到同一条主线上,方便理解调度过程
  • 补充网络拓扑感知、层级队列、在线离线混部、反调度、TDM、GPU/NPU、扩展方式、生态和运维排查
  • 最后记录一次 CRD 版本不匹配导致 vcjob 不创建 PodGroup 的真实排查过程

阅读全文

分布式系统的8大谬误

围绕分布式系统的“修好”错觉和八大谬误展开,重点包括:

  • 先讨论“分布式系统不存在修好”这句话哪些成立、哪些说得过头,并给出更准确的版本:在选定一致性模型之外,竞态只能管理
  • 解释为什么分布式系统难,不只是 CAP/FLP 这类理论边界,还有故障组合爆炸、调试困难、正确性边界滑动和人为变更
  • 逐条拆解 网络可靠延迟为零带宽无限网络安全拓扑不变只有一个管理员传输代价为零网络同质 这八大谬误
  • 最后总结这些谬误背后的共同结构,以及它们对超时、重试、幂等、批量、隔离、观测和恢复策略的直接要求

阅读全文

k8s扩展机制

按:Kubernetes 的扩展机制很多,理解时不要把它们看成零散插件,重点包括:

  • 节点/运行时API/调度应用/流量可观测性/安全/策略生命周期/编排新兴扩展 6 个层次梳理 30 个常见扩展点
  • CRI/CNI/CSICRD/Operator/WebhookIngress/Gateway API/Service MeshPolicy/GitOps/Workflow 挂到同一张图上,方便定位职责边界
  • 每个机制都配一个最小例子,适合做选型速查,也适合排障时快速回忆“该在哪一层动手”
  • 最后补一张总结表,帮助区分哪些扩展点主要落在 kubeletapiserverschedulercontroller 一侧

阅读全文

分布式系统双写一致性问题

围绕 AI 平台配额管理里的“双写一致性”问题展开,重点包括:

  • 先把业务问题讲清楚:是否应该让 MySQL 中的配额账本K8s 中的真实资源占用 保持实时一致
  • FLPCAP两将军问题PACELC 这些经典理论出发,说明“跨两个独立分布式系统做实时强一致双写”为什么在理论上不可达
  • 再落到工程实践,分析提交链路、运行期和系统层故障会如何把最终一致方案推向状态机、幂等、补偿、对账和组合爆炸
  • 最后结合 Google Borg / Kubernetes / AWS 等业界做法,给出结论:放弃“实时库存式扣减”,采用 准入控制 + K8s 实时用量 的方案

阅读全文

longhorn

按:这篇不是只列出 Longhorn 的 Pod 名称,而是顺着它在 Kubernetes 里的工作方式做拆解,重点包括:

  • 先从 Longhorn Manager、Instance Manager、Engine Image、CSI 组件、NFS Provisioner 这些核心角色入手,看清控制面、数据面和 K8s 集成层分别负责什么
  • PVC 绑定、卷读写、快照、备份、RWX 共享卷 这些常见操作串成完整流程,方便理解 Longhorn 到底在什么时候和 kubelet、CSI、Engine 打交道
  • 补充 物理和逻辑关系,把 volumes.longhorn.io、副本目录、snapshot chain、backupstore 这些对象对应起来,避免只会在 UI 里点但看不清底层
  • 最后整理一组 Advanced Features,包括增量快照、跨集群灾备、QoS、克隆、跨可用区复制、监控和静态加密,方便做能力盘点

阅读全文

JuiceFS

包括:

  • 数据与元数据分离 这个核心设计入手,理解 JuiceFS 为什么能把对象存储包装成一个分布式文件系统
  • chunk、slice、block 的组织方式、对象存储里的命名规则、元数据与真实数据的映射关系讲清楚,方便定位读写放大和碎片问题
  • 补充 格式化、挂载、本地验证、缓存、S3 Gateway、clone、同步 这些高频运维与功能点,避免只停留在概念层
  • 最后看它如何和 Spark、Flink、Kubernetes CSI 集成,理解 JuiceFS 在大数据和云原生场景里最常见的落点
4.jpg 5.jpg 6.jpg 7.jpg 8.jpg 9.jpg 10.jpg 11.jpg+7

阅读全文

最近文章

分类

归档

标签

RSS