https://code0xff.org/tags/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0/ Recent content in 大数据平台 on 记录每个瞬间 Hugo zh-CN Sat, 22 Aug 2026 11:12:13 +0800 https://code0xff.org/post/2026/08/big-data/ Sat, 22 Aug 2026 11:12:13 +0800 https://code0xff.org/post/2026/08/big-data/ <blockquote> <p>本文把大数据平台的发展概括为六个阶段。这不是一个行业正式标准，也不是严格按年份切割的产品版本史，而是一套用于理解架构演进的分析模型。</p> </blockquote> <p>大数据平台并不是沿着一条“新产品彻底淘汰旧产品”的直线演进。更准确的过程是：</p> <div class="highlight"><div style="color:#f8f8f2;background-color:#282a36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"> <table style="border-spacing:0;padding:0;margin:0;border:0;"><tr><td style="vertical-align:top;padding:0;margin:0;border:0;"> <pre tabindex="0" style="color:#f8f8f2;background-color:#282a36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">1 </span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">2 </span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">3 </span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">4 </span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">5 </span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">6 </span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">7 </span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">8 </span><span style="white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f">9 </span></code></pre></td> <td style="vertical-align:top;padding:0;margin:0;border:0;;width:100%"> <pre tabindex="0" style="color:#f8f8f2;background-color:#282a36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>上一阶段解决了当时最突出的矛盾 </span></span><span style="display:flex;"><span> ↓ </span></span><span style="display:flex;"><span>规模、性能或使用范围扩大 </span></span><span style="display:flex;"><span> ↓ </span></span><span style="display:flex;"><span>原有架构暴露出新的问题 </span></span><span style="display:flex;"><span> ↓ </span></span><span style="display:flex;"><span>增加新的抽象层或基础设施 </span></span><span style="display:flex;"><span> ↓ </span></span><span style="display:flex;"><span>形成下一阶段 </span></span></code></pre></td></tr></table> </div> </div><p>因此，HDFS、Hive、Spark、Flink、Kubernetes、Iceberg、Paimon 和 Ray 并不处于同一个竞争层次。它们分别解决存储、计算、资源运行、数据管理和 AI 计算等不同问题，今天仍可能同时出现在一套平台中</p> <p>本文分为两部分：</p> <ol> <li><strong>大数据平台六阶段演进</strong>：每个阶段解决什么问题、代表性的开源与商业产品是什么，以及它又带来了哪些新问题</li> <li><strong>新建现代大数据平台的方法</strong>：为什么应以 Kubernetes 为默认 Resource Runtime，如何收敛存储组件，以及怎样补齐计算、数据采集、消息传输、工作流、安全、可观测性和平台交付能力</li> </ol>