Gluten源码结构
Spark向量化扩展 gluten 源码结构分析
分类 大数据 中的文章
Ambari架构
介绍 Ambari 的基本功能，依赖的其他开源组件，主要模块 Ambari-Server、Agent、web、metrics 的介绍
Gluten和相关依赖
对Spark性能增加的一个方案，将处理密集型数据部分的逻辑，由 JVM 交给 C++处理，Gluten只是一个胶水层，本身不做太多的事情，它将Spark的物理计划转为Substrait计划，然后序列化再转发给底层的向量化引擎，如Velox、ClickHouse等。对于不支持的算子会交给原生Spark处理，这种思路跟Databricks 发表的论文Photon是很类似的
大数据采集
总结一下大数据采集框架：Flumen、Fluentd、Sqoop、Datax、SeaTunel
Presto在各大公司的应用
Presto在 B站、字节跳动等 各大公司的应用
Spark性能调优
Spark性能调优
资源隔离修改配置动态加载
在资源隔离大功能的基础上，实现动态加载配置修改功能，当用户 alter 了资源配置表，会动态生效
资源隔离设计
基于高可用的两层调度方式，配合 k8s 实现一套资源隔离机制，并实现自定义的语法
镜像合并&配置文件同步
将业务镜像和底层基础镜像合并，去掉spark的k8s模板配置文件，通过init容器 + env + volumn方式实现
Photon A Fast Query Engine for Lakehouse Systems
Databricks 2022年在SIGMOD上发表的论文(最佳工业论文奖)，由于I/O方面有很多优化措施，而JVM的对向量化支持较差，之后用C++实现了向量化的执行引擎Photon，来实现进一步的性能提升；首先是从最底层scan开始替换，因为中间替换的代价较高，之后不断往上，直到某个算子Photon不能适配，则由列存转换为Spark的行存，退回到Spark执行，总体看性能可以提升好几倍