Gluten源码结构
Spark向量化扩展 gluten 源码结构分析
包含标签 Gluten 的文章
Gluten和相关依赖
对Spark性能增加的一个方案，将处理密集型数据部分的逻辑，由 JVM 交给 C++处理，Gluten只是一个胶水层，本身不做太多的事情，它将Spark的物理计划转为Substrait计划，然后序列化再转发给底层的向量化引擎，如Velox、ClickHouse等。对于不支持的算子会交给原生Spark处理，这种思路跟Databricks 发表的论文Photon是很类似的