Spark性能调优
Spark性能调优
包含标签 spark 的文章
Photon A Fast Query Engine for Lakehouse Systems
Databricks 2022年在SIGMOD上发表的论文(最佳工业论文奖)，由于I/O方面有很多优化措施，而JVM的对向量化支持较差，之后用C++实现了向量化的执行引擎Photon，来实现进一步的性能提升；首先是从最底层scan开始替换，因为中间替换的代价较高，之后不断往上，直到某个算子Photon不能适配，则由列存转换为Spark的行存，退回到Spark执行，总体看性能可以提升好几倍
Spark SQL论文
Spark SQL: Relational Data Processing in Spark 论文
Spark逻辑计划的解析
介绍spark是如何做逻辑计划解析，并优化的
Spark的注入规则
扩展Spark的注入规则，实现updaet
Spark论文
读Spark论文