镜像合并&配置文件同步
将业务镜像和底层基础镜像合并，去掉spark的k8s模板配置文件，通过init容器 + env + volumn方式实现
分类 大数据 中的文章
Photon A Fast Query Engine for Lakehouse Systems
Databricks 2022年在SIGMOD上发表的论文(最佳工业论文奖)，由于I/O方面有很多优化措施，而JVM的对向量化支持较差，之后用C++实现了向量化的执行引擎Photon，来实现进一步的性能提升；首先是从最底层scan开始替换，因为中间替换的代价较高，之后不断往上，直到某个算子Photon不能适配，则由列存转换为Spark的行存，退回到Spark执行，总体看性能可以提升好几倍
MillWheel
MillWheel: Fault-Tolerant Stream Processing at Internet Scale
FlumeJava: Easy, Efficient Data-Parallel Pipelines
FlumeJava论文:《FlumeJava: Easy, Efficient Data-Parallel Pipelines》翻译
Apache Flink™: Stream and Batch Processing in a Single Engine
Flink论文：《Apache Flink™: Stream and Batch Processing in a Single Engine》翻译
高可用设计
扩展spark thrift，变成两层调度
Kyuubi设计调研
Kyuubi设计调研
Snowflake论文
The Snowflake Elastic Data Warehouse 论文 2015年发表在 sigmod上的
Spark SQL论文
Spark SQL: Relational Data Processing in Spark 论文
Delta Lake论文
Delta Lake: High-Performance ACID Table Storage over Cloud Object Stores 论文