分类 大数据 中的文章

Photon A Fast Query Engine for Lakehouse Systems

2023年1月2日
| 大数据
Databricks 2022年在SIGMOD上发表的论文(最佳工业论文奖)，由于I/O方面有很多优化措施，而JVM的对向量化支持较差，之后用C++实现了向量化的执行引擎Photon，来实现进一步的性能提升；首先是从最底层scan开始替换，因为中间替换的代价较高，之后不断往上，直到某个算子Photon不能适配，则由列存转换为Spark的行存，退回到Spark执行，总体看性能可以提升好几倍
+1

阅读全文

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6

最近文章

分类

归档

标签

AI Ambari Architecture Bigdata BTrace B树 C++ Calcite Canal Claude CMU-Database Data_Ingestion DataX DeltaLake Doris EBPF English ES Facebook Flink Flume GC Gluten HANA Hive Iceberg Impala Janino JuiceFS K8s Kafka Kudu Kyuubi Lakehouse LevelDB LlamaFactory LLVM Log4j Longhorn Manacher MapReduce Micro-Service Mq MySQL NewSQL OceanBase OpenLDAP OpenLogReplicator Ozone Parquet Paxos Presto PyTorch Quick-Sql Raft Scala SeaTunnel SIMD Snowflake Spark SRE TeraData TPCx-HS Trino Tuning Unix Volcano YARN 中东问题 二分查找 二叉树遍历 分布式 分布式系统一致性 列存 动态注入 历史 向量化 商业 回溯 国内旅行 国外旅行 多租户 大数据 大模型 存储 工作记录 微服务 数据中台 数据同步 数据库 数据模型 数据迁移 查询优化 查询编译 概率 汇编 测试 生活 电影 睡眠机制 算法 索引 经济 经济分析 缓存 编译原理 网络 计算框架 论文 读书 读书笔记 软件工程 阿富汗

RSS