Juliusz Sompolski

在Spark等数据分析框架中，检测和避免扫描与执行查询无关的数据是很重要的，这种优化被称为分区修剪。当优化器在解析时无法识别必须消除的分区时，就会发生动态分区修剪。特别地，我们考虑由一个或多个引用任意数量维表的事实表组成的星型模式。在这样的连接操作中，我们可以通过识别过滤维度表产生的分区，来删除连接从事实表中读取的分区。在这次演讲中，我们提出了一种在运行时通过在哈希连接中重用维度表广播结果来执行动态分区修剪的机制，并展示了对大多数TPCDS查询的显著改进。