减少文件扫描和提高性能的预测IO

预测性IO是一套新的功能,用于优化查询的扫描和过滤部分。这些改进极大地减少了查询的扫描部分。预测性IO使Photon引擎能够查询更少的数据,并更快地提供结果。

重要的

无服务器和pro类型的SQL仓库以及运行的photon加速集群都支持预测性IODatabricks运行时11.2及以上

预测性IO通过应用深度学习技术来提高扫描性能:

  • 确定最有效的访问模式,以读取数据并只扫描实际需要的数据。

  • 消除对生成查询结果不需要的列和行的解码。

  • 计算选择性查询中匹配一行的搜索条件的概率。当查询运行时,我们使用这些概率来预测下一个匹配行的位置,并且只从云存储中读取该数据。