比较Delta表双版

时间旅行比较Delta表的两个版本

写由machan.pilai

2022年5月10日

三角洲湖支持时间旅行,允许查询三角洲表老相片

常用实例之一是比较Delta表的两种版本,以便识别哪些变换

更多时间旅行细节请审查三角洲湖时间旅行文件AWS系统|休眠|GCP)

识别所有差分

sql使用安全选择查询识别Delta表两个版本间所有差分

需要知道表名和拟比较快照版数

sql选择*
          
           校对:Portnoy
           
            除所有选择*
            
             校对:Portnoy
             
            
           
          

举例说,如果你有一个表命名为schedule并想比较2版原版

sql从调度s@v2中选择*除所有从调度s@v0中选择*

标识文件添加到特定版本

Scala查询检索文件列表

scala显示
          
           /_delta_log/00000000000000000002.json").where("add is not null").select("add.path"))
          

举个例子,我们正在获取Delta表第二版所有文件列表

00000000000000000002.json内含版本2中所有文件列表

读全表后, 我们排除已有文件, 所以显示列表只包括2版添加文件


文章有帮助吗