本文解释如何找到一个表的大小。
取决于使用的命令,如果你试图找到一个增量的大小表或non-delta表。
三角洲表的大小
找到δ表的大小,您可以使用Apache火花SQL命令。
% scala com.databricks.sql.transaction.tahoe进口。_ val deltaLog = deltaLog。forTable(火花,“dbfs: / < path-to-delta-table >”) = deltaLog val快照。/ /当前快照三角洲表快照println (s”总文件大小(字节):$ {deltaLog.snapshot.sizeInBytes} ")
non-delta表的大小
您可以确定大小的non-delta表通过计算总额底层内单个文件的目录。
您还可以使用queryExecution.analyzed.stats返回的大小。
% scala spark.read.table .queryExecution.analyzed.stats (“< non-delta-table-name >”)