砖运行时的维护更新
这个页面列表维护更新发出了砖的运行时版本。维护更新添加到现有的集群中,重新启动集群。
请注意
版本正在上演。砖帐户可能没有更新,直到一个星期或更后最初的发布日期。
请注意
本文包含引用白名单,砖不使用的一个术语。从软件中删除这个词时,我们就将它从这篇文章。
砖的运行时版本
维护更新版本:
原来的版本说明,遵循下面的链接副标题。
砖11.3运行时
看到砖运行时11.3 LTS。
2022年11月29日
用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:
csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。
JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时
cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。升级
snowflake-jdbc依赖3.13.22版。表类型的JDBC表默认现在外部。
(火花- 40906)[SQL]
模式之前应该复制钥匙插入地图吗操作系统安全更新。
2022年11月15日
表acl和加州大学共享集群现在允许数据集。从python toJSON方法。
(火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,其余的记录仍然可以正确解析,而不是返回null。为改善行为,选择集
spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。(火花- 40903)[SQL]避免重新排序十进制加规范化数据类型是否改变
(火花- 40618)[SQL]修复bug在MergeScalarSubqueries规则使用参考与嵌套的子查询跟踪
(火花- 40697)[SQL]添加读字符填充覆盖外部数据文件
操作系统安全更新。
2022年11月1日
现在统一的目录中结构化流支持刷新临时访问令牌。流与统一目录所有目的或工作集群工作负载运行最初的令牌到期后不再失败。
固定的一个问题,如果一个增量表有一个用户定义的列命名
_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。固定一个运行的问题
合并从源和使用99列的条件可能导致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投来org.apache.spark.sql.catalyst.InternalRow。固定的问题自动加载程序,文件可以复制在同一个micro-batch当
allowOverwrites启用。Apache commons-text 1.10.0升级。
(火花- 38881)[DSTREAMS][运动][PYSPARK]添加支持CloudWatch MetricsLevel配置
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
(火花- 40670)[SS] [PYTHON)修复肺水肿applyInPandasWithState当输入模式“空列上”专栏(s)
操作系统安全更新。
砖11.2运行时
看到砖11.2运行时。
2022年11月29日
用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:
csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。
JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时
cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。(火花- 40906)[SQL]
模式之前应该复制钥匙插入地图吗操作系统安全更新。
2022年11月15日
(火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,其余的记录仍然可以正确解析,而不是返回null。为改善行为,选择集
spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。(火花- 40618)[SQL]修复bug在MergeScalarSubqueries规则使用参考与嵌套的子查询跟踪
(火花- 40697)[SQL]添加读字符填充覆盖外部数据文件
操作系统安全更新。
2022年11月1日
Apache commons-text 1.10.0升级。
固定的一个问题,如果一个增量表有一个用户定义的列命名
_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。固定一个运行的问题
合并从源和使用99列的条件可能导致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投来org.apache.spark.sql.catalyst.InternalRow。固定的问题自动加载程序,文件可以复制在同一个micro-batch当
allowOverwrites启用了(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作系统安全更新。
2022年10月19日
固定的问题复制到使用临时凭证统一目录启用集群/仓库。
(火花- 40213)[SQL]支持ASCII值转换latin - 1个字符
操作系统安全更新。
2022年10月5日
用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。这种变化是推出了DBR 10.4和9.1在前面的维护更新。
(火花- 40315)[SQL]支持url编码/解码内置函数和整理url-related功能
(火花- 40156)[SQL]
url_decode ()应该返回一个错误类(火花- 40169)不叠加铺过滤器没有参考数据模式
(火花- 40460)在选择[SS]解决流指标
_metadata(火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中
(火花- 40055)[SQL] listCatalogs也应该回报spark_catalog即使defaultSessionCatalog spark_catalog实现
操作系统安全更新。
2022年9月22日
(火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()
(火花- 40389)[SQL]小数不能向上的积分类型如果演员能溢出
(火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中
(火花- 40066)[SQL](后续)检查ElementAt之前解决它的数据类型
(火花- 40109)[SQL]新的SQL函数:get ()
(火花- 40066)[SQL] ANSI模式:无效访问地图上总是返回null列
(火花- 40089)[SQL]修复排序十进制类型
(火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点
(火花- 40152)[SQL]修复split_part codegen编译问题
(火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()
(火花- 40212)[SQL] SparkSQL castPartValue不妥善处理字节,短,或浮动
(火花- 40218)[SQL]分组应该保存分组列集
(火花- 35542)(ML)解决办法:Bucketizer创建多个列的参数
(火花- 40079)添加输入为空inputCols验证输入的情况
(火花- 39912)火星- 39828[SQL]完善CatalogImpl
砖11.1运行时
看到砖11.1运行时。
2022年11月29日
用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:
csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。
JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时
cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。(火花- 39650)[SS]修复错误的价值模式在线重复数据删除的向后兼容性
操作系统安全更新。
2022年11月15日
(火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,剩下的记录仍然可以正确解析,而不是返回null。为改善行为,选择集
spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。操作系统安全更新。
2022年11月1日
Apache commons-text 1.10.0升级。
固定的一个问题,如果一个增量表有一个用户定义的列命名
_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。固定一个运行的问题
合并从源和使用99列的条件可能导致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投来org.apache.spark.sql.catalyst.InternalRow。固定的问题自动加载程序,文件可以复制在同一个micro-batch当
allowOverwrites启用了(火花- 40697)[SQL]添加读字符填充覆盖外部数据文件
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作系统安全更新。
2022年10月18日
固定的问题复制到使用临时凭证统一目录启用集群/仓库。
(火花- 40213)[SQL]支持ASCII值转换latin - 1个字符
操作系统安全更新。
2022年10月5日
用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。这种变化是推出了DBR 10.4和9.1在前面的维护更新。
(火花- 40169)不叠加铺过滤器没有参考数据模式
(火花- 40460)在选择[SS]解决流指标
_metadata(火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中
(火花- 40055)[SQL] listCatalogs也应该回报spark_catalog即使defaultSessionCatalog spark_catalog实现
操作系统安全更新。
2022年9月22日
(火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()
(火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中
(火花- 40089)[SQL]修复排序十进制类型
(火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点
(火花- 40152)[SQL]修复split_part codegen编译问题
2022年9月6日
我们更新了许可模型在表访问控制表(acl),因此只有修改权限需要改变表的模式或表和ALTER Table属性。以前,这些操作需要用户自己的桌子上。所有权仍然需要授予权限表,改变它的所有者,改变其位置,或重命名它。这种变化使表acl的权限模型更符合统一目录。
(火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()
(火花- 40212)[SQL] SparkSQL castPartValue不妥善处理字节,短,或浮动
(火花- 40218)[SQL]分组应该保存分组列集
(火花- 39976)[SQL] ArrayIntersect应该在左表达式正确处理null
(火花- 40053)[心][SQL][测试]添加
假设动态取消案例需要Python运行时环境(火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存
(火花- 40079)(核心)添加输入为空inputCols验证输入的情况
2022年8月24日
股票、提供者和接受者现在支持SQL命令改变所有者,评论,重命名
(火花- 39983)(核心)[SQL]不缓存非系列化广播在司机的关系
(火花- 39912)(火花- 39828)[SQL]完善CatalogImpl
(火花- 39775)(核心)(AVRO)禁用验证解析AVRO模式时的默认值
(火花- 39806)固定问题查询访问元数据在分区表结构崩溃
(火花- 39867)全球限制不应继承OrderPreservingUnaryNode [SQL]
(火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的
(火花- 39839)[SQL]处理特殊情况的空变长十进制与非零offsetAndSize UnsafeRow结构完整性检查
(火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX错误的建议
(火花- 39847)在RocksDBLoader.loadLibrary [SS]解决竞态条件()如果调用者线程中断
(火花- 39731)[SQL]在CSV和JSON数据源解决问题时,在“名称”格式解析日期更正时间解析器的政策
操作系统安全更新。
2022年8月10日,
δ表与表的访问控制,通过DML语句,如自动模式演化
插入和合并现在是对所有用户可用吗修改权限表等。此外,执行模式演化所需权限复制成现在降低了从老板来修改与其他命令的一致性。这些变化使表ACL的安全模型更符合统一目录的安全模型以及其他操作如取代一个表。
(火花- 39889)提高除0的错误消息
(火花- 39795)[SQL]新的SQL函数:try_to_timestamp
(火花- 39749)总是使用简单的字符串表示在铸造十进制ANSI模式下字符串
(火花- 39625)重命名df。作为来df.to
(火花- 39787)[SQL]使用错误类to_timestamp解析错误的功能
(火花- 39625)[SQL]添加Dataset.as (StructType)
(火花- 39689)支持2-chars
lineSep在CSV数据源(火花- 39579)PYTHON [SQL] [] [R]使ListFunctions / getFunction / functionExists兼容3层名称空间
(火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元
(火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer
(火花- 39265)[SQL]当启用SPARK_ANSI_SQL_MODE修复测试失败
(火花- 39441)[SQL]加速DeduplicateRelations
(火花- 39497)[SQL]提高失踪的分析异常映射键列
(火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动
(火花- 39434)[SQL]数组索引时提供运行时错误查询上下文边界
砖11.0运行时
看到砖11.0运行时。
2022年11月29日
用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:
csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。
JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时
cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。(火花- 39650)[SS]修复错误的价值模式在线重复数据删除的向后兼容性
操作系统安全更新。
2022年11月15日
(火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,其余的记录仍然可以正确解析,而不是返回null。为改善行为,选择集
spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。
2022年11月1日
Apache commons-text 1.10.0升级。
固定的一个问题,如果一个增量表有一个用户定义的列命名
_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。固定的问题自动加载程序,文件可以复制在同一个micro-batch当
allowOverwrites启用了(火花- 40697)[SQL]添加读字符填充覆盖外部数据文件
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作系统安全更新。
2022年10月18日
(火花- 40213)[SQL]支持ASCII值转换latin - 1个字符
操作系统安全更新。
2022年10月5日
用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。这种变化是推出了DBR 10.4和9.1在前面的维护更新。
(火花- 40169)不叠加铺过滤器没有参考数据模式
(火花- 40460)在选择[SS]解决流指标
_metadata(火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中
操作系统安全更新。
2022年9月22日
(火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()
(火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中
(火花- 40089)[SQL]修复排序十进制类型
(火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点
(火花- 40152)[SQL]修复split_part codegen编译问题
2022年9月6日
(火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()
(火花- 40212)[SQL] SparkSQL castPartValue不妥善处理字节,短,或浮动
(火花- 40218)[SQL]分组应该保存分组列集
(火花- 39976)[SQL] ArrayIntersect应该在左表达式正确处理null
(火花- 40053)[心][SQL][测试]添加
假设动态取消案例需要Python运行时环境(火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存
(火花- 40079)(核心)添加输入为空inputCols验证输入的情况
2022年8月24日
(火花- 39983)(核心)[SQL]不缓存非系列化广播在司机的关系
(火花- 39775)(核心)(AVRO)禁用验证解析AVRO模式时的默认值
(火花- 39806)固定问题查询访问元数据在分区表结构崩溃
(火花- 39867)全球限制不应继承OrderPreservingUnaryNode [SQL]
(火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的
操作系统安全更新。
2022年8月9日
(火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX错误的建议
(火花- 39847)在RocksDBLoader.loadLibrary解决竞态条件()如果调用者线程中断
(火花- 39731)[SQL]在CSV和JSON数据源解决问题时,在“名称”格式解析日期更正时间解析器的政策
(火花- 39889)提高除0的错误消息
(火花- 39795)[SQL]新的SQL函数:try_to_timestamp
(火花- 39749)总是使用简单的字符串表示在铸造十进制ANSI模式下字符串
(火花- 39625)[SQL]添加Dataset.to (StructType)
(火花- 39787)[SQL]使用错误类to_timestamp解析错误的功能
操作系统安全更新。
2022年7月27日,
(火花- 39689)支持2-chars
lineSep在CSV数据源(火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded应该是线程安全的
(火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元
(火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer
(火花- 39497)[SQL]提高失踪的分析异常映射键列
(火花- 39441)[SQL]加速DeduplicateRelations
(火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动
(火花- 39434)[SQL]数组索引时提供运行时错误查询上下文边界
(火花- 39570)[SQL]内联表应该允许表达式与别名
操作系统安全更新。
2022年7月13日
使三角洲合并操作结果一致的来源是不确定的。
固定的问题cloud_files_state TVF当运行在non-DBFS路径。
禁用自动加载器使用本地云api对Azure目录清单。
(火花- 38796)[SQL]更新to_number和try_to_number功能允许公关与正数
(火花- 39272)[SQL]增加查询上下文的初始位置1
(火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常
操作系统安全更新。
2022年7月5日
改进的一系列错误类的错误消息。
(火花- 39451)[SQL]支持铸造间隔积分ANSI模式
(火花- 39361)不要使用Log4J2扩展throwable转换模式的默认日志配置
(火花- 39354)[SQL]确保显示
表或视图不发现即使有dataTypeMismatchError有关过滤器在同一时间(火花- 38675)(核心)解决种族在BlockInfoManager解锁
(火花- 39392)[SQL]提炼ANSI try_ *函数错误消息提示
(火花- 39214)[SQL][3.3]改善错误有关
(火花- 37939)[SQL]使用错误类解析错误的属性
(火花- 39085)[SQL]的错误消息
INCONSISTENT_BEHAVIOR_CROSS_VERSION对error-classes.json(火花- 39376)[SQL]隐藏重复的明星扩张子查询中的列别名从自然/使用加入
(火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间
(火花- 39285)[SQL]引发阅读文件时不应检查字段名称
操作系统安全更新。
砖10.5运行时
2022年11月1日
固定的一个问题,如果一个增量表有一个用户定义的列命名
_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。(火花- 40697)[SQL]添加读字符填充覆盖外部数据文件
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作系统安全更新。
2022年10月18日
操作系统安全更新。
2022年10月5日
用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。这种变化是推出了DBR 10.4和9.1在前面的维护更新。
reload4j已经升级到1.2.19修复漏洞。
(火花- 40460)在选择[SS]解决流指标
_metadata(火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中
操作系统安全更新。
2022年9月22日
(火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()
(火花- 40213)[SQL]支持ASCII值转换latin - 1个字符
(火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中
(火花- 38404)[SQL]时提高CTE决议一个嵌套CTE外部CTE的引用
(火花- 40089)[SQL]修复排序十进制类型
(火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点
操作系统安全更新。
2022年9月6日
(火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()
(火花- 39976)[SQL] ArrayIntersect应该在左表达式正确处理null
(火花- 40053)[心][SQL][测试]添加
假设动态取消案例需要Python运行时环境(火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存
(火花- 40079)(核心)添加输入为空inputCols验证输入的情况
2022年8月24日
(火花- 39983)(核心)[SQL]不缓存非系列化广播在司机的关系
(火花- 39775)(核心)(AVRO)禁用验证解析AVRO模式时的默认值
(火花- 39806)固定问题查询访问元数据在分区表结构崩溃
(火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的
(火花- 37643)[SQL]当charVarcharAsString是真的,char数据类型谓词查询应该跳过rpadding规则
操作系统安全更新。
2022年8月9日
(火花- 39847)在RocksDBLoader.loadLibrary解决竞态条件()如果调用者线程中断
(火花- 39731)[SQL]在CSV和JSON数据源解决问题时,在“名称”格式解析日期更正时间解析器的政策
操作系统安全更新。
2022年7月27日,
(火花- 39625)[SQL]添加Dataset.as (StructType)
(火花- 39689)支持2-chars
lineSep在CSV数据源(火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded应该是线程安全的
(火花- 39570)[SQL]内联表应该允许表达式与别名
(火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元
(火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer
(火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动
操作系统安全更新。
2022年7月13日
使三角洲合并操作结果一致的来源是不确定的。
(火花- 39355)[SQL]构建UnresolvedAttribute单柱使用引用
(火花- 39548)[SQL] CreateView命令窗口查询子句打错了窗口定义没有发现问题
(火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常
禁用自动加载器使用本地云api对Azure目录清单。
操作系统安全更新。
2022年7月5日
(火花- 39376)[SQL]隐藏重复的明星扩张子查询中的列别名从自然/使用加入
操作系统安全更新。
2022年6月15日
(火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间
(火花- 39285)[SQL]引发阅读文件时不应检查字段名称
(火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口
(火花- 36718)[SQL]跟踪解决
isExtractOnly检查CollapseProject
2022年6月2日
(火花- 39166)[SQL]提供运行时错误查询上下文WSCG时二进制算术
(火花- 39093)[SQL]避免codegen编译错误当year-month间隔或白天间隔除以一个积分
(火花- 38990)[SQL]避免NullPointerException评估date_trunc / trunc格式时作为参考
操作系统安全更新。
2022年5月18日
修复一个潜在的本机内存泄漏的自动加载程序。
(火花- 38868)[SQL]不传播异常过滤器谓词时优化外部连接
(火花- 38796)[SQL]实现to_number和try_to_number SQL函数根据一项新的规范
(火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系
(火花- 38929)[SQL]在ANSI改善铸造失败的错误消息
(火花- 38926)[SQL]输出错误消息在SQL风格的类型
(火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成
(火花- 32268)[SQL]添加ColumnPruning injectBloomFilter
(火花- 38908)[SQL]提供运行时错误的查询上下文铸件从字符串到数量/日期/时间戳/布尔
(火花- 39046)[SQL]如果TreeNode上下文返回一个空字符串。起源是错误的设置
(火花- 38974)[SQL]过滤器中与给定的数据库名称注册函数列表功能
(火花- 38762)[SQL]提供查询的上下文在十进制溢出错误
(火花- 38931)[SS]创建dfs根目录为RocksDBFileManager未知数量的钥匙1日检查站
(火花- 38992)(核心)避免使用bash ShellBasedGroupsMappingProvider - c
(火花- 38716)[SQL]提供查询上下文映射键不存在错误
(火花- 38889)[SQL]编译布尔列过滤器使用该数据源的一些类型
(火花- 38698)[SQL]提供运行时错误的查询上下文/ Pmod分裂/ Div /提醒
(火花- 38823)[SQL]使
NewInstancenon-foldable修复聚合缓冲腐败问题(火花- 38809)[SS]实现选项跳过null值对称散列stream-stream连接的实现
(火花- 38676)[SQL]提供SQL查询的上下文在加/减/乘的运行时错误消息
(火花- 38677)[PYSPARK] Python MonitorThread应该检测死锁阻塞I / O
操作系统安全更新。
砖10.4运行时
看到砖运行时10.4 LTS。
2022年11月29日
用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:
csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。
JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时
cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。操作系统安全更新。
2022年11月15日
Apache commons-text 1.10.0升级。
(火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,其余的记录仍然可以正确解析,而不是返回null。为改善行为,选择集
spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。(火花- 40292)[SQL]修复列名在“arrays_zip”功能从嵌套的结构体数组是引用
操作系统安全更新。
2022年11月1日
固定的一个问题,如果一个增量表有一个用户定义的列命名
_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。固定的问题自动加载程序,文件可以复制在同一个micro-batch当
allowOverwrites启用了(火花- 40697)[SQL]添加读字符填充覆盖外部数据文件
(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作系统安全更新。
2022年10月18日
操作系统安全更新。
2022年10月5日
(火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中
操作系统安全更新。
2022年9月22日
用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。
(火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()
(火花- 40213)[SQL]支持ASCII值转换latin - 1个字符
(火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中
(火花- 38404)[SQL]时提高CTE决议一个嵌套CTE外部CTE的引用
(火花- 40089)[SQL]修复排序十进制类型
(火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点
2022年9月6日
(火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()
(火花- 40218)[SQL]分组应该保存分组列集
(火花- 39976)[SQL] ArrayIntersect应该在左表达式正确处理null
(火花- 40053)[心][SQL][测试]添加
假设动态取消案例需要Python运行时环境(火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存
(火花- 40079)(核心)添加输入为空inputCols验证输入的情况
2022年8月24日
(火花- 39983)(核心)[SQL]不缓存非系列化广播在司机的关系
(火花- 39775)(核心)(AVRO)禁用验证解析AVRO模式时的默认值
(火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的
(火花- 37643)[SQL]当charVarcharAsString是真的,char数据类型谓词查询应该跳过rpadding规则
操作系统安全更新。
2022年8月9日
(火花- 39847)在RocksDBLoader.loadLibrary解决竞态条件()如果调用者线程中断
(火花- 39731)[SQL]在CSV和JSON数据源解决问题时,在“名称”格式解析日期更正时间解析器的政策
操作系统安全更新。
2022年7月27日,
(火花- 39625)[SQL]添加Dataset.as (StructType)
(火花- 39689)支持2-chars
lineSep在CSV数据源(火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded应该是线程安全的
(火花- 39570)[SQL]内联表应该允许表达式与别名
(火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元
(火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer
(火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动
(火花- 38868)[SQL]不传播异常过滤器谓词时优化外部连接
操作系统安全更新。
2022年7月20日
使三角洲合并操作结果一致的来源是不确定的。
(火花- 39355)[SQL]构建UnresolvedAttribute单柱使用引用
(火花- 39548)[SQL] CreateView命令窗口查询子句打错了窗口定义没有发现问题
(火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常
禁用自动加载器使用本地云api对Azure目录清单。
操作系统安全更新。
2022年7月5日
(火花- 39376)[SQL]隐藏重复的明星扩张子查询中的列别名从自然/使用加入
操作系统安全更新。
2022年6月15日
(火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间
(火花- 39285)[SQL]引发阅读文件时不应检查字段名称
(火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口
(火花- 36718)[SQL]跟踪解决
isExtractOnly检查CollapseProject
2022年6月2日
(火花- 39093)[SQL]避免codegen编译错误当year-month间隔或白天间隔除以一个积分
(火花- 38990)[SQL]避免NullPointerException评估date_trunc / trunc格式时作为参考
操作系统安全更新。
2022年5月18日
修复一个潜在的本机内存泄漏的自动加载程序。
(火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系
(火花- 37593)(核心)默认页面大小减少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用
(火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成
(火花- 32268)[SQL]添加ColumnPruning injectBloomFilter
(火花- 38974)[SQL]过滤器中与给定的数据库名称注册函数列表功能
(火花- 38931)[SS]创建dfs根目录为RocksDBFileManager未知数量的钥匙1日检查站
操作系统安全更新。
2022年4月19日
从版本1.11.655 1.12.1899升级Java AWS SDK。
固定一个问题与notebook-scoped库不工作在批处理流媒体工作。
(火花- 38616)[SQL]跟踪SQL查询文本TreeNode催化剂
操作系统安全更新。
2022年4月6日
下面的火花与这个版本现在可以使用SQL函数:
timestampadd ()和返回():添加一个时间单位指定一个时间戳的表情。timestampdiff ()和datediff ():计算两个时间戳之间的时差在指定单元表达式。
1.12.2 Parquet-MR已经升级
改进支持广泛的模式在铺文件
(火花- 38631)(核心)使用java实现un-tarring Utils.unpack
(火花- 38509)(火花- 38481)择优挑选3 timestmapadd / diff相关变化
(火花- 38523)[SQL]修复指的腐败记录列从CSV
(火花- 38237)[SQL] [SS]允许
ClusteredDistribution需要完整的集群键(火花- 38437)从数据源[SQL]宽大的序列化datetime
(火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关
(火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词
操作系统安全更新。
砖运行时的10.3(不支持)
2022年7月27日,
(火花- 39689)支持2-chars
lineSep在CSV数据源(火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded应该是线程安全的
(火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元
操作系统安全更新。
2022年7月20日
使三角洲合并操作结果一致的来源是不确定的。
(火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动
(火花- 39548)[SQL] CreateView命令窗口查询子句打错了窗口定义没有发现问题
(火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常
操作系统安全更新。
2022年7月5日
(火花- 39376)[SQL]隐藏重复的明星扩张子查询中的列别名从自然/使用加入
操作系统安全更新。
2022年6月15日
(火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间
(火花- 39285)[SQL]引发阅读文件时不应检查字段名称
(火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口
(火花- 36718)[SQL]跟踪解决
isExtractOnly检查CollapseProject
2022年6月2日
(火花- 38990)[SQL]避免NullPointerException评估date_trunc / trunc格式时作为参考
操作系统安全更新。
2022年5月18日
修复一个潜在的本机内存泄漏的自动加载程序。
(火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系
(火花- 37593)(核心)默认页面大小减少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用
(火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成
(火花- 32268)[SQL]添加ColumnPruning injectBloomFilter
(火花- 38974)[SQL]过滤器中与给定的数据库名称注册函数列表功能
(火花- 38889)[SQL]编译布尔列过滤器使用该数据源的一些类型
操作系统安全更新。
2022年5月4日
从版本1.11.655 1.12.1899升级Java AWS SDK。
2022年4月19日
(火花- 38616)[SQL]跟踪SQL查询文本TreeNode催化剂
操作系统安全更新。
2022年4月6日
(火花- 38631)(核心)使用java实现un-tarring Utils.unpack
操作系统安全更新。
2022年3月22日
改变当前工作目录的笔记本高并发性集群表访问控制或凭据透传启用用户的主目录。以前,工作目录
/砖/驱动程序。(火花- 38437)从数据源[SQL]宽大的序列化datetime
(火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关
(火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词
(火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潜在的运行时错误()
2022年3月14日,
改善在三角洲湖为空交易事务冲突检测。
(火花- 38185)[SQL]解决数据不正确如果聚合函数是空的
(火花- 38318)[SQL]回归时替换数据视图
(火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的
(火花- 35937)[SQL]从时间戳中提取日期字段应该在ANSI模式下工作
(火花- 34069)[SQL]杀死障碍任务应该尊重
SPARK_JOB_INTERRUPT_ON_CANCEL(火花- 37707)[SQL]允许存储TimestampNTZ之间的分配和日期/时间戳
2022年2月23日
(火花- 27442)[SQL]删除检查字段名读/写数据时拼花
砖运行时的10.2(不支持)
2022年6月15日
(火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间
(火花- 39285)[SQL]引发阅读文件时不应检查字段名称
(火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口
2022年6月2日
(火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系
(火花- 38990)[SQL]避免NullPointerException评估date_trunc / trunc格式时作为参考
操作系统安全更新。
2022年5月18日
修复一个潜在的本机内存泄漏的自动加载程序。
(火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成
(火花- 38889)[SQL]编译布尔列过滤器使用该数据源的一些类型
(火花- 38931)[SS]创建dfs根目录为RocksDBFileManager未知数量的钥匙1日检查站
操作系统安全更新。
2022年5月4日
从版本1.11.655 1.12.1899升级Java AWS SDK。
2022年4月19日
操作系统安全更新。
各种各样的bug修复。
2022年4月6日
(火花- 38631)(核心)使用java实现un-tarring Utils.unpack
操作系统安全更新。
2022年3月22日
改变当前工作目录的笔记本高并发性集群表访问控制或凭据透传启用用户的主目录。以前,工作目录
/砖/驱动程序。(火花- 38437)从数据源[SQL]宽大的序列化datetime
(火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关
(火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词
(火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潜在的运行时错误()
2022年3月14日,
改善在三角洲湖为空交易事务冲突检测。
(火花- 38185)[SQL]解决数据不正确如果聚合函数是空的
(火花- 38318)[SQL]回归时替换数据视图
(火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的
(火花- 35937)[SQL]从时间戳中提取日期字段应该在ANSI模式下工作
(火花- 34069)[SQL]杀死障碍任务应该尊重
SPARK_JOB_INTERRUPT_ON_CANCEL(火花- 37707)[SQL]允许存储TimestampNTZ之间的分配和日期/时间戳
2022年2月23日
(火花- 37577)[SQL]修复ClassCastException: ArrayType不能为生成StructType修剪
2022年2月8日
(火花- 27442)[SQL]删除检查字段名读/写数据时拼花。
操作系统安全更新。
2022年2月1日
操作系统安全更新。
2022年1月26日
固定一臭虫,其并发事务三角洲表上可以提交顺序non-serializable在某些罕见的情况下。
固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。
2022年1月19日
介绍了支持内联临时凭证复制到加载源数据不需要SQL ANY_FILE权限
Bug修复和安全改进。
2021年12月20日
固定一个罕见的bug,镶花的列索引过滤。
砖运行时的10.1(不支持)
2022年6月15日
(火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间
(火花- 39285)[SQL]引发阅读文件时不应检查字段名称
(火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口
2022年6月2日
操作系统安全更新。
2022年5月18日
修复一个潜在的本机内存泄漏的自动加载程序。
(火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成
(火花- 38889)[SQL]编译布尔列过滤器使用该数据源的一些类型
操作系统安全更新。
2022年4月19日
(火花- 37270)[SQL]修复可折叠推入CaseWhen分支如果elseValue是空的
操作系统安全更新。
2022年4月6日
(火花- 38631)(核心)使用java实现un-tarring Utils.unpack
操作系统安全更新。
2022年3月22日
(火花- 38437)从数据源[SQL]宽大的序列化datetime
(火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关
(火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词
(火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潜在的运行时错误()
2022年3月14日,
改善在三角洲湖为空交易事务冲突检测。
(火花- 38185)[SQL]解决数据不正确如果聚合函数是空的
(火花- 38318)[SQL]回归时替换数据视图
(火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的
(火花- 35937)[SQL]从时间戳中提取日期字段应该在ANSI模式下工作
(火花- 34069)[SQL]杀死障碍任务应该尊重
SPARK_JOB_INTERRUPT_ON_CANCEL(火花- 37707)[SQL]允许存储TimestampNTZ之间的分配和日期/时间戳
2022年2月23日
(火花- 37577)[SQL]修复ClassCastException: ArrayType不能为生成StructType修剪
2022年2月8日
(火花- 27442)[SQL]删除检查字段名读/写数据时拼花。
操作系统安全更新。
2022年2月1日
操作系统安全更新。
2022年1月26日
固定一臭虫,其并发事务三角洲表上可以提交顺序non-serializable在某些罕见的情况下。
固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。
2022年1月19日
介绍了支持内联临时凭证复制到加载源数据不需要SQL ANY_FILE权限
固定一个内存不足的问题在一定条件下与查询结果缓存。
固定的问题
使用数据库当用户当前目录切换到非默认目录。Bug修复和安全改进。
操作系统安全更新。
2021年12月20日
固定一个罕见的bug,镶花的列索引过滤。
砖运行时的10.0(不支持)
2022年4月19日
(火花- 37270)[SQL]修复可折叠推入CaseWhen分支如果elseValue是空的
操作系统安全更新。
2022年4月6日
(火花- 38631)(核心)使用java实现un-tarring Utils.unpack
操作系统安全更新。
2022年3月22日
(火花- 38437)从数据源[SQL]宽大的序列化datetime
(火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关
(火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词
(火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潜在的运行时错误()
2022年3月14日,
改善在三角洲湖为空交易事务冲突检测。
(火花- 38185)[SQL]解决数据不正确如果聚合函数是空的
(火花- 38318)[SQL]回归时替换数据视图
(火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的
(火花- 35937)[SQL]从时间戳中提取日期字段应该在ANSI模式下工作
(火花- 34069)[SQL]杀死障碍任务应该尊重
SPARK_JOB_INTERRUPT_ON_CANCEL(火花- 37707)[SQL]允许存储TimestampNTZ之间的分配和日期/时间戳
2022年2月23日
(火花- 37577)[SQL]修复ClassCastException: ArrayType不能为生成StructType修剪
2022年2月8日
(火花- 27442)[SQL]删除检查字段名读/写数据时拼花。
(火花- 36905)[SQL]解决阅读蜂巢的观点不明确的列名
(火花- 37859)[SQL]修复问题,创建SQL表与火花JDBC 3.1与3.2不可读的
操作系统安全更新。
2022年2月1日
操作系统安全更新。
2022年1月26日
固定一臭虫,其并发事务三角洲表上可以提交顺序non-serializable在某些罕见的情况下。
固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。
2022年1月19日
Bug修复和安全改进。
操作系统安全更新。
2021年12月20日
固定一个罕见的bug,镶花的列索引过滤。
2021年11月9日
引入额外的配置的旗帜,使细粒ANSI行为的控制。
2021年11月4日
固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。Apache火花连接器三角洲共享是0.2.0升级。
2021年11月30日
固定时间戳字符串解析一个时区的问题没有一个冒号被认为是无效的。
固定一个内存不足的问题在一定条件下与查询结果缓存。
固定的问题
使用数据库当用户当前目录切换到非默认目录。
砖运行时9.1 LTS
看到砖运行时9.1 LTS。
请注意
LTS意味着这个版本长期支持。看到(LTS)生命周期的长期支持。
2022年11月29日
JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时
cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。操作系统安全更新。
2022年11月15日
Apache commons-text 1.10.0升级。
操作系统安全更新。
各种各样的bug修复。
2022年11月1日
固定的一个问题,如果一个增量表有一个用户定义的列命名
_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。固定的问题自动加载程序,文件可以复制在同一个micro-batch当
allowOverwrites启用了(火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息
操作系统安全更新。
2022年10月18日
操作系统安全更新。
2022年10月5日
各种各样的bug修复。
操作系统安全更新。
2022年9月22日
用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。
(火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()
(火花- 40089)[SQL]修复排序十进制类型
(火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点
2022年9月6日
(火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()
(火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存
(火花- 40079)(核心)添加输入为空inputCols验证输入的情况
2022年8月24日
(火花- 39666)[SQL] UnsafeProjection使用。创建尊重
spark.sql.codegen.factoryMode在ExpressionEncoder(火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的
操作系统安全更新。
2022年8月9日
操作系统安全更新。
2022年7月27日,
使三角洲合并操作结果一致的来源是不确定的。
(火花- 39689)支持2-chars
lineSep在CSV数据源(火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer
(火花- 37392)[SQL]推断时修复性能缺陷产生的约束
操作系统安全更新。
2022年7月13日
(火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常
禁用自动加载器使用本地云api对Azure目录清单。
操作系统安全更新。
2022年7月5日
操作系统安全更新。
各种各样的bug修复。
2022年6月15日
(火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间
2022年6月2日
(火花- 34554)[SQL]在ColumnarMap实现copy()方法
操作系统安全更新。
2022年5月18日
修复一个潜在的本机内存泄漏的自动加载程序。
从1.11.655 1.11.678升级AWS SDK版本。
(火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系
(火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成
操作系统安全更新。
2022年4月19日
操作系统安全更新。
各种各样的bug修复。
2022年4月6日
(火花- 38631)(核心)使用java实现un-tarring Utils.unpack
操作系统安全更新。
2022年3月22日
改变当前工作目录的笔记本高并发性集群表访问控制或凭据透传启用用户的主目录。以前,工作目录
/砖/驱动程序。(火花- 38437)从数据源[SQL]宽大的序列化datetime
(火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关
(火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词
(火花- 27442)[SQL]删除检查字段名读/写数据时拼花
2022年3月14日,
(火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的
(火花- 34069)[SQL]杀死障碍任务应该尊重
SPARK_JOB_INTERRUPT_ON_CANCEL
2022年2月23日
(火花- 37859)[SQL]不检查期间为元数据模式的比较
2022年2月8日
(火花- 27442)[SQL]删除检查字段名读/写数据时拼花。
操作系统安全更新。
2022年2月1日
操作系统安全更新。
2022年1月26日
固定一臭虫,其并发事务三角洲表上可以提交顺序non-serializable在某些罕见的情况下。
固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。
2022年1月19日
Bug修复和安全改进。
操作系统安全更新。
2021年11月4日
固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。Apache火花连接器三角洲共享是0.2.0升级。
2021年10月20日
BigQuery连接器从0.18.1 0.22.2升级。这增加了支持BigNumeric类型。
砖运行时的9.0(不支持)
2022年2月8日
操作系统安全更新。
2022年2月1日
操作系统安全更新。
2022年1月26日
固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。
2022年1月19日
Bug修复和安全改进。
操作系统安全更新。
2021年11月4日
固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。Apache火花连接器三角洲共享是0.2.0升级。
2021年9月22日
固定一个错误引发数组与空字符串
2021年9月15日
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。
2021年9月8日
添加支持模式名称(
databaseName.schemaName.tableName格式)的目标表名Azure突触连接器。添加几何和地理JDBC类型支持火花SQL。
(火花- 33527)[SQL]扩展解码的功能是一致的与主流数据库。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。
2021年8月25日,
SQL服务器驱动程序库是9.2.1.jre8升级。
雪花连接器是2.9.0升级。
固定失效链接笔记本AutoML实验页面上最好的试验。
砖运行时的8.4(不支持)
2022年1月19日
操作系统安全更新。
2021年11月4日
固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。Apache火花连接器三角洲共享是0.2.0升级。
2021年9月22日
火花JDBC驱动程序是2.6.19.1030升级
(火花- 36734)1.5.1 [SQL]升级兽人
2021年9月15日
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。操作系统安全更新。
2021年9月8日
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。
2021年8月25日,
SQL服务器驱动程序库是9.2.1.jre8升级。
雪花连接器是2.9.0升级。
修复bug造成的凭据透传新铺预取优化,用户的透传凭证文件访问期间可能不被发现。
2021年8月11日,
修复一个RocksDB不相容问题,防止旧砖8.4运行时。这对于自动加载器修复向前兼容性,
复制成和有状态的流媒体应用程序。修复一个缺陷与S3路径自动加载器使用时自动加载程序没有
路径选择。修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。
修复一个缺陷在使用自动加载器与失配头文件读取CSV文件。如果列名称不匹配,用null列会填写。现在,如果提供了模式,它假定的模式是一样的,只保存列不匹配如果启用了获救的数据列。
添加一个新选项
externalDataSource到Azure突触连接器删除控制许可要求数据库混合基的阅读。
2021年7月29日
(火花- 36034)(构建)变基datetime下推过滤器拼花
(火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性
connectionProvider选项
砖运行时的8.3(不支持)
2022年1月19日
操作系统安全更新。
2021年11月4日
固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。
2021年9月22日
火花JDBC驱动程序是2.6.19.1030升级
2021年9月15日
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。操作系统安全更新。
2021年9月8日
(火花- 35700)[SQL] [WARMFIX]读char、varchar兽人表时创建并由外部系统。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。
2021年8月25日,
SQL服务器驱动程序库是9.2.1.jre8升级。
雪花连接器是2.9.0升级。
修复bug造成的凭据透传新铺预取优化,用户的透传凭证文件访问期间可能不被发现。
2021年8月11日,
修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。
修复一个缺陷在使用自动加载器与失配头文件读取CSV文件。如果列名称不匹配,用null列会填写。现在,如果提供了模式,它假定的模式是一样的,只保存列不匹配如果启用了获救的数据列。
2021年7月29日
升级数据砖雪花火花2.9.0-spark-3.1连接器
(火花- 36034)(构建)变基datetime下推过滤器拼花
(火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性
connectionProvider选项
2021年7月14日
修正了在使用列名Azure突触连接的点。
介绍了
database.schema.table格式突触连接器。增加了提供的支持
databaseName.schemaName.tableName格式表而不是只作为目标schemaName.tableName或的表。
2021年6月15日
砖运行时的8.2(不支持)
2021年9月22日
操作系统安全更新。
2021年9月15日
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。
2021年9月8日
(火花- 35700)[SQL] [WARMFIX]读char、varchar兽人表时创建并由外部系统。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。
2021年8月25日,
雪花连接器是2.9.0升级。
2021年8月11日,
修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。
(火花- 36034)[SQL]变基datetime铺下推过滤器。
2021年7月29日
升级数据砖雪花火花2.9.0-spark-3.1连接器
(火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性
connectionProvider选项
2021年7月14日
修正了在使用列名Azure突触连接的点。
介绍了
database.schema.table格式突触连接器。增加了提供的支持
databaseName.schemaName.tableName格式表而不是只作为目标schemaName.tableName或的表。固定防止用户的故障时间旅行与三角洲表老版本可用。
2021年6月15日
修复一个
NoSuchElementException错误在三角洲湖优化写道,编写大量数据时可能发生和遇到执行人损失
2021年6月7日
禁用列表谓词下推(StartsWith, EndsWith,包含,不是(等于())和数据类型)AWS胶水不支持目录,因为他们的胶水。
2021年5月26日,
Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)确保主删除执行人未能发送完成状态
固定一个伯父问题时自动加载程序结构化流进展指标报告。
砖运行时的8.1(不支持)
2021年9月22日
操作系统安全更新。
2021年9月15日
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。
2021年9月8日
(火花- 35700)[SQL] [WARMFIX]读char、varchar兽人表时创建并由外部系统。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。
2021年8月25日,
雪花连接器是2.9.0升级。
2021年8月11日,
修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。
(火花- 36034)[SQL]变基datetime铺下推过滤器。
2021年7月29日
升级数据砖雪花火花2.9.0-spark-3.1连接器
(火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性
connectionProvider选项
2021年7月14日
修正了在使用列名Azure突触连接的点。
固定防止用户的故障时间旅行与三角洲表老版本可用。
2021年6月15日
修复一个
NoSuchElementException错误在三角洲湖优化写道,编写大量数据时可能发生和遇到执行人损失
2021年6月7日
禁用列表谓词下推(StartsWith, EndsWith,包含,不是(等于())和数据类型)AWS胶水不支持目录,因为他们的胶水。
2021年5月26日,
Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
固定一个伯父问题时自动加载程序结构化流进展指标报告。
2021年4月27日
(火花- 34245)(核心)确保主删除执行人未能发送完成状态
(火花- 34856)[SQL] ANSI模式:允许铸造复杂类型为字符串类型
(火花- 35014)修复PhysicalAggregation模式不重写可折叠的表达式
(火花- 34769)[SQL] AnsiTypeCoercion: TypeCollection返回狭隘的转换类型
(火花- 34614)[SQL] ANSI模式:将字符串解析错误布尔将抛出异常
(火花- 33794)[SQL] ANSI模式:修复NextDay抛出运行时表达式IllegalArgumentException当收到无效输入
砖运行时的8.0(不支持)
2021年9月15日
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。
2021年8月25日,
雪花连接器是2.9.0升级。
2021年8月11日,
修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。
(火花- 36034)[SQL]变基datetime铺下推过滤器。
2021年7月29日
(火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性
connectionProvider选项
2021年7月14日
修正了在使用列名Azure突触连接的点。
固定防止用户的故障时间旅行与三角洲表老版本可用。
2021年6月7日
禁用列表谓词下推(StartsWith, EndsWith,包含,不是(等于())和数据类型)AWS胶水不支持目录,因为他们的胶水。
2021年5月26日,
Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)确保主删除执行人未能发送完成状态
2021年3月24日
(火花- 34681)[SQL]修复bug,完全外洗好的散列连接在构建左侧不相等的条件
(火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序
(火花- 34613)[SQL]修复视图不捕捉禁用提示配置
磁盘缓存是默认启用i3en实例。
2021年3月9日
(火花- 34543)[SQL]尊重
spark.sql.caseSensitive配置解决分区规范在v1集位置(火花- 34392)[SQL]支持ZoneOffset + h: DateTimeUtils毫米。getZoneId
(UI)修复的href链接引发DAG可视化
(火花- 34436)[SQL]民进党支持像任何/所有的表情
砖运行时的7.6(不支持)
2021年8月11日,
修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。
(火花- 36034)[SQL]变基datetime铺下推过滤器。
2021年7月29日
(火花- 32998)(构建)添加能力覆盖默认远程回购只与内部回购
2021年7月14日
固定防止用户的故障时间旅行与三角洲表老版本可用。
2021年5月26日,
Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)确保主删除执行人未能发送完成状态
2021年3月24日
(火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区的大小
(火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序
磁盘缓存是默认启用i3en实例。
2021年3月9日
(仅Azure)固定一个汽车加载程序错误会导致NullPointerException当使用砖7.6运行时的运行一个老自动加载程序流中创建数据砖7.2运行时
(UI)修复的href链接引发DAG可视化
未知的叶节点在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan没有正确处理
恢复的输出模式
显示数据库[Delta][8.0, 7.6]固定计算错误文件大小自动逻辑
禁用过时检查δ在磁盘高速缓存表文件
[SQL]使用正确的动态范围时修剪建立关键连接提示
禁用char类型支持非sql代码路径
避免在DataFrameReader.schema肺水肿
修复肺水肿时EventGridClient反应没有实体
修复一个读关闭流错误在Azure自动加载程序
[SQL]不生成洗牌分区号建议启用先进的时
2021年2月24日
升级引发BigQuery连接器v0.18,介绍各种bug修复和支持箭头和Avro迭代器。
固定一个正确性的问题,导致火花拼花时返回不正确的结果文件的小数精度和等级是不同的火花模式。
固定阅读失败问题Microsoft SQL Server包含空间数据类型的表,通过添加几何和地理JDBC类型支持火花SQL。
引入了一个新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。(火花- 34212)固定从铺阅读十进制数据文件有关的问题。
(火花- 34260)[SQL]修复UnresolvedException创建临时视图时两次。
砖运行时的7.5(不支持)
2021年5月26日,
Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)确保主删除执行人未能发送完成状态
2021年3月24日
(火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区的大小
(火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序
磁盘缓存是默认启用i3en实例。
2021年3月9日
(仅Azure)固定一个汽车加载程序错误会导致NullPointerException当使用砖7.5运行时的运行一个老自动加载程序流中创建数据砖7.2运行时。
(UI)修复的href链接引发DAG可视化
未知的叶节点在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan没有正确处理
恢复的输出模式
显示数据库禁用过时检查δ在磁盘高速缓存表文件
[SQL]使用正确的动态范围时修剪建立关键连接提示
禁用char类型支持非sql代码路径
避免在DataFrameReader.schema肺水肿
修复肺水肿时EventGridClient反应没有实体
修复一个读关闭流错误在Azure自动加载程序
2021年2月24日
升级引发BigQuery连接器v0.18,介绍各种bug修复和支持箭头和Avro迭代器。
固定一个正确性的问题,导致火花拼花时返回不正确的结果文件的小数精度和等级是不同的火花模式。
固定阅读失败问题Microsoft SQL Server包含空间数据类型的表,通过添加几何和地理JDBC类型支持火花SQL。
引入了一个新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。(火花- 34212)固定从铺阅读十进制数据文件有关的问题。
(火花- 34260)[SQL]修复UnresolvedException创建临时视图时两次。
2021年2月4日,
固定的回归,防止增量执行查询,设置一个全球限制等
选择*从表限制nrows。经历的回归是用户运行查询通过ODBC / JDBC启用了箭头序列化。介绍了写时间检查蜂巢客户机来防止腐败的蜂巢metastore三角洲的元数据表。
固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。
2021年1月20日
固定的回归2021年1月12日维护版本,可能会导致一个不正确的AnalysisException说自我连接的列是模棱两可的。这种回归发生当一个用户加入DataFrame及其派生DataFrame(所谓的自)与下列条件:
这两个DataFrames有常见的列,但自己加入的输出没有共同的列。例如,
df.join (df.select(美元“上校”作为“new_col”),气孔导度)派生DataFrame排除了一些列通过选择、groupBy或窗口。
加入后的联接条件或以下转换Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
升级存储Azure SDK 2.3.8 2.3.9。
(火花- 33593)[SQL]与二进制向量读者有不正确的数据分区的值
(火花- 33480)[SQL]更新char、varchar表的错误消息插入长度检查
砖运行时7.3 LTS
看到砖运行时7.3 LTS。
2022年11月29日
各种各样的bug修复。
2022年11月15日
Apache commons-text 1.10.0升级。
操作系统安全更新。
各种各样的bug修复。
2022年11月1日
(火花- 38542)[SQL] UnsafeHashedRelation应该序列化numKeys出来
2022年10月18日
操作系统安全更新。
2022年10月5日
各种各样的bug修复。
操作系统安全更新。
2022年9月22日
(火花- 40089)[SQL]修复排序十进制类型
2022年9月6日
(火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存
(火花- 40079)(核心)添加输入为空inputCols验证输入的情况
2022年8月24日
(火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的
操作系统安全更新。
2022年8月9日
操作系统安全更新。
2022年7月27日,
使三角洲合并操作结果一致的来源是不确定的。
操作系统安全更新。
各种各样的bug修复。
2022年7月13日
(火花- 32680)[SQL]不预处理V2 cta与未解决的查询
禁用自动加载器使用本地云api对Azure目录清单。
操作系统安全更新。
2022年7月5日
操作系统安全更新。
各种各样的bug修复。
2022年6月2日
(火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系
操作系统安全更新。
2022年5月18日
从1.11.655 1.11.678升级AWS SDK版本。
操作系统安全更新。
各种各样的bug修复。
2022年4月19日
操作系统安全更新。
各种各样的bug修复。
2022年4月6日
操作系统安全更新。
各种各样的bug修复。
2022年3月14日,
删除从log4j jar 1.2.17脆弱类
各种各样的bug修复。
2022年2月23日
(火花- 37859)[SQL]不检查期间为元数据模式的比较
2022年2月8日
升级Ubuntu 1.8.0.312 JDK。
操作系统安全更新。
2022年2月1日
操作系统安全更新。
2022年1月26日
固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。
2022年1月19日
从7.3毫升LTS Conda删除默认通道
操作系统安全更新。
2021年12月7日
操作系统安全更新。
2021年11月4日
固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。
2021年9月15日
固定一个竞争条件,可能会导致一个查询失败这样一个IOException
java.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。操作系统安全更新。
2021年9月8日
(火花- 35700)[SQL] [WARMFIX]读char、varchar兽人表时创建并由外部系统。
(火花- 36532)[心][3.1]固定的僵局
CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。
2021年8月25日,
雪花连接器是2.9.0升级。
2021年7月29日
(火花- 36034)(构建)变基datetime下推过滤器拼花
(火花- 34508)(构建)跳过
HiveExternalCatalogVersionsSuite如果网络是
2021年7月14日
介绍了
database.schema.table格式Azure突触连接器。增加了提供的支持
databaseName.schemaName.tableName格式表而不是只作为目标schemaName.tableName或的表。固定防止用户的故障时间旅行与三角洲表老版本可用。
2021年6月15日
修复一个
NoSuchElementException错误在三角洲湖优化写道,编写大量数据时可能发生和遇到执行人损失
Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)确保主删除执行人未能发送完成状态
(火花- 35045)[SQL]添加一个内部选项控制在univocity输入缓冲区
2021年3月24日
(火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区的大小
(火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序
(火花- 33118)[SQL]创建临时表失败的位置
磁盘缓存是默认启用i3en实例。
2021年3月9日
Azure的Azure Blob文件系统驱动程序更新数据存储Gen2湖现在是默认启用。它将多个稳定的改进。
修复Windows上的路径分隔符
databricks-connectget-jar-dir(UI)修复的href链接引发DAG可视化
[DBCONNECT]添加支持FlatMapCoGroupsInPandas砖7.3连接
恢复的输出模式
显示数据库[SQL]使用正确的动态范围时修剪建立关键连接提示
禁用过时检查δ在磁盘高速缓存表文件
[SQL]不生成洗牌分区号建议横穿时启用
2021年2月24日
升级引发BigQuery连接器v0.18,介绍各种bug修复和支持箭头和Avro迭代器。
固定一个正确性的问题,导致火花拼花时返回不正确的结果文件的小数精度和等级是不同的火花模式。
固定阅读失败问题Microsoft SQL Server包含空间数据类型的表,通过添加几何和地理JDBC类型支持火花SQL。
引入了一个新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。(火花- 34212)固定从铺阅读十进制数据文件有关的问题。
(火花- 33579)(UI)修复执行人代理背后的空白页。
(火花- 20044)火花界面(UI)支持的背后前端反向代理使用路径前缀。
(火花- 33277)[PYSPARK] [SQL]使用ContextAwareIterator任务结束后停止消费。
2021年2月4日,
固定的回归,防止增量执行查询,设置一个全球限制等
选择*从表限制nrows。经历的回归是用户运行查询通过ODBC / JDBC启用了箭头序列化。固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。
2021年1月20日
固定的回归2021年1月12日维护版本,可能会导致一个不正确的AnalysisException说自我连接的列是模棱两可的。这种回归发生当一个用户加入DataFrame及其派生DataFrame(所谓的自)与下列条件:
这两个DataFrames有常见的列,但自己加入的输出没有共同的列。例如,
df.join (df.select(美元“上校”作为“new_col”),气孔导度)派生DataFrame排除了一些列通过选择、groupBy或窗口。
加入后的联接条件或以下转换Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作系统安全更新。
(火花- 33593)[SQL]与二进制向量读者有不正确的数据分区的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳过LikeSimplification规则
(火花- 33592)(毫升)(PYTHON) Pyspark毫升验证器参数estimatorParamMaps储蓄和重载后可能会丢失
(火花- 33071)[火花- 33536][SQL]避免改变dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 33587)(核心)杀死执行人在嵌套的致命错误
(火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串
(火花- 33316)[SQL]支持用户提供nullable Avro模式非空催化剂Avro写作模式
火花工作启动使用砖连接可以无限期地挂了
遗嘱执行人TaskRunner美元。anonfun copySessionState美元在执行器堆栈跟踪操作系统安全更新。
2020年11月20日
(火花- 33404)[SQL][3.0]修正不正确的结果
date_trunc表达式(火花- 33339)(PYTHON) Pyspark应用程序将挂由于非异常错误
(火花- 33183)[SQL][热修复补丁]修复优化规则EliminateSorts和添加一个物理规则删除冗余
(火花- 33371)[PYTHON][3.0]更新设置。py和Python 3.9测试
(火花- 33391)[SQL] element_at CreateArray不尊重一个建立索引。
(火花- 33306)[SQL]时区时需要把日期字符串
(火花- 33260)[SQL]从排序方式时SortExec流修正不正确的结果
2020年的11月5日
2020年10月13日
操作系统安全更新。
你可以读和写DBFS使用FUSE挂载在/ DBFS /在高并发证书透传启用集群。普通坐骑但坐骑,需要支持透传凭证还不支持。
(火花- 32999)[SQL]使用跑龙套。得到SimpleName to avoid hitting Malformed class name in TreeNode
(火花- 32585)[SQL]支持ScalaReflection scala枚举
固定在保险丝安装包含文件名清单目录无效的XML字符
保险丝不再使用ListMultipartUploads山
2020年9月29日,
(火花- 32718)[SQL]删除不必要的关键词为间隔单位
(火花- 32635)[SQL]修复可折叠的传播
添加一个新的配置
spark.shuffle.io.decoder.consolidateThreshold。设置配置值Long.MAX_VALUE跳过的整合网状的framebuffer,从而防止java.lang.IndexOutOfBoundsException在角落的情况下。
2022年11月29日
操作系统安全更新。
2022年11月15日
操作系统安全更新。
各种各样的bug修复。
2022年11月1日
操作系统安全更新。
2022年10月18日
操作系统安全更新。
2022年10月5日
操作系统安全更新。
2022年8月24日
操作系统安全更新。
2022年8月9日
操作系统安全更新。
2022年7月27日,
操作系统安全更新。
2022年7月5日
操作系统安全更新。
2022年6月2日
操作系统安全更新。
2022年5月18日
操作系统安全更新。
2022年4月19日
操作系统安全更新。
各种各样的bug修复。
2022年4月6日
操作系统安全更新。
各种各样的bug修复。
2022年3月14日,
各种各样的bug修复。
2022年2月23日
各种各样的bug修复。
2022年2月8日
升级Ubuntu 1.8.0.312 JDK。
操作系统安全更新。
2022年2月1日
操作系统安全更新。
2022年1月19日
操作系统安全更新。
2021年9月22日
操作系统安全更新。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
2021年1月12日
操作系统安全更新。
2020年12月8日
(火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串
操作系统安全更新。
2020年11月20日
2020年11月3日
从1.8.0_252 1.8.0_265升级Java版本。
修复沛富和WASB锁定对UserGroupInformation.getCurrentUser ()
2020年10月13日
操作系统安全更新。
砖6.4运行时扩展支持(不支持)
看到砖运行时的6.4(不支持)和砖6.4运行时扩展支持(不支持)。
2022年7月5日
操作系统安全更新。
各种各样的bug修复。
2022年6月2日
操作系统安全更新。
2022年5月18日
操作系统安全更新。
2022年4月19日
操作系统安全更新。
各种各样的bug修复。
2022年4月6日
操作系统安全更新。
各种各样的bug修复。
2022年3月14日,
删除从log4j jar 1.2.17脆弱类
各种各样的bug修复。
2022年2月23日
各种各样的bug修复。
2022年2月8日
升级Ubuntu 1.8.0.312 JDK。
操作系统安全更新。
2022年2月1日
操作系统安全更新。
2022年1月26日
固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。
2022年1月19日
操作系统安全更新。
2021年12月8日
操作系统安全更新。
2021年9月22日
操作系统安全更新。
2021年6月15日
(火花- 35576)[SQL]编辑中的敏感信息设置命令的结果
2021年6月7日
添加一个新的配置
spark.sql.maven.additionalRemoteRepositories,一个用逗号分隔的字符串远程maven配置可选的额外的镜子。默认值https://maven-central.storage-download.googleapis.com/maven2/。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
2021年4月6日
固定重试添加到S3客户解决连接复位问题。
2021年3月24日
磁盘缓存是默认启用i3en实例。
2021年3月9日
端口hadoop - 17215 Azure Blob文件系统驱动程序(支持条件覆盖)。
修复Windows上的路径分隔符
databricks-connectget-jar-dir增加了对蜂巢的支持metastore 2.3.5版本,2.3.6,2.3.7
泄漏后箭头“totalResultsCollected”报告错误
2021年2月24日
引入了一个新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。
2021年2月4日,
固定的回归,防止增量执行查询,设置一个全球限制等
选择*从表限制nrows。经历的回归是用户运行查询通过ODBC / JDBC启用了箭头序列化。固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。
2021年1月12日
操作系统安全更新。
2020年12月8日
(火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串
(火花- 33183)[SQL]修复优化规则EliminateSorts和添加一个物理规则删除冗余
(运行时6.4毫升GPU)我们之前安装一个不正确的版本(NCCL 2.7.8-1 + cuda11.1)。这个版本纠正它2.4.8-1 + cuda10.0兼容CUDA 10.0。
操作系统安全更新。
2020年11月20日
(火花- 33260)[SQL]从排序方式时SortExec流修正不正确的结果
(火花- 32635)[SQL]修复可折叠的传播
2020年11月3日
从1.8.0_252 1.8.0_265升级Java版本。
修复沛富和WASB锁定对UserGroupInformation.getCurrentUser ()
修复一个无限循环错误Avro读者阅读时神奇的字节。
2020年10月13日
操作系统安全更新。
(火花- 32999)[SQL][2.4]使用跑龙套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保险丝安装包含文件名清单目录无效的XML字符
保险丝不再使用ListMultipartUploads山
2020年9月24日
修正了之前的限制标准集群上,透传仍将限制用户使用文件系统实现。现在用户可以访问本地文件系统没有限制。
操作系统安全更新。
2020年9月8日
创建一个新的参数Azure突触分析,
maxbinlength。这个参数是用来控制BinaryType列的列的长度,并翻译成VARBINARY (maxbinlength)。它可以设置使用.option (“maxbinlength”,n),0 < n < = 8000。更新存储Azure SDK 8.6.4和启用TCP保持活着的连接由WASB司机
2020年8月25日,
固定在self-merge模糊属性的决议
2020年8月18日
(火花- 32431)[SQL]检查重复的嵌套列从内置数据源读取
固定一个SQS连接器在使用Trigger.Once竞态条件。
2020年8月11日,
(火花- 28676)(核心)从ContextCleaner避免过度伐木
2020年8月3日
您现在可以使用集群passthrough-enabled LDA变换函数。
操作系统安全更新。
2020年7月7日
从1.8.0_232 1.8.0_252升级Java版本。
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF实例的缓存类实例
2020年4月7日
解决一个问题与熊猫udf不工作PyArrow 0.15.0以上,我们添加了一个环境变量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月10日
优化自动定量现在默认情况下通用集群上使用保费计划及以上。
雪花连接器(
spark-snowflake_2.11)包含在砖2.5.9运行时更新版本。snowflake-jdbc是3.12.0更新版本。
砖运行时5.5 LTS(不支持)
看到砖运行时5.5 LTS(不支持)和砖5.5运行时扩展支持(不支持)。
2021年12月8日
操作系统安全更新。
2021年9月22日
操作系统安全更新。
2021年8月25日,
下调了一些以前在5.5 ML升级python包扩展支持版本保持更好的平价5.5毫升LTS(现在弃用)。[_]/发行说明/运行/ 5.5 xml.md)更新两个版本之间的差异。
2021年6月15日
(火花- 35576)[SQL]编辑中的敏感信息设置命令的结果
2021年6月7日
添加一个新的配置
spark.sql.maven.additionalRemoteRepositories,一个用逗号分隔的字符串远程maven配置可选的额外的镜子。默认值https://maven-central.storage-download.googleapis.com/maven2/。
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
2021年4月6日
固定重试添加到S3客户解决连接复位问题。
2021年3月24日
磁盘缓存是默认启用i3en实例。
2021年3月9日
端口hadoop - 17215 Azure Blob文件系统驱动程序(支持条件覆盖)。
2021年2月24日
引入了一个新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。
2021年1月12日
操作系统安全更新。
2020年12月8日
(火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串
操作系统安全更新。
2020年11月20日
(火花- 33260)[SQL]从排序方式时SortExec流修正不正确的结果
(火花- 32635)[SQL]修复可折叠的传播
2020年10月29日
从1.8.0_252 1.8.0_265升级Java版本。
修复沛富和WASB锁定对UserGroupInformation.getCurrentUser ()
修复一个无限循环错误Avro读者阅读时神奇的字节。
2020年10月13日
操作系统安全更新。
(火花- 32999)[SQL][2.4]使用跑龙套。得到SimpleName to avoid hitting Malformed class name in TreeNode
2020年9月24日
操作系统安全更新。
2020年9月8日
创建一个新的参数Azure突触分析,
maxbinlength。这个参数是用来控制BinaryType列的列的长度,并翻译成VARBINARY (maxbinlength)。它可以设置使用.option (“maxbinlength”,n),0 < n < = 8000。
2020年8月18日
(火花- 32431)[SQL]检查重复的嵌套列从内置数据源读取
固定一个SQS连接器在使用Trigger.Once竞态条件。
2020年8月11日,
(火花- 28676)(核心)从ContextCleaner避免过度伐木
2020年8月3日
操作系统安全更新
2020年7月7日
从1.8.0_232 1.8.0_252升级Java版本。
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF实例的缓存类实例
2020年4月7日
解决一个问题与熊猫udf不工作PyArrow 0.15.0以上,我们添加了一个环境变量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月25日
雪花连接器(
spark-snowflake_2.11)包含在砖2.5.9运行时更新版本。snowflake-jdbc是3.12.0更新版本。
2020年3月10日
工作产出,比如日志输出发送到stdout, 20 mb的大小限制。如果总输出有一个更大的规模,将被取消和标记为失败。为了避免遇到这个限制,可以防止stdout从司机通过设置回来
spark.databricks.driver.disableScalaOutput火花配置真正的。默认情况下,标志值假。国旗控制单元输出Scala JAR和Scala笔记本工作。如果启用了国旗,引发不工作执行结果返回给客户机。国旗并不影响数据集群中所写的日志文件。设置这个标志建议只对自动化集群JAR的工作,因为它将禁用笔记本的结果。
2020年2月18日
(火花- 24783)[SQL] spark.sql.shuffle。分区= 0应该抛出异常
代有凭据透传与ADLS性能下降由于不正确的线程本地处理当ADLS端启用预取。这个版本禁用ADLS Gen2预取时启用凭据透传,直到我们有一个适当的修复。
2020年1月28日,
固定一个bug S3AFileSystem,
fs.isDirectory(路径)或fs.getFileStatus(路径).isDirectory ()可能有时不正确返回假。该错误将在路径的清单awss3list-objects-v2——前缀路径/——max-keys1——分隔符/反应没有钥匙和常见的前缀,但是isTruncated=真正的。这对目录下可能发生许多对象被删除和版本启用。
(火花- 30447)[SQL]常数nullability传播问题。
2020年1月14日,
从1.8.0_222 1.8.0_232升级Java版本。
2019年11月19日
(火花- 29743)[SQL]示例应该设定needCopyResult真实如果孩子的needCopyResult是正确的
从3.6.0意外升级到3.6.1 R版本。我们回到3.6.0下调了它。
2019年的11月5日
从1.8.0_212 1.8.0_222升级Java版本。
2019年10月23日
(火花- 29244)(核心)防止页面再次在BytesToBytesMap自由释放
2019年10月8日
服务器端更改让辛巴Apache火花ODBC驱动程序重新连接后,继续在抓取结果(需要连接失败辛巴Apache火花首款ODBC驱动程序版本)。
固定一个问题影响使用
优化命令启用了ACL表集群。固定的一个问题,
pyspark.ml图书馆会失败因为Scala UDF禁止错误表ACL启用集群。固定NullPointerException WASB检查错误代码时客户端。
2019年9月24日
提高稳定性的镶花的作家。
固定储蓄的问题查询取消它开始执行可能会困在开始之前的状态。
2019年9月10日
BytesToBytesMap添加线程安全的迭代器
(火花- 27992)(火花- 28881)Python允许加入连接线程传播错误
固定一个bug影响某些全球聚合查询。
改进的凭据修订。
(火花- 27330)[SS]支持在foreach任务中止的作家
(火花- 28642)显示创建表中隐藏的凭证
(火花- 28699)[SQL]禁用使用基数排序ShuffleExchangeExec重新分配情况
2019年8月27日,
(火花- 20906)[SQL] API允许用户指定的模式来avro_与模式注册表
(火花- 27838)[SQL]支持用户提供非空avro模式为nullable催化剂没有任何零记录
改善三角洲湖时间旅行
影响某些固定的一个问题
变换表达式支持广播变量处理隔离时启用
2019年8月13日,
三角洲流源应该检查表的最新协议
(火花- 28260)增加ExecutionState关闭状态
(火花- 28489)[SS] KafkaOffsetRangeCalculator修复一个缺陷。getRanges可能会抵消下降
2019年7月30日
(火花- 28015)[SQL]检查stringToDate()消耗整个输入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒级前应该填补一部分解析
(火花- 27485)EnsureRequirements。重新排序应该优雅地处理重复的表达式
(火花- 28355)(核心)(PYTHON)使用火花设计及其阈值的UDF压缩的广播
砖运行时的7.4(不支持)
2021年4月30日
操作系统安全更新。
(火花- 35227)(构建)更新SparkSubmit spark-packages的解析器
(火花- 34245)(核心)确保主删除执行人未能发送完成状态
(火花- 35045)[SQL]添加一个内部选项来控制输入缓冲区univocity和CSV输入缓冲区大小的配置
2021年3月24日
(火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区的大小
(火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序
磁盘缓存是默认启用i3en实例。
2021年3月9日
Azure的Azure Blob文件系统驱动程序更新数据存储Gen2湖现在是默认启用。它将多个稳定的改进。
[es - 67926] [UI]修复的href链接引发DAG可视化
[es - 65064]恢复的输出模式
显示数据库(sc - 70522] [SQL]使用正确的动态范围时修剪建立关键连接提示
(sc - 35081)禁用过时检查δ在磁盘高速缓存表文件
(sc - 70640)修复肺水肿时EventGridClient反应没有实体
(sc - 70220] [SQL]不生成洗牌分区号建议启用先进的时
2021年2月24日
升级引发BigQuery连接器v0.18,介绍各种bug修复和支持箭头和Avro迭代器。
固定一个正确性的问题,导致火花拼花时返回不正确的结果文件的小数精度和等级是不同的火花模式。
固定阅读失败问题Microsoft SQL Server包含空间数据类型的表,通过添加几何和地理JDBC类型支持火花SQL。
引入了一个新的配置
spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。(火花- 34212)固定从铺阅读十进制数据文件有关的问题。
(火花- 33579)(UI)修复执行人代理背后的空白页。
(火花- 20044)火花界面(UI)支持的背后前端反向代理使用路径前缀。
(火花- 33277)[PYSPARK] [SQL]使用ContextAwareIterator任务结束后停止消费。
2021年2月4日,
固定的回归,防止增量执行查询,设置一个全球限制等
选择*从表限制nrows。经历的回归是用户运行查询通过ODBC / JDBC启用了箭头序列化。固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。
2021年1月20日
固定的回归2021年1月12日维护版本,可能会导致一个不正确的AnalysisException说自我连接的列是模棱两可的。这种回归发生当一个用户加入DataFrame及其派生DataFrame(所谓的自)与下列条件:
这两个DataFrames有常见的列,但自己加入的输出没有共同的列。例如,
df.join (df.select(美元“上校”作为“new_col”),气孔导度)派生DataFrame排除了一些列通过选择、groupBy或窗口。
加入后的联接条件或以下转换Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作系统安全更新。
(火花- 33593)[SQL]与二进制向量读者有不正确的数据分区的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳过LikeSimplification规则
(火花- 33071)[火花- 33536][SQL]避免改变dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 33587)(核心)杀死执行人在嵌套的致命错误
(火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串
(火花- 33316)[SQL]支持用户提供nullable Avro模式非空催化剂Avro写作模式
操作系统安全更新。
2020年11月20日
(火花- 33404)[SQL][3.0]修正不正确的结果
date_trunc表达式(火花- 33339)(PYTHON) Pyspark应用程序将挂由于非异常错误
(火花- 33183)[SQL][热修复补丁]修复优化规则EliminateSorts和添加一个物理规则删除冗余
(火花- 33371)[PYTHON][3.0]更新设置。py和Python 3.9测试
(火花- 33391)[SQL] element_at CreateArray不尊重一个建立索引。
(火花- 33306)[SQL]时区时需要把日期字符串
(火花- 33260)[SQL]从排序方式时SortExec流修正不正确的结果
(火花- 33272)[SQL]修剪QueryPlan.transformUpWithNewOutput属性映射
砖运行时的7.2(不支持)
2021年2月4日,
固定的回归,防止增量执行查询,设置一个全球限制等
选择*从表限制nrows。经历的回归是用户运行查询通过ODBC / JDBC启用了箭头序列化。固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。
2021年1月20日
固定的回归2021年1月12日维护版本,可能会导致一个不正确的AnalysisException说自我连接的列是模棱两可的。这种回归发生当一个用户加入DataFrame及其派生DataFrame(所谓的自)与下列条件:
这两个DataFrames有常见的列,但自己加入的输出没有共同的列。例如,
df.join (df.select(美元“上校”作为“new_col”),气孔导度)派生DataFrame排除了一些列通过选择、groupBy或窗口。
加入后的联接条件或以下转换Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作系统安全更新。
(火花- 33593)[SQL]与二进制向量读者有不正确的数据分区的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳过LikeSimplification规则
(火花- 33071)[火花- 33536][SQL]避免改变dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串
(火花- 33404)[SQL]修正不正确的结果
date_trunc表达式(火花- 33339)(PYTHON) Pyspark应用程序将挂由于非异常错误
(火花- 33183)[SQL]修复优化规则EliminateSorts和添加一个物理规则删除冗余
(火花- 33391)[SQL] element_at CreateArray不尊重一个建立索引。
操作系统安全更新。
2020年11月20日
(火花- 33306)[SQL]时区时需要把日期字符串
(火花- 33260)[SQL]从排序方式时SortExec流修正不正确的结果
2020年11月3日
从1.8.0_252 1.8.0_265升级Java版本。
修复沛富和WASB锁定对UserGroupInformation.getCurrentUser ()
修复一个无限循环错误Avro读者阅读时神奇的字节。
2020年10月13日
操作系统安全更新。
(火花- 32999)[SQL]使用跑龙套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保险丝安装包含文件名清单目录无效的XML字符
保险丝不再使用ListMultipartUploads山
2020年9月29日,
(火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介绍防止V1FallbackWriters再分析
(火花- 32635)[SQL]修复可折叠的传播
添加一个新的配置
spark.shuffle.io.decoder.consolidateThreshold。设置配置值Long.MAX_VALUE跳过的整合网状的framebuffer,从而防止java.lang.IndexOutOfBoundsException在角落的情况下。
2020年9月24日
(火花- 32764)[SQL] -0.0应该等于0.0
(火花- 32753)[SQL]只复制标签节点改造计划时没有标签
(火花- 32659)[SQL]修复数据插入动态分区修剪问题非原子类型
操作系统安全更新。
2020年9月8日
创建一个新的参数Azure突触分析,
maxbinlength。这个参数是用来控制BinaryType列的列的长度,并翻译成VARBINARY (maxbinlength)。它可以设置使用.option (“maxbinlength”,n),0 < n < = 8000。
砖运行时的7.1(不支持)
2021年2月4日,
固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。
2021年1月20日
固定的回归2021年1月12日维护版本,可能会导致一个不正确的AnalysisException说自我连接的列是模棱两可的。这种回归发生当一个用户加入DataFrame及其派生DataFrame(所谓的自)与下列条件:
这两个DataFrames有常见的列,但自己加入的输出没有共同的列。例如,
df.join (df.select(美元“上校”作为“new_col”),气孔导度)派生DataFrame排除了一些列通过选择、groupBy或窗口。
加入后的联接条件或以下转换Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作系统安全更新。
(火花- 33593)[SQL]与二进制向量读者有不正确的数据分区的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳过LikeSimplification规则
(火花- 33071)[火花- 33536][SQL]避免改变dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串
火花工作启动使用砖连接可以无限期地挂了
遗嘱执行人TaskRunner美元。anonfun copySessionState美元在执行器堆栈跟踪操作系统安全更新。
2020年11月20日
(火花- 33404)[SQL][3.0]修正不正确的结果
date_trunc表达式(火花- 33339)(PYTHON) Pyspark应用程序将挂由于非异常错误
(火花- 33183)[SQL][热修复补丁]修复优化规则EliminateSorts和添加一个物理规则删除冗余
(火花- 33371)[PYTHON][3.0]更新设置。py和Python 3.9测试
(火花- 33391)[SQL] element_at CreateArray不尊重一个建立索引。
(火花- 33306)[SQL]时区时需要把日期字符串
2020年11月3日
从1.8.0_252 1.8.0_265升级Java版本。
修复沛富和WASB锁定对UserGroupInformation.getCurrentUser ()
修复一个无限循环错误Avro读者阅读时神奇的字节。
2020年10月13日
操作系统安全更新。
(火花- 32999)[SQL]使用跑龙套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保险丝安装包含文件名清单目录无效的XML字符
保险丝不再使用ListMultipartUploads山
2020年9月29日,
(火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介绍防止V1FallbackWriters再分析
(火花- 32635)[SQL]修复可折叠的传播
添加一个新的配置
spark.shuffle.io.decoder.consolidateThreshold。设置配置值Long.MAX_VALUE跳过的整合网状的framebuffer,从而防止java.lang.IndexOutOfBoundsException在角落的情况下。
2020年9月24日
(火花- 32764)[SQL] -0.0应该等于0.0
(火花- 32753)[SQL]只复制标签节点改造计划时没有标签
(火花- 32659)[SQL]修复数据插入动态分区修剪问题非原子类型
操作系统安全更新。
2020年9月8日
创建一个新的参数Azure突触分析,
maxbinlength。这个参数是用来控制BinaryType列的列的长度,并翻译成VARBINARY (maxbinlength)。它可以设置使用.option (“maxbinlength”,n),0 < n < = 8000。
2020年8月25日,
(火花- 32159)[SQL]修复之间的集成
聚合器[[_]数组,_,_)和UnresolvedMapObjects(火花- 32559)[SQL]修复逻辑
UTF8String.toInt / toLong,没有正确处理非ascii字符(火花- 32543)[R]删除
箭头:as_tibble使用SparkR(火花- 32091)(核心)忽略超时错误删除块时失去的遗嘱执行人
固定一个问题影响到Azure突触连接器与MSI凭证
固定在self-merge模糊属性的决议
2020年8月18日
(火花- 32594)插入的日期[SQL]修复序列化蜂巢表
(火花- 32237)[SQL]解决CTE中的提示
(火花- 32431)[SQL]检查重复的嵌套列从内置数据源读取
(火花- 32467)(UI)避免编码两次https URL重定向
固定一个SQS连接器在使用Trigger.Once竞态条件。
2020年8月11日,
(火花- 32280)(火花- 32372)[SQL] ResolveReferences.dedupRight应该只重写属性冲突的祖先节点计划
(火花- 32234)[SQL]火花SQL命令选择兽人表上是失败的
2020年8月3日
您现在可以使用集群passthrough-enabled LDA变换函数。
砖运行时的7.0(不支持)
2021年2月4日,
固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。
2021年1月20日
固定的回归2021年1月12日维护版本,可能会导致一个不正确的AnalysisException说自我连接的列是模棱两可的。这种回归发生当一个用户加入DataFrame及其派生DataFrame(所谓的自)与下列条件:
这两个DataFrames有常见的列,但自己加入的输出没有共同的列。例如,
df.join (df.select(美元“上校”作为“new_col”),气孔导度)派生DataFrame排除了一些列通过选择、groupBy或窗口。
加入后的联接条件或以下转换Dataframe指的是刺激列。例如,
df.join (df.drop (“a”),df (“”)= = =1)
2021年1月12日
操作系统安全更新。
(火花- 33593)[SQL]与二进制向量读者有不正确的数据分区的值
(火花- 33677)[SQL]如果模式包含任何escapeChar跳过LikeSimplification规则
(火花- 33071)[火花- 33536][SQL]避免改变dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()
2020年12月8日
(火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串
(火花- 33404)[SQL]修正不正确的结果
date_trunc表达式(火花- 33339)(PYTHON) Pyspark应用程序将挂由于非异常错误
(火花- 33183)[SQL]修复优化规则EliminateSorts和添加一个物理规则删除冗余
(火花- 33391)[SQL] element_at CreateArray不尊重一个建立索引。
操作系统安全更新。
2020年11月20日
(火花- 33306)[SQL]时区时需要把日期字符串
2020年11月3日
从1.8.0_252 1.8.0_265升级Java版本。
修复沛富和WASB锁定对UserGroupInformation.getCurrentUser ()
修复一个无限循环错误Avro读者阅读时神奇的字节。
2020年10月13日
操作系统安全更新。
(火花- 32999)[SQL]使用跑龙套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保险丝安装包含文件名清单目录无效的XML字符
保险丝不再使用ListMultipartUploads山
2020年9月29日,
(火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介绍防止V1FallbackWriters再分析
(火花- 32635)[SQL]修复可折叠的传播
添加一个新的配置
spark.shuffle.io.decoder.consolidateThreshold。设置配置值Long.MAX_VALUE跳过的整合网状的framebuffer,从而防止java.lang.IndexOutOfBoundsException在角落的情况下。
2020年9月24日
(火花- 32764)[SQL] -0.0应该等于0.0
(火花- 32753)[SQL]只复制标签节点改造计划时没有标签
(火花- 32659)[SQL]修复数据插入动态分区修剪问题非原子类型
操作系统安全更新。
2020年9月8日
创建一个新的参数Azure突触分析,
maxbinlength。这个参数是用来控制BinaryType列的列的长度,并翻译成VARBINARY (maxbinlength)。它可以设置使用.option (“maxbinlength”,n),0 < n < = 8000。
2020年8月25日,
(火花- 32159)[SQL]修复之间的集成
聚合器[[_]数组,_,_)和UnresolvedMapObjects(火花- 32559)[SQL]修复逻辑
UTF8String.toInt / toLong,没有正确处理非ascii字符(火花- 32543)[R]删除
箭头:as_tibble使用SparkR(火花- 32091)(核心)忽略超时错误删除块时失去的遗嘱执行人
固定一个问题影响到Azure突触连接器与MSI凭证
固定在self-merge模糊属性的决议
2020年8月18日
(火花- 32594)插入的日期[SQL]修复序列化蜂巢表
(火花- 32237)[SQL]解决CTE中的提示
(火花- 32431)[SQL]检查重复的嵌套列从内置数据源读取
(火花- 32467)(UI)避免编码两次https URL重定向
固定一个SQS连接器在使用Trigger.Once竞态条件。
2020年8月11日,
(火花- 32280)(火花- 32372)[SQL] ResolveReferences.dedupRight应该只重写属性冲突的祖先节点计划
(火花- 32234)[SQL]火花SQL命令选择兽人表上是失败的
您现在可以使用集群passthrough-enabled LDA变换函数。
砖运行时的6.6(不支持)
2020年11月20日
(火花- 33260)[SQL]从排序方式时SortExec流修正不正确的结果
(火花- 32635)[SQL]修复可折叠的传播
2020年11月3日
从1.8.0_252 1.8.0_265升级Java版本。
修复沛富和WASB锁定对UserGroupInformation.getCurrentUser ()
修复一个无限循环错误Avro读者阅读时神奇的字节。
2020年10月13日
操作系统安全更新。
(火花- 32999)[SQL][2.4]使用跑龙套。得到SimpleName to avoid hitting Malformed class name in TreeNode
固定在保险丝安装包含文件名清单目录无效的XML字符
保险丝不再使用ListMultipartUploads山
2020年9月24日
操作系统安全更新。
2020年9月8日
创建一个新的参数Azure突触分析,
maxbinlength。这个参数是用来控制BinaryType列的列的长度,并翻译成VARBINARY (maxbinlength)。它可以设置使用.option (“maxbinlength”,n),0 < n < = 8000。更新存储Azure SDK 8.6.4和启用TCP保持活着的连接由WASB司机
2020年8月25日,
固定在self-merge模糊属性的决议
2020年8月18日
(火花- 32431)[SQL]检查重复的嵌套列从内置数据源读取
固定一个SQS连接器在使用Trigger.Once竞态条件。
2020年8月11日,
(火花- 28676)(核心)从ContextCleaner避免过度伐木
(火花- 31967)(UI)下调vis.js 4.21.0修复工作界面加载时间回归
2020年8月3日
您现在可以使用集群passthrough-enabled LDA变换函数。
操作系统安全更新。
砖运行时的6.5(不支持)
2020年9月24日
修正了之前的限制标准集群上,透传仍将限制用户使用文件系统实现。现在用户可以访问本地文件系统没有限制。
操作系统安全更新。
2020年9月8日
创建一个新的参数Azure突触分析,
maxbinlength。这个参数是用来控制BinaryType列的列的长度,并翻译成VARBINARY (maxbinlength)。它可以设置使用.option (“maxbinlength”,n),0 < n < = 8000。更新存储Azure SDK 8.6.4和启用TCP保持活着的连接由WASB司机
2020年8月25日,
固定在self-merge模糊属性的决议
2020年8月18日
(火花- 32431)[SQL]检查重复的嵌套列从内置数据源读取
固定一个SQS连接器在使用Trigger.Once竞态条件。
2020年8月11日,
(火花- 28676)(核心)从ContextCleaner避免过度伐木
2020年8月3日
您现在可以使用集群passthrough-enabled LDA变换函数。
操作系统安全更新。
2020年7月7日
从1.8.0_242 1.8.0_252升级Java版本。
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF实例的缓存类实例
砖运行时的6.3(不支持)
2020年7月7日
从1.8.0_232 1.8.0_252升级Java版本。
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF实例的缓存类实例
2020年4月7日
解决一个问题与熊猫udf不工作PyArrow 0.15.0以上,我们添加了一个环境变量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月10日
雪花连接器(
spark-snowflake_2.11)包含在砖2.5.9运行时更新版本。snowflake-jdbc是3.12.0更新版本。
2020年2月18日
代有凭据透传与ADLS性能下降由于不正确的线程本地处理当ADLS端启用预取。这个版本禁用ADLS Gen2预取时启用凭据透传,直到我们有一个适当的修复。
2020年2月11日
固定一个错误在我们的S3客户机(S3AFileSystem.java),即
fs.isDirectory(路径)或fs.getFileStatus(路径).isDirectory ()可能有时不正确返回假。该错误将在路径的清单awss3list-objects-v2——前缀路径/——max-keys1——分隔符/反应没有钥匙和常见的前缀,但是isTruncated=真正的。这对目录下可能发生许多对象被删除和版本启用。
(火花- 24783)[SQL] spark.sql.shuffle。分区= 0应该抛出异常
(火花- 30447)[SQL]常数nullability传播问题
(火花- 28152)[SQL]添加一个配置老遗产MsSqlServerDialect数值映射
Allowlisted覆盖函数,以便MLModels延伸MLWriter可以调用该函数。
砖运行时的6.2(不支持)
2020年4月21日
(火花- 31312)[SQL] HiveFunctionWrapper UDF实例的缓存类实例
2020年4月7日
解决一个问题与熊猫udf不工作PyArrow 0.15.0以上,我们添加了一个环境变量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月25日
工作产出,比如日志输出发送到stdout, 20 mb的大小限制。如果总输出有一个更大的规模,将被取消和标记为失败。为了避免遇到这个限制,可以防止stdout从司机通过设置回来
spark.databricks.driver.disableScalaOutput火花配置真正的。默认情况下,标志值假。国旗控制单元输出Scala JAR和Scala笔记本工作。如果启用了国旗,引发不工作执行结果返回给客户机。国旗并不影响数据集群中所写的日志文件。设置这个标志建议只对自动化集群JAR的工作,因为它将禁用笔记本的结果。
2020年3月10日
雪花连接器(
spark-snowflake_2.11)包含在砖2.5.9运行时更新版本。snowflake-jdbc是3.12.0更新版本。
2020年2月18日
(火花- 24783)[SQL] spark.sql.shuffle。分区= 0应该抛出异常
代有凭据透传与ADLS性能下降由于不正确的线程本地处理当ADLS端启用预取。这个版本禁用ADLS Gen2预取时启用凭据透传,直到我们有一个适当的修复。
2020年1月28日,
固定一个bug S3AFileSystem,
fs.isDirectory(路径)或fs.getFileStatus(路径).isDirectory ()可能有时不正确返回假。该错误将在路径的清单awss3list-objects-v2——前缀路径/——max-keys1——分隔符/反应没有钥匙和常见的前缀,但是isTruncated=真正的。这对目录下可能发生许多对象被删除和版本启用。
Allowlisted毫升模型作家覆盖函数为集群支持凭证透传,所以这种模式节省可以使用覆盖模式凭证透传集群。
(火花- 30447)[SQL]常数nullability传播问题。
(火花- 28152)[SQL]添加一个配置老遗产MsSqlServerDialect数值映射。
2020年1月14日,
从1.8.0_222 1.8.0_232升级Java版本。
2019年12月10日,
(火花- 29904)[SQL]解析在微秒时间戳精度通过JSON或CSV数据来源。
砖运行时的6.1(不支持)
2020年4月7日
解决一个问题与熊猫udf不工作PyArrow 0.15.0以上,我们添加了一个环境变量(
ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。
2020年3月25日
工作产出,比如日志输出发送到stdout, 20 mb的大小限制。如果总输出有一个更大的规模,将被取消和标记为失败。为了避免遇到这个限制,可以防止stdout从司机通过设置回来
spark.databricks.driver.disableScalaOutput火花配置真正的。默认情况下,标志值假。国旗控制单元输出Scala JAR和Scala笔记本工作。如果启用了国旗,引发不工作执行结果返回给客户机。国旗并不影响数据集群中所写的日志文件。设置这个标志建议只对自动化集群JAR的工作,因为它将禁用笔记本的结果。
2020年3月10日
雪花连接器(
spark-snowflake_2.11)包含在砖2.5.9运行时更新版本。snowflake-jdbc是3.12.0更新版本。
2020年2月18日
(火花- 24783)[SQL] spark.sql.shuffle。分区= 0应该抛出异常
代有凭据透传与ADLS性能下降由于不正确的线程本地处理当ADLS端启用预取。这个版本禁用ADLS Gen2预取时启用凭据透传,直到我们有一个适当的修复。
2020年1月28日,
固定一个bug S3AFileSystem,
fs.isDirectory(路径)或fs.getFileStatus(路径).isDirectory ()可能有时不正确返回假。该错误将在路径的清单awss3list-objects-v2——前缀路径/——max-keys1——分隔符/反应没有钥匙和常见的前缀,但是isTruncated=真正的。这对目录下可能发生许多对象被删除和版本启用。
(火花- 30447)[SQL]常数nullability传播问题。
(火花- 28152)[SQL]添加一个配置老遗产MsSqlServerDialect数值映射。
2020年1月14日,
从1.8.0_222 1.8.0_232升级Java版本。
2019年11月7日
(火花- 29743)[SQL]示例应该设定needCopyResult真实如果孩子的needCopyResult是正确的。
秘密从火花引用公共预览配置属性和环境变量。看到在火花配置使用一个秘密财产或环境变量。
2019年的11月5日
固定一个bug DBFS融合处理挂载点
/ /在它的路径。(火花- 29081)取代SerializationUtils调用。克隆属性与更快的实现
(火花- 29244)(核心)防止页面再次在BytesToBytesMap自由释放
(6.1毫升)图书馆mkl无意中安装了2019.4版本。我们下调mkl 2019.3版本2019.03蟒蛇分布相匹配。
砖运行时的6.0(不支持)
2020年3月25日
工作产出,比如日志输出发送到stdout, 20 mb的大小限制。如果总输出有一个更大的规模,将被取消和标记为失败。为了避免遇到这个限制,可以防止stdout从司机通过设置回来
spark.databricks.driver.disableScalaOutput火花配置真正的。默认情况下,标志值假。国旗控制单元输出Scala JAR和Scala笔记本工作。如果启用了国旗,引发不工作执行结果返回给客户机。国旗并不影响数据集群中所写的日志文件。设置这个标志建议只对自动化集群JAR的工作,因为它将禁用笔记本的结果。
2020年2月18日
代有凭据透传与ADLS性能下降由于不正确的线程本地处理当ADLS端启用预取。这个版本禁用ADLS Gen2预取时启用凭据透传,直到我们有一个适当的修复。
2020年2月11日
(火花- 24783)[SQL] spark.sql.shuffle。分区= 0应该抛出异常
2020年1月28日,
固定一个bug S3AFileSystem,
fs.isDirectory(路径)或fs.getFileStatus(路径).isDirectory ()可能有时不正确返回假。该错误将在路径的清单awss3list-objects-v2——前缀路径/——max-keys1——分隔符/反应没有钥匙和常见的前缀,但是isTruncated=真正的。这对目录下可能发生许多对象被删除和版本启用。
(火花- 30447)[SQL]常数nullability传播问题。
(火花- 28152)[SQL]添加一个配置老遗产MsSqlServerDialect数值映射。
2020年1月14日,
从1.8.0_222 1.8.0_232升级Java版本。
2019年11月19日
(火花- 29743)[SQL]示例应该设定needCopyResult真实如果孩子的needCopyResult是正确的
2019年的11月5日
DBFS保险丝支持使用罐装ACL S3坐骑。
dbutils.tensorboard.start ()现在支持TensorBoard 2.0手动(如果安装)。固定一个bug DBFS融合处理挂载点
/ /在它的路径。(火花- 29081)取代SerializationUtils调用。克隆属性与更快的实现
2019年10月23日
(火花- 29244)(核心)防止页面再次在BytesToBytesMap自由释放
2019年10月8日
服务器端更改让辛巴Apache火花ODBC驱动程序重新连接后,继续在抓取结果(需要连接失败辛巴Apache火花首款ODBC驱动程序版本)。
固定一个问题影响使用
优化命令启用了ACL表集群。固定的一个问题,
pyspark.ml图书馆会失败因为Scala UDF禁止错误表ACL启用集群。固定NullPointerException WASB检查错误代码时客户端。
砖运行时5.4毫升(不支持)
2019年6月18日
改进处理MLflow活跃在Hyperopt集成
改进消息Hyperopt
更新包
Marchkdown从3.1到3.1.1
砖运行时的5.4(不支持)
2019年11月19日
(火花- 29743)[SQL]示例应该设定needCopyResult真实如果孩子的needCopyResult是正确的
2019年10月8日
服务器端更改让辛巴Apache火花ODBC驱动程序连接失败后重新连接并继续在抓取结果(需要辛巴Apache火花ODBC驱动程序更新版本首款)。
固定NullPointerException WASB检查错误代码时客户端。
2019年9月10日
BytesToBytesMap添加线程安全的迭代器
固定一个bug影响某些全球聚合查询。
(火花- 27330)[SS]支持在foreach任务中止的作家
(火花- 28642)显示创建表中隐藏的凭证
(火花- 28699)[SQL]禁用使用基数排序ShuffleExchangeExec重新分配情况
(火花- 28699)(核心)修复一个角落流产不确定的阶段
2019年8月27日,
影响某些固定的一个问题
变换表达式
2019年8月13日,
三角洲流源应该检查表的最新协议
(火花- 28489)[SS] KafkaOffsetRangeCalculator修复一个缺陷。getRanges可能会抵消下降
2019年7月30日
(火花- 28015)[SQL]检查stringToDate()消耗整个输入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒级前应该填补一部分解析
(火花- 27485)EnsureRequirements。重新排序应该优雅地处理重复的表达式
2019年7月2日
升级snappy-java 1.1.7.1 1.1.7.3。
2019年6月18日
改进处理MLflow活跃在MLlib集成
使用磁盘缓存改进砖顾问的相关消息
固定一个bug影响使用高阶函数
固定一个bug影响三角洲元数据查询
砖运行时的5.3(不支持)
2019年11月7日
(火花- 29743)[SQL]示例应该设定needCopyResult真实如果孩子的needCopyResult是正确的
2019年10月8日
服务器端更改让辛巴Apache火花ODBC驱动程序连接失败后重新连接并继续在抓取结果(需要辛巴Apache火花ODBC驱动程序更新版本首款)。
固定NullPointerException WASB检查错误代码时客户端。
2019年9月10日
BytesToBytesMap添加线程安全的迭代器
固定一个bug影响某些全球聚合查询。
(火花- 27330)[SS]支持在foreach任务中止的作家
(火花- 28642)显示创建表中隐藏的凭证
(火花- 28699)[SQL]禁用使用基数排序ShuffleExchangeExec重新分配情况
(火花- 28699)(核心)修复一个角落流产不确定的阶段
2019年8月27日,
影响某些固定的一个问题
变换表达式
2019年8月13日,
三角洲流源应该检查表的最新协议
(火花- 28489)[SS] KafkaOffsetRangeCalculator修复一个缺陷。getRanges可能会抵消下降
2019年7月30日
(火花- 28015)[SQL]检查stringToDate()消耗整个输入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒级前应该填补一部分解析
(火花- 27485)EnsureRequirements。重新排序应该优雅地处理重复的表达式
2019年6月18日
使用磁盘缓存改进砖顾问的相关消息
固定一个bug影响使用高阶函数
固定一个bug影响三角洲元数据查询
2019年5月28日
提高稳定性的三角洲
容忍ioexception返回当δLAST_CHECKPOINT阅读文件
添加复苏失败库安装
2019年5月7日,
港口hadoop - 15778(沛富:解决客户端节流读)代连接器湖存储Azure数据
港口hadoop - 16040(沛富:Bug修复tolerateOobAppends配置)湖Azure数据存储Gen2连接器
固定一个bug影响表acl
重命名
fs.s3a.requesterPays.enabled来fs.s3a.requester-pays.enabled固定竞态条件,当加载δ日志校验和文件
固定三角洲冲突检测逻辑不认同“插入+覆盖”是纯粹的“添加”操作
固定一个bug影响亚马逊运动连接器
确保磁盘缓存不表启用了acl时禁用
[火花- 27494][SS]零键/值不工作在卡夫卡源v2
[火花- 27446][R]使用现有火花conf如果可用。
[火花- 27454][火花- 27454][ML] [SQL]火花图像数据源失败时遇到一些非法图片
[火花- 27160][SQL]修复DecimalType在构建兽人过滤器
[火花- 27338](核心)解决僵局UnsafeExternalSorter和TaskMemoryManager之间
砖运行时的5.2(不支持)
2019年9月10日
BytesToBytesMap添加线程安全的迭代器
固定一个bug影响某些全球聚合查询。
(火花- 27330)[SS]支持在foreach任务中止的作家
(火花- 28642)显示创建表中隐藏的凭证
(火花- 28699)[SQL]禁用使用基数排序ShuffleExchangeExec重新分配情况
(火花- 28699)(核心)修复一个角落流产不确定的阶段
2019年8月27日,
影响某些固定的一个问题
变换表达式
2019年8月13日,
三角洲流源应该检查表的最新协议
(火花- 28489)[SS] KafkaOffsetRangeCalculator修复一个缺陷。getRanges可能会抵消下降
2019年7月30日
(火花- 28015)[SQL]检查stringToDate()消耗整个输入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒级前应该填补一部分解析
(火花- 27485)EnsureRequirements。重新排序应该优雅地处理重复的表达式
2019年7月2日
容忍ioexception返回当δLAST_CHECKPOINT阅读文件
2019年6月18日
使用磁盘高速缓存改进砖顾问的相关消息
固定一个bug影响使用高阶函数
固定一个bug影响三角洲元数据查询
2019年5月28日
添加复苏失败库安装
2019年5月7日,
港口hadoop - 15778(沛富:解决客户端节流读)代连接器湖存储Azure数据
港口hadoop - 16040(沛富:Bug修复tolerateOobAppends配置)湖Azure数据存储Gen2连接器
固定竞态条件,当加载δ日志校验和文件
固定三角洲冲突检测逻辑不认同“插入+覆盖”是纯粹的“添加”操作
固定一个bug影响亚马逊运动连接器
确保磁盘缓存不表启用了acl时禁用
[火花- 27494][SS]零键/值不工作在卡夫卡源v2
[火花- 27454][火花- 27454][ML] [SQL]火花图像数据源失败时遇到一些非法图片
[火花- 27160][SQL]修复DecimalType在构建兽人过滤器
[火花- 27338](核心)解决僵局UnsafeExternalSorter和TaskMemoryManager之间
2019年3月26日
避免嵌入平台相关补偿在舞台生成的bob体育客户端下载代码
(火花- 26665)(核心)BlockTransferService修复一个缺陷。fetchBlockSync可能永远挂。
(火花- 27134)[SQL] array_distinct函数不正确工作列包含数组的数组。
(火花- 24669)[SQL]无效表的级联删除数据库。
(火花- 26572)[SQL]修正总codegen结果评估。
影响某些PythonUDFs固定一个bug。
2019年2月26日
(火花- 26864)[SQL]查询可能返回不正确的结果当python udf是用作left-semi联接条件。
(火花- 26887)PYTHON创建datetime。日期直接而不是创建datetime64作为中间数据。
固定一个bug影响JDBC / ODBC服务器。
固定一个bug影响PySpark。
构建HadoopRDD时排除隐藏文件。
固定一个缺陷在三角洲序列化问题引起的。
2019年2月12日
固定一个问题影响使用Azure的三角洲ADLS Gen2挂载点。
固定的问题引发低水平网络协议可能被打破,当发送大RPC启用加密后(在错误消息HIPAA法规遵循功能)或当
spark.network.crypto.enabled被设置为true)。
2019年1月30日
固定时StackOverflowError把斜加入提示缓存的关系。
固定SQL缓存的缓存抽样之间的矛盾及其物理计划,导致不正确的结果。
(火花- 26706)[SQL]修复
illegalNumericPrecedenceByteType。(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正确处理空记录。
CSV / JSON数据源时应避免globbing路径推理模式。
固定约束推理算子在窗口。
固定一个问题影响卵子库安装集群有表启用了ACL。
砖运行时的5.1(不支持)
2019年8月13日,
三角洲流源应该检查表的最新协议
(火花- 28489)[SS] KafkaOffsetRangeCalculator修复一个缺陷。getRanges可能会抵消下降
2019年7月30日
(火花- 28015)[SQL]检查stringToDate()消耗整个输入yyyy和yyyy - m [m]格式
(火花- 28308)(核心)CalendarInterval次秒级前应该填补一部分解析
(火花- 27485)EnsureRequirements。重新排序应该优雅地处理重复的表达式
2019年7月2日
容忍ioexception返回当δLAST_CHECKPOINT阅读文件
2019年6月18日
固定一个bug影响使用高阶函数
固定一个bug影响三角洲元数据查询
2019年5月28日
添加复苏失败库安装
2019年5月7日,
港口hadoop - 15778(沛富:解决客户端节流读)代连接器湖存储Azure数据
港口hadoop - 16040(沛富:Bug修复tolerateOobAppends配置)湖Azure数据存储Gen2连接器
固定竞态条件,当加载δ日志校验和文件
固定三角洲冲突检测逻辑不认同“插入+覆盖”是纯粹的“添加”操作
[火花- 27494][SS]零键/值不工作在卡夫卡源v2
[火花- 27454][火花- 27454][ML] [SQL]火花图像数据源失败时遇到一些非法图片
[火花- 27160][SQL]修复DecimalType在构建兽人过滤器
[火花- 27338](核心)解决僵局UnsafeExternalSorter和TaskMemoryManager之间
2019年3月26日
避免嵌入平台相关补偿在舞台生成的bob体育客户端下载代码
影响某些PythonUDFs固定一个bug。
2019年2月26日
(火花- 26864)[SQL]查询可能返回不正确的结果当python udf是用作left-semi联接条件。
固定一个bug影响JDBC / ODBC服务器。
构建HadoopRDD时排除隐藏文件。
2019年2月12日
固定一个问题影响卵子库安装集群有表启用了ACL。
固定SQL缓存的缓存抽样之间的矛盾及其物理计划,导致不正确的结果。
(火花- 26706)[SQL]修复
illegalNumericPrecedenceByteType。(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正确处理空记录。
固定约束推理算子在窗口。
固定的问题引发低水平网络协议可能被打破,当发送大RPC启用加密后(在错误消息HIPAA法规遵循功能)或当
spark.network.crypto.enabled被设置为true)。
2019年1月30日
固定一个可能导致的问题
df.rdd.count ()某些情况下UDT返回错误的答案。固定一个问题影响安装驾驶室。
(火花- 26267)从卡夫卡重试时检测错误的补偿。
固定一个bug影响流媒体查询多个文件流源。
固定时StackOverflowError把斜加入提示缓存的关系。
固定SQL缓存的缓存抽样之间的矛盾及其物理计划,导致不正确的结果。
2019年1月8日
固定的问题,导致错误
org.apache.spark.sql.expressions.Window.rangeBetween(长)是不白名单。(火花- 26352)加入重新排序不应该改变的顺序输出属性。
(火花- 26366)ReplaceExceptWithFilter应该考虑零错误。
三角洲湖稳定性改善。
启用了三角洲湖。
砖IO缓存为IO启用缓存加速实例类型。
砖运行时的5.0(不支持)
2019年6月18日
固定一个bug影响使用高阶函数
2019年5月7日,
固定竞态条件,当加载δ日志校验和文件
固定三角洲冲突检测逻辑不认同“插入+覆盖”是纯粹的“添加”操作
[火花- 27494][SS]零键/值不工作在卡夫卡源v2
[火花- 27454][火花- 27454][ML] [SQL]火花图像数据源失败时遇到一些非法图片
[火花- 27160][SQL]修复DecimalType在构建兽人过滤器
[火花- 27338](核心)解决僵局UnsafeExternalSorter和TaskMemoryManager之间
2019年3月26日
避免嵌入平台相关补偿在舞台生成的bob体育客户端下载代码
影响某些PythonUDFs固定一个bug。
2019年3月12日,
(火花- 26864)[SQL]查询可能返回不正确的结果当python udf是用作left-semi联接条件。
2019年2月26日
固定一个bug影响JDBC / ODBC服务器。
构建HadoopRDD时排除隐藏文件。
2019年2月12日
固定SQL缓存的缓存抽样之间的矛盾及其物理计划,导致不正确的结果。
(火花- 26706)[SQL]修复
illegalNumericPrecedenceByteType。(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正确处理空记录。
固定约束推理算子在窗口。
固定的问题引发低水平网络协议可能被打破,当发送大RPC启用加密后(在错误消息HIPAA法规遵循功能)或当
spark.network.crypto.enabled被设置为true)。
2019年1月30日
固定一个可能导致的问题
df.rdd.count ()某些情况下UDT返回错误的答案。(火花- 26267)从卡夫卡重试时检测错误的补偿。
固定一个bug影响流媒体查询多个文件流源。
固定时StackOverflowError把斜加入提示缓存的关系。
固定SQL缓存的缓存抽样之间的矛盾及其物理计划,导致不正确的结果。
2019年1月8日
固定的问题,造成了错误
org.apache.spark.sql.expressions.Window.rangeBetween(长)是不白名单。(火花- 26352)加入重新排序不应该改变的顺序输出属性。
(火花- 26366)ReplaceExceptWithFilter应该考虑零错误。
三角洲湖稳定性改善。
启用了三角洲湖。
砖IO缓存为IO启用缓存加速实例类型。
2018年12月18日,
(火花- 26293)当在子查询Python UDF抛异常
固定一个问题影响特定查询使用加入和限制。
修订从抽样凭证名称火花UI
2018年12月6日
固定一个问题导致不正确的查询结果在使用orderBy跟随groupBy group by关键领导排序键的一部分。
升级雪花连接器的火花2.4.9.2-spark_2.4_pre_release 2.4.10。
只有忽略腐败文件后一个或多个后重试
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles国旗是启用的。固定一个问题影响某些自我联合查询。
与该行服务器会话固定一个错误有时会泄漏时取消。
(火花- 26307)固定使用Hive SerDe cta当插入一个分区表。
(火花- 26147)Python udf在联接条件失败,即使使用列的一侧连接
(火花- 26211)修复嵌入二进制,结构和空数组。
(火花- 26181)的
hasMinMaxStats的方法ColumnStatsMap是不正确的。固定一个问题影响车轮安装Python环境中没有互联网接入。
2018年11月20日
固定的问题引起了笔记本不取消流查询后可用。
固定一个问题影响特定查询使用窗口的功能。
固定一个问题影响流从三角洲与多个模式变化。
固定一个问题影响某些聚合查询离开半/反连接。
固定一个问题影响阅读时间戳列红移。
砖运行时的4.3(不支持)
2019年4月9日
(火花- 26665)(核心)修复一个错误会导致BlockTransferService。fetchBlockSync永远挂。
(火花- 24669)[SQL]无效表的级联删除数据库。
2019年3月12日,
固定一个bug影响代码生成。
固定一个bug影响三角洲。
2019年2月26日
固定一个bug影响JDBC / ODBC服务器。
2019年2月12日
(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正确处理空记录。
构建HadoopRDD时不包括隐藏文件。
固定铺在谓词过滤转换它的值是空的。
固定的问题引发低水平网络协议可能被打破,当发送大RPC启用加密后(在错误消息HIPAA法规遵循功能)或当
spark.network.crypto.enabled被设置为true)。
2019年1月30日
固定一个可能导致的问题
df.rdd.count ()某些情况下UDT返回错误的答案。固定SQL缓存的缓存抽样之间的矛盾及其物理计划,导致不正确的结果。
2019年1月8日
固定的问题导致错误
org.apache.spark.sql.expressions.Window.rangeBetween(长)是不白名单。修订从抽样凭证名称火花UI
(火花- 26352)加入重新排序不应该改变的顺序输出属性。
(火花- 26366)ReplaceExceptWithFilter应该考虑零错误。
启用了三角洲湖。
砖IO缓存为IO启用缓存加速实例类型。
2018年12月18日,
(火花- 25002)Avro:修改输出记录的名称空间。
固定一个问题影响特定查询使用加入和限制。
(火花- 26307)固定使用Hive SerDe cta当插入一个分区表。
只有忽略腐败文件后一个或多个后重试
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles国旗是启用的。(火花- 26181)的
hasMinMaxStats的方法ColumnStatsMap是不正确的。固定一个问题影响车轮安装Python环境中没有互联网接入。
固定查询分析器的性能问题。
固定的问题导致DataFrame PySpark行动失败的“拒绝连接”错误。
固定一个问题影响某些自我联合查询。
2018年11月20日
(火花- 17916)(火花- 25241)解决空字符串被解析为零当nullValue设置。
(火花- 25387)修正引起的肺水肿坏CSV输入。
固定一个问题影响某些聚合查询离开半/反连接。
固定一个问题影响阅读时间戳列红移。
2018年11月6日
(火花- 25741)长url没有适当呈现在web UI。
(火花- 25714)在优化器规则BooleanSimplification解决零处理。
固定一个问题影响突触的临时对象清理分析连接器。
(火花- 25816)解决嵌套属性分辨率提取器。
2018年10月9日,
固定一个bug影响运行的输出
显示创建表在三角洲表。固定的错误影响
联盟操作。
2018年9月25日
(火花- 25368)[SQL]约束推理不正确返回错误的结果。
(火花- 25402)在BooleanSimplification [SQL]零处理。
固定
NotSerializableException在Avro数据源。
2018年9月11日
(火花- 25214)[SS]修复问题,卡夫卡v2源可能返回重复的记录
failOnDataLoss = false。(火花- 24987)[SS]修复卡夫卡articlePartition消费者在没有新的补偿时泄漏。
减少过滤器应该正确处理null值。
改善执行引擎的稳定。
2018年8月28日
固定一个bug三角洲湖删除命令,错误地删除条件的求值结果为空的行。
(火花- 25142)添加错误消息当Python工人不能打开套接字
_load_from_socket。
2018年8月23日
(火花- 23935)mapEntry抛出
org.codehaus.commons.compiler.CompileException。固定可空铺读者的映射问题。
(火花- 25051)[SQL] FixNullability AnalysisBarrier不应该停止。
(火花- 25081)固定一臭虫,其ShuffleExternalSorter可能访问内存页面发布时无法分配内存。
固定一个砖三角洲和Pyspark之间的相互作用可能导致瞬态读失败。
(火花- 25084)“分配”在多个列(包装在括号中)可能导致codegen问题。
(火花- 25096)放松nullability是否force-nullable演员。
降低了违约数量的线程使用的三角洲湖优化命令,减少内存开销和提交数据更快。
(火花- 25114)修复RecordBinaryComparator减法时两个词之间Integer.MAX_VALUE整除。
固定的秘密经理修订时命令部分成功。
砖运行时的4.2(不支持)
2019年2月26日
固定一个bug影响JDBC / ODBC服务器。
2019年2月12日
(火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正确处理空记录。
构建HadoopRDD时不包括隐藏文件。
固定铺在谓词过滤转换它的值是空的。
固定的问题引发低水平网络协议可能被打破,当发送大RPC启用加密后(在错误消息HIPAA法规遵循功能)或当
spark.network.crypto.enabled被设置为true)。
2019年1月30日
固定一个可能导致的问题
df.rdd.count ()某些情况下UDT返回错误的答案。
2019年1月8日
固定的问题,导致错误
org.apache.spark.sql.expressions.Window.rangeBetween(长)是不白名单。修订从抽样凭证名称火花UI
(火花- 26352)加入重新排序不应该改变的顺序输出属性。
(火花- 26366)ReplaceExceptWithFilter应该考虑零错误。
启用了三角洲湖。
砖IO缓存为IO启用缓存加速实例类型。
2018年12月18日,
(火花- 25002)Avro:修改输出记录的名称空间。
固定一个问题影响特定查询使用加入和限制。
(火花- 26307)固定使用Hive SerDe cta当插入一个分区表。
只有忽略腐败文件后一个或多个后重试
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles国旗是启用的。(火花- 26181)的
hasMinMaxStats的方法ColumnStatsMap是不正确的。固定一个问题影响车轮安装Python环境中没有互联网接入。
固定查询分析器的性能问题。
固定的问题导致DataFrame PySpark行动失败的“拒绝连接”错误。
固定一个问题影响某些自我联合查询。
2018年11月20日
(火花- 17916)(火花- 25241)解决空字符串被解析为零当nullValue设置。
固定一个问题影响某些聚合查询离开半/反连接。
固定一个问题影响阅读时间戳列红移。
2018年11月6日
(火花- 25741)长url没有适当呈现在web UI。
(火花- 25714)在优化器规则BooleanSimplification解决零处理。
2018年10月9日,
固定一个bug影响运行的输出
显示创建表在三角洲表。固定的错误影响
联盟操作。
2018年9月25日
(火花- 25368)[SQL]约束推理不正确返回错误的结果。
(火花- 25402)在BooleanSimplification [SQL]零处理。
固定
NotSerializableException在Avro数据源。
2018年9月11日
(火花- 25214)[SS]修复问题,卡夫卡v2源可能返回重复的记录
failOnDataLoss = false。(火花- 24987)[SS]修复卡夫卡articlePartition消费者在没有新的补偿时泄漏。
减少过滤器应该正确处理null值。
2018年8月28日
固定一个bug三角洲湖删除命令,错误地删除条件的求值结果为空的行。
2018年8月23日
固定NoClassDefErrorδ快照
(火花- 23935)mapEntry抛出
org.codehaus.commons.compiler.CompileException。(火花- 24957)[SQL]与十进制其次是平均聚合返回错误的结果。平均可能返回不正确的结果。演员会绕过平均算子中添加如果划分的结果是相同的类型是铸出。
(火花- 25081)固定一臭虫,其ShuffleExternalSorter可能访问内存页面发布时无法分配内存。
固定一个砖三角洲和Pyspark之间的相互作用可能导致瞬态读失败。
(火花- 25114)修复RecordBinaryComparator减法时两个词之间Integer.MAX_VALUE整除。
(火花- 25084)“分配”在多个列(包装在括号中)可能导致codegen问题。
(火花- 24934)[SQL]明确allowlist支持类型上/下界内存分区修剪。当复杂数据类型用于查询过滤器对缓存数据,火花总是返回一个空结果集。内存统计修剪产生不正确的结果,因为上/下边界设置为null的复杂类型。解决办法是不使用内存统计修剪复杂类型。
固定的秘密经理修订时命令部分成功。
固定可空铺读者的映射问题。
2018年8月2日,
writeStream补充道。表API in Python.
固定一个问题影响三角洲检查点。
(火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL缓存没有被使用在使用DataFrameWriter写DataFrame UDF。这是一个我们在AnalysisBarrier回归造成的变化,因为并不是所有分析仪规则是等幂的。
固定一个可能导致的问题
mergeInto命令产生不正确的结果。改善稳定访问Azure数据存储Gen1湖。
(火花- 24809)序列化LongHashedRelation执行者可能导致数据错误。
(火花- 24878)[SQL]修正逆函数数组类型的原始类型包含null。
2018年7月11日
固定在查询执行一个错误会导致聚合不同精度小数列上在某些情况下返回不正确的结果。
固定一个
NullPointerException错误,被扔在先进的聚合操作,比如分组集。
砖运行时4.1毫升(不支持)
2018年7月31日
添加Azure突触分析4.1毫升运行时
固定一个错误可能导致不正确的查询结果当一个分区的名称列谓词中使用不同的情况下,列在表的模式。
固定一个bug影响火花SQL执行引擎。
固定一个bug影响代码生成。
固定一个错误(
java.lang.NoClassDefFoundError影响三角洲湖)。改进的错误处理在三角洲湖。
固定一个错误导致错误数据跳过统计收集32个字符的字符串列或更大。
砖运行时的4.1(不支持)
2019年1月8日
(火花- 26366)ReplaceExceptWithFilter应该考虑零错误。
启用了三角洲湖。
2018年12月18日,
(火花- 25002)Avro:修改输出记录的名称空间。
固定一个问题影响特定查询使用加入和限制。
(火花- 26307)固定使用Hive SerDe cta当插入一个分区表。
只有忽略腐败文件后一个或多个后重试
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles国旗是启用的。固定一个问题影响车轮安装Python环境中没有互联网接入。
固定的问题导致DataFrame PySpark行动失败的“拒绝连接”错误。
固定一个问题影响某些自我联合查询。
2018年11月20日
(火花- 17916)(火花- 25241)解决空字符串被解析为零当nullValue设置。
固定一个问题影响某些聚合查询离开半/反连接。
2018年11月6日
(火花- 25741)长url没有适当呈现在web UI。
(火花- 25714)在优化器规则BooleanSimplification解决零处理。
2018年10月9日,
固定一个bug影响运行的输出
显示创建表在三角洲表。固定的错误影响
联盟操作。
2018年9月25日
(火花- 25368)[SQL]约束推理不正确返回错误的结果。
(火花- 25402)在BooleanSimplification [SQL]零处理。
固定
NotSerializableException在Avro数据源。
2018年9月11日
(火花- 25214)[SS]修复问题,卡夫卡v2源可能返回重复的记录
failOnDataLoss = false。(火花- 24987)[SS]修复卡夫卡articlePartition消费者在没有新的补偿时泄漏。
减少过滤器应该正确处理null值。
2018年8月28日
固定一个bug三角洲湖删除命令,错误地删除条件的求值结果为空的行。
(火花- 25084)“分配”在多个列(包装在括号中)可能导致codegen问题。
(火花- 25114)修复RecordBinaryComparator减法时两个词之间Integer.MAX_VALUE整除。
2018年8月23日
固定NoClassDefErrorδ快照。
(火花- 24957)[SQL]与十进制其次是平均聚合返回错误的结果。平均可能返回不正确的结果。演员会绕过平均算子中添加如果划分的结果是相同的类型是铸出。
固定可空铺读者的映射问题。
(火花- 24934)[SQL]明确allowlist支持类型上/下界内存分区修剪。当复杂数据类型用于查询过滤器对缓存数据,火花总是返回一个空结果集。内存统计修剪产生不正确的结果,因为上/下边界设置为null的复杂类型。解决办法是不使用内存统计修剪复杂类型。
(火花- 25081)固定一臭虫,其ShuffleExternalSorter可能访问内存页面发布时无法分配内存。
固定一个砖三角洲和Pyspark之间的相互作用可能导致瞬态读失败。
固定的秘密经理修订时命令部分成功
2018年8月2日,
(火花- 24613)[SQL]缓存和UDF不能与后续相关的缓存。封装的逻辑计划与执行计划的AnalysisBarrier编译缓存管理器,为了避免再次被分析的计划。这也是一个回归2.3火花。
固定一个突触分析连接器问题影响写作DateType时区转换数据。
固定一个问题影响三角洲检查点。
固定一个可能导致的问题
mergeInto命令产生不正确的结果。(火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL缓存没有被使用在使用DataFrameWriter写DataFrame UDF。这是一个我们在AnalysisBarrier回归造成的变化,因为并不是所有分析仪规则是等幂的。
(火花- 24809)序列化LongHashedRelation执行者可能导致数据错误。
2018年7月11日
固定在查询执行一个错误会导致聚合不同精度小数列上在某些情况下返回不正确的结果。
固定一个
NullPointerException错误,被扔在先进的聚合操作,比如分组集。
2018年6月28日
固定一个错误可能导致不正确的查询结果当一个分区的名称列谓词中使用不同的情况下,列在表的模式。
2018年5月29日
固定一个bug影响火花SQL执行引擎。
固定一个bug影响代码生成。
固定一个错误(
java.lang.NoClassDefFoundError影响三角洲湖)。改进的错误处理在三角洲湖。
2018年5月15日
固定一个错误导致错误数据跳过统计收集32个字符的字符串列或更大。
砖运行时的4.0(不支持)
2018年11月6日
(火花- 25714)在优化器规则BooleanSimplification解决零处理。
2018年10月9日,
固定的错误影响
联盟操作。
2018年9月25日
(火花- 25368)[SQL]约束推理不正确返回错误的结果。
(火花- 25402)在BooleanSimplification [SQL]零处理。
固定
NotSerializableException在Avro数据源。
2018年9月11日
减少过滤器应该正确处理null值。
2018年8月28日
固定一个bug三角洲湖删除命令,错误地删除条件的求值结果为空的行。
2018年8月23日
固定可空铺读者的映射问题。
固定的秘密经理修订时命令部分成功
固定一个砖三角洲和Pyspark之间的相互作用可能导致瞬态读失败。
(火花- 25081)固定一臭虫,其ShuffleExternalSorter可能访问内存页面发布时无法分配内存。
(火花- 25114)修复RecordBinaryComparator减法时两个词之间Integer.MAX_VALUE整除。
2018年8月2日,
(火花- 24452)避免在int添加或多个可能的溢出。
(火花- 24588)流加入需要HashClusteredPartitioning从孩子。
固定一个可能导致的问题
mergeInto命令产生不正确的结果。(火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL缓存没有被使用在使用DataFrameWriter写DataFrame UDF。这是一个我们在AnalysisBarrier回归造成的变化,因为并不是所有分析仪规则是等幂的。
(火花- 24809)序列化LongHashedRelation执行者可能导致数据错误。
2018年6月28日
固定一个错误可能导致不正确的查询结果当一个分区的名称列谓词中使用不同的情况下,列在表的模式。
2018年5月31日
固定一个bug影响火花SQL执行引擎。
改进的错误处理在三角洲湖。
2018年5月17日
Bug修复砖秘密的管理。
改善稳定读取数据存储在Azure存储数据湖。
固定一个bug影响抽样缓存。
固定一个bug影响空值等于在火花SQL。
2018年4月24日
升级Azure数据存储SDK湖2.0.11 2.2.8改善湖访问Azure数据存储的稳定性。
固定一个bug影响覆盖蜂巢分区表的插入
spark.databricks.io.hive.fastwriter.enabled是假。修正了序列化失败的任务。
改进的三角洲湖稳定。
2018年3月14日,
防止不必要的元数据更新在编写成三角洲湖。
固定一个问题引起的竞争条件,在罕见的情况下,导致一些输出文件的损失。
砖运行时3.5 LTS(不支持)
2019年11月7日
(火花- 29743)[SQL]示例应该设定needCopyResult真实如果孩子的needCopyResult是正确的
2019年10月8日
服务器端更改让辛巴Apache火花ODBC驱动程序连接失败后重新连接并继续在抓取结果(需要辛巴Apache火花ODBC驱动程序更新版本首款)。
2019年9月10日
(火花- 28699)[SQL]禁用使用基数排序ShuffleExchangeExec重新分配情况
2019年4月9日
(火花- 26665)(核心)修复一个错误会导致BlockTransferService。fetchBlockSync永远挂。
2019年2月12日
固定的问题引发低水平网络协议可能被打破,当发送大RPC启用加密后(在错误消息HIPAA法规遵循功能)或当
spark.network.crypto.enabled被设置为true)。
2019年1月30日
固定一个可能导致的问题
df.rdd.count ()某些情况下UDT返回错误的答案。
2018年12月18日,
只有忽略腐败文件后一个或多个后重试
spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles国旗是启用的。固定一个问题影响某些自我联合查询。
2018年11月20日
(火花- 25816)固定在嵌套属性分辨率提取器。
2018年11月6日
(火花- 25714)在优化器规则BooleanSimplification解决零处理。
2018年10月9日,
固定的错误影响
联盟操作。
2018年9月25日
(火花- 25402)在BooleanSimplification [SQL]零处理。
固定
NotSerializableException在Avro数据源。
2018年9月11日
减少过滤器应该正确处理null值。
2018年8月28日
固定一个bug三角洲湖删除命令,错误地删除条件的求值结果为空的行。
(火花- 25114)修复RecordBinaryComparator减法时两个词之间Integer.MAX_VALUE整除。
2018年8月23日
(火花- 24809)序列化LongHashedRelation执行者可能导致数据错误。
固定可空铺读者的映射问题。
(火花- 25081)固定一臭虫,其ShuffleExternalSorter可能访问内存页面发布时无法分配内存。
固定一个砖三角洲和Pyspark之间的相互作用可能导致瞬态读失败。
2018年6月28日
固定一个错误可能导致不正确的查询结果当一个分区的名称列谓词中使用不同的情况下,列在表的模式。
2018年6月28日
固定一个错误可能导致不正确的查询结果当一个分区的名称列谓词中使用不同的情况下,列在表的模式。
2018年5月31日
固定一个bug影响火花SQL执行引擎。
改进的错误处理在三角洲湖。
2018年5月17日
改善稳定读取数据存储在Azure存储数据湖。
固定一个bug影响抽样缓存。
固定一个bug影响空值等于在火花SQL。
固定一个bug影响某些聚合流查询。
2018年4月24日
升级Azure数据存储SDK湖2.0.11 2.2.8改善湖访问Azure数据存储的稳定性。
固定一个bug影响覆盖蜂巢分区表的插入
spark.databricks.io.hive.fastwriter.enabled是假。修正了序列化失败的任务。
2018年3月09日
固定一个问题引起的竞争条件,在罕见的情况下,导致一些输出文件的损失。
2018年3月1日
改进的效率处理流,需要花很长时间停止。
固定一个问题影响到Python自动完成。
应用Ubuntu安全补丁。
固定一个问题影响特定查询使用Python udf和窗口函数。
固定一个问题影响使用udf集群上的表启用访问控制。
2018年1月29日
固定一个问题影响操纵表存储在Azure Blob存储。
固定聚合在空DataFrame dropDuplicates之后。
砖运行时的3.4(不支持)
2018年5月31日
固定一个bug影响火花SQL执行引擎。
改进的错误处理在三角洲湖。
2018年5月17日
改善稳定读取数据存储在Azure存储数据湖。
固定一个bug影响抽样缓存。
固定一个bug影响空值等于在火花SQL。
2018年4月24日
固定一个bug影响覆盖蜂巢分区表的插入
spark.databricks.io.hive.fastwriter.enabled是假。
2018年3月09日
固定一个问题引起的竞争条件,在罕见的情况下,导致一些输出文件的损失。
2017年12月13日
固定一个问题影响到Scala中的udf。
固定一个问题影响使用数据源表上数据不索引存储在non-DBFS路径。
2017年12月07日
改进的洗牌的稳定性。
砖运行时的3.3(不支持)
2018年5月31日
固定一个bug影响火花SQL执行引擎。
2018年4月24日
固定一个bug影响覆盖蜂巢分区表的插入
spark.databricks.io.hive.fastwriter.enabled是假。
2018年3月12日,
固定一个问题引起的竞争条件,在罕见的情况下,导致一些输出文件的损失。
2018年1月29日
固定一个问题影响到Scala中的udf。
2017年10月11日
改进的洗牌的稳定性。
砖运行时的3.2(不支持)
2018年3月30日
固定一个问题引起的竞争条件,在罕见的情况下,导致一些输出文件的损失。
2017年9月13日
固定一个问题影响使用
spark_submit_task与砖的工作。
2017年9月6日
固定一个问题影响某些窗函数的性能。
2.1.1-db6(不支持)
2018年5月31日
固定一个bug影响火花SQL执行引擎。
2018年3月30日
固定一个问题引起的竞争条件,在罕见的情况下,导致一些输出文件的损失。