砖管理局(GCP)

找到你的工作区ID

学习如何找到你的砖工作区ID在web UI以及通过笔记本命令....

最后更新:2022年10月25日,通过sivaprasad.cs

不能开始砖工作区从谷歌云控制台

检查以确保砖订阅是活跃的,你使用正确的Google账户....

最后更新:2022年12月21日通过vivian.wilfred

未能添加用户错误由于电子邮件或用户名已经存在有不同的情况

你应该确保所有账户的用户名是一致的套管系统和提供者....

最后更新:2023年1月20日,通过harrison.schueler

不能访问数据砖秘密当使用一个“不”隔离共享集群

您不能使用dbutils.secrets.get()管理保护没有隔离共享集群时启用您的帐户....

最后更新:2023年3月31日,通过sivaprasad.cs
云基础设施(GCP)

设置交叉账户桶访问谷歌云

使用服务帐户授权访问存储桶....在另一个账户

最后更新:2022年12月21日通过navya.athiraram
商业智能工具(GCP)

配置辛巴与代理在Windows ODBC驱动程序

如何配置辛巴ODBC驱动程序通过代理服务器连接时使用Windows ....

最后更新:2022年3月2日,通过jordan.hicks

故障排除JDBC、ODBC连接

学习如何解决砖.... JDBC、ODBC连接错误

最后更新:2022年8月15日,通过亚当Pavlacka
集群(GCP)

安装一个私人PyPI回购

如何安装库从私人PyPI库....

最后更新:2022年3月4日,通过darshan.bargal

不能应用集群政策更新

当执行一个更新现有的集群政策,更新不适用,除非你删除和重新添加....政策

最后更新:2022年3月4日,通过jordan.hicks

集群配置Apache火花不会应用

值设置在您的集群的火花配置不正确应用....

最后更新:2022年3月4日,通过Gobinath.Viswanathan

管理员用户不能重新启动集群运行工作

学习如何re-grant特权砖Admin用户....

最后更新:2022年3月4日,通过亚当Pavlacka

集群未能从虚拟开始不存在错误

集群不是开始由于不存在假的Apache ....引发错误消息

最后更新:2022年3月4日,通过arvind.ravish

集群经济放缓由于Ganglia指标填充根分区

解决集群经济放缓是因为Ganglia度量数据爆炸填充根分区....

最后更新:2022年3月4日,通过arjun.kaimaparambilrajan

未能创建集群与无效的标记值

集群创建失败如果可选的标记值不符合云供应商要求....

最后更新:2022年3月4日,通过kavya.parag

设置执行器日志级别

学习如何在砖上设置日志级别执行人....

最后更新:2022年3月4日,通过亚当Pavlacka

禁用自动终止集群在开始工作

自动终止集群....政策不支持工作

最后更新:2022年8月23日,通过navya.athiraram

如何在砖上覆盖log4j配置集群

学习如何在砖上覆盖log4j配置集群....

最后更新:2022年12月8日,通过亚当Pavlacka

Apache火花执行人内存分配

了解引发执行人内存分配在砖集群....工作

最后更新:2022年3月4日,通过亚当Pavlacka

配置一个集群使用一个自定义的国家结核控制规划服务器

配置您的服务器集群使用定制的国家结核控制规划(公立或私立),而不是使用默认服务器....

最后更新:2022年12月8日,通过xin.wang

使GCM密码套件

使AES-GCM加密(GCM密码套件)使用SSL连接到其他集群。解决javax.net.ssl.SSLHandshakeException错误....

最后更新:2022年12月8日,通过xin.wang

在init脚本中启用重试

重试功能添加到您的init脚本....

最后更新:2022年3月4日,通过arjun.kaimaparambilrajan

不能设置一个自定义PYTHONPATH环境

设置一个自定义PYTHONPATH环境不支持在一个init脚本或DCS ....

最后更新:2022年9月13日,通过prakash.jha

您的集群上运行自定义数据砖运行时

配置您的集群运行自定义数据砖运行时图像通过UI或API ....

最后更新:2022年10月26日,通过rakesh.parija

集群init脚本错误失败与镜像同步进步

如果您正在使用镜子不是同步与主库,apt-get更新返回一个镜像同步在进行错误....

最后更新:2022年10月31日,通过harrison.schueler

销集群配置使用API

销100计算集群配置使用API ....

最后更新:2022年12月21日通过simran.arora

拔掉集群配置使用API

使用API ....拔掉计算集群配置

最后更新:2022年12月21日通过simran.arora

Apache火花UI任务日志间歇性地返回HTTP 500错误

如果火花spark.databricks.ui属性。logViewingEnabled设置为false,您不能查看任务日志的火花UI ....

最后更新:2023年3月17日,通过vivian.wilfred

禁用集群级DBFS init脚本

设置一个集群政策,以防止用户创建集群,负载集群级init脚本从DBFS ....

最后更新:2023年5月2日,通过亚当Pavlacka

Cluster-named和集群级init脚本迁移笔记本

容易cluster-named和集群级init脚本迁移到集群级init脚本存储为工作区文件....

最后更新:2023年7月17日,通过亚当Pavlacka

集群失败的致命异常错误。绑定失败。

如果其他软件使用6062端口,它可以与IPython内核REPL冲突,防止司机节点开始....

最后更新:2023年7月17日,通过simran.arora
数据管理(GCP)

附加到一个DataFrame

了解如何添加在砖DataFrame ....

最后更新:2022年3月4日,通过亚当Pavlacka

如何提高性能与用桶装吗

学习如何提高砖的性能通过使用用桶装....

最后更新:2022年3月4日,通过亚当Pavlacka

如何处理blob数据包含在一个XML文件吗

学习如何处理blob数据包含在一个XML文件....

最后更新:2022年3月4日,通过亚当Pavlacka

简化链接转换

你学会如何简化链接转换DataFrame砖....

最后更新:2022年5月25日,通过亚当Pavlacka

蜂巢udf

学习如何创建和使用一个蜂巢UDF砖....

最后更新:2022年5月31日,通过亚当Pavlacka

当加入两个DataFrames防止复制列

学习如何防止重复列在连接两个DataFrames砖....

最后更新:2022年10月13日,通过亚当Pavlacka

撤销所有用户权限

使用正则表达式和一系列的for循环为单个用户....撤销所有特权

最后更新:2022年5月31日,通过pavan.kumarchalamcharla

如何在砖和删除文件列表更快

学习如何在砖....更快和删除文件列表

最后更新:2022年5月31日,通过亚当Pavlacka

如何处理损坏的镶花的文件不同的模式吗

学习如何使用砖....读取拼花文件与一个特定的模式

最后更新:2022年5月31日,通过亚当Pavlacka

没有使用权限的数据库

用户没有使用权限的数据库....

最后更新:2022年5月31日,通过rakesh.parija

null和空字符串在分区列保存为null

学习为什么null和空字符串在分区列保存为null砖....

最后更新:2022年5月31日,通过亚当Pavlacka

randomSplit方法的行为

学习使用砖.... randomSplit方法时不一致的行为

最后更新:2022年5月31日,通过亚当Pavlacka

从用例类生成模式

了解如何从一个Scala类....生成模式

最后更新:2022年5月31日,通过亚当Pavlacka

如何指定斜在数据集和DataFrame-based加入命令提示吗

学习如何指定斜在数据集和DataFrame-based加入命令提示砖....

最后更新:2022年5月31日,通过亚当Pavlacka

如何更新嵌套列

了解如何更新中嵌套列砖....

最后更新:2022年5月31日,通过亚当Pavlacka

不兼容的模式在一些文件

学习如何解决不兼容的模式在铺砖....的文件

最后更新:2022年5月31日,通过亚当Pavlacka

兽人无法推断出模式的错误

Apache火花返回一个错误对于兽人文件如果没有定义当阅读模式从一个空目录或基本路径与多个文件夹....

最后更新:2022年12月1日通过chandana.koppal

用户没有权限选择任何文件

普通用户无法创建表未经许可....启用访问控制时,

最后更新:2023年5月16日,通过sivaprasad.cs
数据源(GCP)

在JSON数据集创建表

在JSON数据集创建表;需要SerDe JAR ....

最后更新:2022年5月31日,通过ram.sankarasubramanian

优化从JDBC数据源读取性能

学习如何优化性能当阅读从JDBC数据源数据砖....

最后更新:2022年6月1日通过亚当Pavlacka

故障检测在JSON编码

学习如何解决故障检测编码输入JSON文件在使用BOM与砖....

最后更新:2022年6月1日通过亚当Pavlacka

不一致的时间戳与JDBC应用程序结果

时间戳记录不一致与JDBC应用程序....夏令时调整时

最后更新:2022年6月1日通过manjunath.swamy

卡夫卡与OffsetOutOfRangeException客户终止

卡夫卡客户终止与“OffsetOutOfRangeException”当试图获取信息…

最后更新:2022年6月1日通过vikas.yadav

在Avro模式不允许递归引用

Apache Avro数据源模式中不能有递归引用火花....一起使用时

最后更新:2022年12月1日通过saikrishna.pujari

当使用SQL访问控制错误雪花作为数据源

雪花并不正式支持模式作为一个选项;您必须使用sfschema ....

最后更新:2023年1月20日,通过John.Lourdu
砖文件系统(GCP)

FileReadException DBFS挂载的文件系统

使用dbutils.fs.refreshMounts()刷新挂载点在你的火花工作....引用DBFS路径之前

最后更新:2023年4月11日,通过Gobinath.Viswanathan
砖SQL (GCP)

Null列值显示为南

Null列值正确显示为南砖SQL ....

最后更新:2022年3月4日,通过亚当Pavlacka

检索查询属于残疾用户

如何检索查询属于禁用用户在砖SQL ....

最后更新:2022年3月4日,通过John.Lourdu

工作超时当连接到一个JDBC SQL端点

增加SocketTimeout价值JDBC连接URL,以防止线程请求超时....

最后更新:2023年1月20日,通过Atanu.Sarkar

缓慢在抓取结果砖SQL

确保启用云获取最佳性能在使用ODBC / JDBC ....获取结果

最后更新:2023年2月3日,通过emad.rizkallah

ZORDER导致“希尔伯特索引只能用于9或少列”错误

优化ZORDER命令有一个硬限制九列....

最后更新:2023年3月15日,通过emad.rizkallah

不能自定义配置Apache火花在砖SQL仓库

你只能配置一组有限的全球引发属性使用一个SQL时仓库....

最后更新:2023年3月15日,通过mounika.tarigopula
开发工具(GCP)

Apache在DBConnect引发会话是null

“sparkSession零而试图executeCollectResult”使用DBConnect ....时出现错误信息

最后更新:2022年4月1日通过何塞·冈萨雷斯

未能创建过程与砖CLI在Windows的错误

砖CLI可能不会正常工作在Windows中如果您的Python路径有一个空间....

最后更新:2022年5月9日,通过John.Lourdu

GeoSpark未定义的函数与DBConnect错误

使用DBConnect会话.... GeoSpark代码

最后更新:2022年6月1日通过arjun.kaimaparambilrajan

Apache配置在DBConnect火花

使用REST API调用和DBConnect Apache配置集群....火花

最后更新:2022年5月9日,通过arvind.ravish

在DBConnect ProtoSerializer栈溢出错误

堆栈溢出错误DBConnect表明你在本地PC ....需要分配更多的内存

最后更新:2022年5月9日,通过ashritha.laxminarayana

使用tcpdump创建pcap文件

分析网络流量节点之间在特定集群使用tcpdump ....创建pcap文件

最后更新:2023年4月10日,通过pavan.kumarchalamcharla

起程拓殖注册中心没有提供错误

你不能安装砖起程拓殖提供者如果required_providers块不是模块中定义....

最后更新:2022年8月16日,通过prabakar.ammeappin

砖连接工作失败后的砖运行时更新

使用最新版本的砖连接相匹配你的砖的运行时版本,以避免错误....

最后更新:2023年7月27日,通过拉杰夫kannan Thangaiah
三角洲湖(GCP)

比较两个版本的δ表

使用时间旅行来比较两个版本的三角洲表....

最后更新:2022年5月10日,通过mathan.pillai

达美航空合并不能解决嵌套的领域

达美航空合并失败的“三角洲合并不能解决”字段数据类型不匹配的错误消息....

最后更新:2022年5月10日,通过亚当Pavlacka

δ缓存集群行为的自动定量多少

学习如何三角洲缓存集群行为的自动定量....

最后更新:2022年5月10日,通过亚当Pavlacka

如何提高性能的三角洲湖并入查询使用分区修剪

学习如何使用分区修剪提高....三角洲湖合并成查询的性能

最后更新:2023年6月1日通过亚当Pavlacka

最佳实践管理三角洲湖表

学习的最佳实践将....三角洲湖管理表

最后更新:2022年5月10日,通过亚当Pavlacka

如何填充或更新现有的三角洲表中列

学习如何填充或更新现有的三角洲表中列....

最后更新:2022年5月10日,通过亚当Pavlacka

识别重复的数据添加操作

…

最后更新:2022年5月10日,通过chetan.kardekar

优化三角洲沉在一个结构化的流媒体应用程序

优化你的三角洲水槽使用国防部价值batchId foreachBatch ....运行时优化

最后更新:2022年5月10日,通过mathan.pillai

无法把字符串varchar

在砖使用varchar类型运行时8.0及以上。它只能用于表模式。它不能用于函数或运算符....

最后更新:2022年5月10日,通过DD沙玛

真空零保留导致数据丢失

不要禁用spark.databricks.delta.retentionDurationCheck.enabled与保留零和运行真空,以避免数据丢失....

最后更新:2022年10月7日,通过DD沙玛

z值将是无效的,而不是收集统计数据

z值是无效的,错误不收集统计数据。重新排序的列的表你想优化....内第一个32列上

最后更新:2022年5月10日,通过mathan.pillai

改变集群配置为三角洲住表管道

自定义集群配置时使用三角洲住表管道....

最后更新:2022年7月1日通过pratik.bhawsar

不同与相同的数据表用于相同查询时产生不同的计划

确保表与相同的数据生成相同的物理计划引发SQL ....

最后更新:2022年10月14日,通过deepak.bhutada

允许空格和特殊字符与三角洲表嵌套列名称

升级到砖运行时的10.2或更高版本,并使用列映射模式允许在列名....空格和特殊字符

最后更新:2022年10月26日,通过shanmugavel.chandrakasu

三角洲写空文件当源是空的

三角洲可以写空文件在运行时7.3 LTS砖。你应该升级到砖运行时9.1 LTS以上....解决问题

最后更新:2022年12月2日,通过拉杰夫kannan Thangaiah

三角洲生活表自动真空管道没有运行

你必须有一个维护集群定义为真空自动运行....

最后更新:2023年2月2日,通过priyanka.biswas

真空三角洲湖上的最佳实践

学习使用的最佳实践,和故障排除,真空....三角洲湖上

最后更新:2023年2月3日,通过mathan.pillai

优化只是支持表误差δ湖

使用创建或替换表当δ表从一个存储位置移动到另一个....

最后更新:2023年2月3日,通过mathan.pillai

从DELTA_LOG腐败错误中恢复过来

学习如何修理三角洲表报告错误查询IllegalStateException ....

最后更新:2023年2月17日,通过gopinath.chandrasekaran

以编程方式确定表是一个三角洲表

在砖的笔记本使用Python代码来确定是否一个表是一个三角洲表....

最后更新:2023年3月16日,通过mounika.tarigopula

当查询三角洲共享表RESOURCE_LIMIT_EXCEEDED错误

三角洲共享共享表的元数据大小限制。如果超出这些限制它生成一个错误....

最后更新:2023年4月19日,通过拉杰夫kannan Thangaiah

发现错误块创建一个三角洲表复制列

不允许重复的列名在三角洲表....

最后更新:2023年7月28日,通过deepak.bhutada
乔布斯(GCP)

区分活跃和死的工作

学习如何区分活跃和死砖工作....

最后更新:2022年5月10日,通过亚当Pavlacka

火花与司机工作失败是暂时不可用

工作失败由于司机不可用或没有响应....

最后更新:2023年4月17日,通过亚当Pavlacka

使用REST API如何删除所有工作

学习如何使用REST API ....删除所有数据砖的工作

最后更新:2022年5月10日,通过亚当Pavlacka

工作笔记本集群限制输出

集群有一个最大的笔记本工作输出20 MB的大小。如果输出较大,它导致一个错误....

最后更新:2022年5月10日,通过何塞·冈萨雷斯

工作失败,但是Apache火花任务完成

你的工作失败,但是所有的Apache火花任务成功完成。您正在使用spark.stop()或system . exit(0)在代码中....

最后更新:2022年5月10日,通过harikrishnan.kunhumveettil

由于工作速率限制工作失败

学习如何解决....砖工作失败由于工作速度的限制

最后更新:2023年4月17日,通过亚当Pavlacka

工作失败,无效的访问令牌

运行的工作时间超过48小时失败与无效的访问令牌错误当dbutils令牌到期....

最后更新:2022年5月11日,通过manjunath.swamy

任务反序列化时间很高

配置cluster-installed库安装在执行器在集群启动vs执行人启动运行....加快你的工作任务

最后更新:2023年2月23日,通过亚当Pavlacka

传递参数到一个笔记本作为一个列表

使用JSON文件临时存储参数,您想要使用你的笔记本....

最后更新:2022年10月29日,通过pallavi.gowdar

未提交的文件导致数据重复

部分未提交的文件从一个失败的写会导致明显的数据重复。调整真空设置....来解决这个问题

最后更新:2022年11月8日,通过gopinath.chandrasekaran

多任务工作流使用不正确的参数值

如果并行任务运行在同一个集群使用Scala的同伴对象可以使用错误的值将在JVM ....共享一个类

最后更新:2022年12月5日,通过拉杰夫kannan Thangaiah

工作失败引发洗牌FetchFailedException错误

禁用默认的火花洗牌服务解决FetchFailedException错误....

最后更新:2022年12月5日,通过shanmugavel.chandrakasu

用户无法查看工作结果在使用远程Git源代码

砖没有管理权限远程回购,所以你必须同步变化与当地笔记本所以非管理用户可以查看结果....

最后更新:2023年3月7日,通过ravirahul.padmanabhan

尝试多次运行单一的计划工作

确保你的cron调度工作时语法是正确的。一个通配符在错误的空间可以产生意想不到的结果....

最后更新:2023年1月20日,通过monica.cao

添加自定义标记三角洲住表管道

手动编辑JSON配置文件添加自定义标签....

最后更新:2023年2月24日,通过John.Lourdu

更新通知API设置岗位的工作

您可以使用工作API添加邮件通知,在您的工作区....或全部的工作

最后更新:2023年3月17日,通过manoj.hegde

停止所有安排工作

使用示例代码包含在工作区....停止你所有的安排工作

最后更新:2023年6月7日,通过simran.arora
工作执行(GCP) 库(GCP)

不能从AutoGluon进口TabularPrediction

不能从AutoGluon进口TabularPrediction v0.0.14由于命名空间冲突。升级到AutoGluon v0.0.15 ....

最后更新:2022年5月11日,通过kavya.parag

如何正确更新Maven库在砖吗

学习如何正确地更新Maven库砖....

最后更新:2022年5月11日,通过亚当Pavlacka

Init脚本未能下载Maven JAR

集群init脚本未能下载一个Maven JAR当试图安装一个图书馆....

最后更新:2022年5月11日,通过arvind.ravish

安装包使用前凹口快照

避免包安装错误的安装一个凹口快照....早些时候

最后更新:2022年5月11日,通过darshan.bargal

安装PyGraphViz

安装PyGraphViz ....所有必需的依赖关系

最后更新:2022年5月11日,通过pavan.kumarchalamcharla

安装Turbodbc通过init脚本

安装Turbodbc及其依赖项、libboost-all-dev unixodbc-dev, python-dev, init脚本....

最后更新:2022年5月11日,通过John.Lourdu

不能卸载从UI库

学习做什么当你不能卸载一个图书馆用户界面使用砖....

最后更新:2022年5月11日,通过亚当Pavlacka

在一个集群上安装Cartopy时错误

Cartopy安装失败如果libgeos和libproj不安装....

最后更新:2022年5月11日,通过prem.jayaraj

在一个集群上安装pyodbc时错误

学习如何解决一个错误当砖集群上安装pyodbc ....

最后更新:2022年5月11日,通过亚当Pavlacka

图书馆除了依赖失败

学习为什么notebook-scoped库触发一个Apache火花依赖异常;返回一个错误....需求不能满足

最后更新:2022年5月11日,通过jordan.hicks

阅读与xlrd .xlsx文件失败

xlrd不再支持.xlsx文件。使用openpyxl读.xlsx文件....

最后更新:2022年5月12日,通过prakash.jha

删除Log4j 1。x JMSAppender SocketServer类从类路径中

删除Log4j 1。从类路径.... x JMSAppender SocketServer类

最后更新:2022年5月16日,通过亚当Pavlacka

替换默认库jar

学习如何替换默认的Java或Scala库jar ....与另一个版本

最后更新:2022年5月16日,通过ram.sankarasubramanian

与AssertionError Python命令失败:错误的颜色格式

解决颜色格式错误造成AssertionError nbconvert Python命令失败时....

最后更新:2022年5月16日,通过John.Lourdu

PyPMML失败找不到py4j jar错误

…

最后更新:2022年5月16日,通过arjun.kaimaparambilrajan

TensorFlow无法导入

TensorFlow未能导入如果你有一个不兼容的版本的集群上安装protobuf ....

最后更新:2022年5月16日,通过kavya.parag

验证集群的Log4j版本

验证Log4j集群上安装和升级的版本如果需要....

最后更新:2022年5月16日,通过亚当Pavlacka

Apache火花工作失败与环境目录没有发现错误

火花工作出现超时后安装一个图书馆,因为安全规则是防止工人解决.... Python可执行路径

最后更新:2022年7月1日通过亚当Pavlacka

将安装库从一个集群复制到另一个地方

图书馆集群从源复制到目标集群与一个定制的Python脚本....

最后更新:2023年1月6日,通过manoj.hegde

没有安装Elasticsearch通过Maven

如果库依赖关系已经安装,它会导致库安装失败....

最后更新:2023年3月17日,通过ankitha.vijayanandana
机器学习(GCP)

Conda未能从蟒蛇下载包

Conda未能下载包PackagesNotFoundError当你试图安装包从蟒蛇....

最后更新:2022年5月16日,通过mathan.pillai

从MLflow下载工件

如何下载工件从MLflow到本地存储....

最后更新:2022年5月16日,通过shanmugavel.chandrakasu

如何提取特征信息基于树的Apache SparkML管道模型

基于树的学习如何提取特征信息 毫升管道模型砖....

最后更新:2022年5月16日,通过亚当Pavlacka

安装一个Apache SparkML模型抛出错误

学习如何解决错误抛出砖当SparkML模型拟合或管道....

最后更新:2022年5月16日,通过亚当Pavlacka

H2O。人工智能集群不可到达的苏打水

H2O。集群ai苏打水不可以如果苏打水包的版本不匹配的版本火花用于集群....

最后更新:2022年5月16日,通过shanmugavel.chandrakasu

如何执行组K-fold交叉验证与Apache火花

学习如何执行组K-fold交叉验证与Apache火花砖....

最后更新:2023年2月24日,通过亚当Pavlacka

MLflow项目无法访问Apache蜂巢表

解决“表或视图不发现“错误当一个MLflow项目无法访问Apache蜂巢表....

最后更新:2022年5月16日,通过vikas.yadav

如何加快交叉验证

学习如何提高交叉验证性能与砖SparkML ....

最后更新:2022年5月16日,通过亚当Pavlacka

与maxNumConcurrentTasks Hyperopt失败错误

不要安装Hyperopt ....砖运行时对机器学习的集群

最后更新:2022年5月16日,通过chetan.kardekar

使用文档作为输入时不正确的结果

你的模型不返回文档输入使用TfidfVectorizer时预期的结果。JSON数组…

最后更新:2022年5月16日,通过pradeepkumar.palaniswamy

实验中使用自定义构件存储位置时发出警告

解决实验中警告当一个自定义工件存储位置是用来代替.... MLflow管理位置

最后更新:2022年5月16日,通过亚当Pavlacka

实验使用遗留工件存储位置时发出警告

解决实验遗留工件存储位置时警告代替.... MLflow管理位置

最后更新:2022年5月16日,通过亚当Pavlacka

然而使用pyfunc返回ModuleNotFoundError或FileNotFoundError模型

预测资讯模型返回ModuleNotFoundError或使用pyfunc FileNotFoundError ....

最后更新:2022年5月16日,通过pradeepkumar.palaniswamy

OSError当访问MLflow实验工件

解决一个“OSError”当试图访问、下载、或日志MLflow实验工件....

最后更新:2022年5月16日,通过亚当Pavlacka

PERMISSION_DENIED错误当访问MLflow实验工件

解决PERMISSION_DENIED错误当试图访问MLflow实验工件....

最后更新:2022年5月16日,通过亚当Pavlacka

运行不嵌套在Hyperopt启用SparkTrials时

当启用SparkTrials Hyperopt, MLflow跑不是嵌套在父跑....

最后更新:2022年5月16日,通过pradeepkumar.palaniswamy
Metastore (GCP)

自动定量与外部metastore缓慢

提高自动定量性能只安装metastore jar司机....

最后更新:2022年5月16日,通过Gobinath.Viswanathan

数据太长列的错误

如果一个列超过4000个字符是太大的默认数据类型并返回一个错误....

最后更新:2022年5月16日,通过亚当Pavlacka

减少数据库没有删除

使用蜂巢命令来删除一个数据库没有删除底层存储文件夹....

最后更新:2022年5月24日,通过arvind.ravish

与外部蜂巢metastore错误创建表

创建表的错误使用MySQL 8.0外部蜂巢metastore由于字符集....

最后更新:2022年5月16日,通过jordan.hicks

日本在外部metastore字符支持

在一个外部表中使用日文字符metastore ....

最后更新:2022年5月16日,通过亚当Pavlacka

拼花时间戳需要蜂巢metastore 1.2或以上

更新蜂巢metastore版本1.2或以上使用时间戳与拼花表....

最后更新:2022年5月16日,通过rakesh.parija
度量(GCP) 笔记本电脑(GCP)

JSON读者解析值为零

当你读一个JSON文件,引发读者JSON返回null值,而不是实际的数据....

最后更新:2022年5月16日,通过saritha.shivakumar

显示()没有显示正确微秒

使用显示()来显示时间戳值与微秒级精度。显示()仅限于毫秒精度....

最后更新:2022年5月16日,通过harikrishnan.kunhumveettil

错误:收到命令对象id p0 c

你看到错误消息的信息:py4j。java_gateway:收到命令后c的对象id p0运行Python代码与进口库....

最后更新:2022年5月16日,通过sandeep.chandran

当访问或安装存储失败

不挂载存储根路径....山

最后更新:2022年5月16日,通过kiran.bharathi

更新工作为多个用户权限

使用工作权限API来更新多个用户的权限....

最后更新:2022年5月17日,通过Atanu.Sarkar

生成浏览器HAR文件

学习如何记录HAR文件在您的web浏览器。进行故障诊断时,这些都是非常有用的UI问题....

最后更新:2022年7月1日通过vivian.wilfred

恢复删除垃圾笔记本

删除项目可以从垃圾中恢复删除....后30天

最后更新:2022年9月2日,通过vivian.wilfred

得到工作空间配置细节

显示完整的配置细节砖工作区....

最后更新:2022年10月28日,通过kavya.parag

遍历所有工作在工作区中使用工作2.1 API

2.1使用工作API遍历并显示在工作区....工作列表

最后更新:2023年7月28日,通过debayan.mukherjee

现在太多的执行上下文是开放的

减少笔记本用来限制执行上下文工作所需的数量....

最后更新:2023年5月31日,通过akash.bhat

生成一个列表的所有工作空间管理员

使用包含示例代码来生成所有工作空间的列表管理员....

最后更新:2023年6月7日,通过simran.arora
安全性和权限(GCP)

SSL连接GCP秘密管理器时例外

GCP秘密经理需要GCM密码套件安装在您的集群。砖运行时10.4 LTS以上GCM密码套件默认启用....

最后更新:2023年1月20日,通过John.Lourdu
流(GCP)

不支持添加输出没有水印

添加输出模式不支持聚合DataFrames没有水印....

最后更新:2022年5月17日,通过亚当Pavlacka

不支持Apache DStream火花

不支持DStreams砖。从DStream API迁移到结构化流....

最后更新:2022年5月17日,通过亚当Pavlacka

流与文件水槽:复苏的问题如果你改变检查点或输出目录

学习如何解决问题,出现复苏如果你改变检查点或输出目录流媒体文件时水槽....

最后更新:2022年5月17日,通过亚当Pavlacka

得到文件的路径被自动加载程序

得到所有文件的路径和文件名被自动加载程序,写出来一个新列....

最后更新:2022年5月18日,通过亚当Pavlacka

如何启动一个结构化流查询从去年写抵消吗

学习如何重启一个结构化流查询上次写抵消....

最后更新:2022年5月18日,通过亚当Pavlacka

卡夫卡的错误:没有引导url解析

没有引导url解析的错误发生当你试图读或写数据到卡夫卡流....

最后更新:2022年5月18日,通过亚当Pavlacka

readStream()不是白名单查询运行时错误

readStream()不是白名单错误的集群表启用访问控制....

最后更新:2022年5月19日,通过mathan.pillai

检查点文件不删除当使用显示()

学习如何防止显示(streamingDF)检查点文件使用了大量的存储....

最后更新:2022年5月19日,通过亚当Pavlacka

检查点文件不删除当使用foreachBatch ()

学习如何防止foreachBatch()从使用大量的存储....检查点文件

最后更新:2022年5月19日,通过亚当Pavlacka

冲突的目录结构错误

你应该使用不同的路径的存储位置,否则矛盾的目录结构可能会导致一个错误....

最后更新:2022年5月19日,通过阿施施

RocksDB未能获得一个锁

当使用RocksDB作为一个国家商店,您可能需要增加获得SQL配置超时....

最后更新:2023年2月25日,通过亚当Pavlacka

流工作卡住写作检查点

流工作似乎卡住了即使没有错误。您使用的是DBFS检查点存储,但却填满....

最后更新:2022年5月19日,通过何塞·冈萨雷斯

显式路径自动加载程序所需数据定义或模式

如果你不指定一个明确的路径数据或定义您的数据模式,得到却是IllegalArgumentException错误当你开始一个汽车装载机工作....

最后更新:2022年10月12日,通过何塞·冈萨雷斯

优化与.trigger流交易

使用.trigger定义存储更新间隔。更高的价值减少的数量存储事务....

最后更新:2022年10月26日,通过chetan.kardekar

结构化流工作减缓每十日批

文件夹可以减缓结构化的元数据的自动压实流工作....

最后更新:2022年10月28日,通过gopinath.chandrasekaran

得到所有文件最后修改时间在自动加载程序和批处理作业

定义一个UDF列出所有文件路径和回报每一个....的最后修改时间

最后更新:2022年12月1日通过DD沙玛
可视化(GCP) Python与Apache火花(GCP)

AttributeError:函数的对象没有属性

使用受保护的关键字从DataFrame API列名的结果在一个函数对象没有....属性错误消息

最后更新:2022年5月19日,通过noopur.nigam

Python datetime对象转换为字符串

显示日期和时间值的列,作为一个datetime对象,和一个字符串....

最后更新:2022年5月19日,通过亚当Pavlacka

显示文件和目录的时间戳的细节

显示文件创建日期、修改日期使用Python ....

最后更新:2022年5月19日,通过rakesh.parija

阅读大型DBFS-mounted文件使用Python api

学习如何解决错误读取大型DBFS-mounted文件时使用Python api ....

最后更新:2022年5月19日,通过亚当Pavlacka

如何导入一个定制的CA证书吗

学习如何定制CA证书导入到砖集群用于Python ....

最后更新:2023年2月27日,通过arjun.kaimaparambilrajan

工作开始前仍然闲置

Apache火花开始....前工作仍然闲置很长一段时间

最后更新:2022年5月19日,通过阿施施

列出所有工作区对象

列出所有砖工作区对象在给定路径....

最后更新:2022年5月19日,通过亚当Pavlacka

Python命令失败在高并发集群

Python命令失败在高并发集群启用了Apache火花处理隔离和共享会话。....警告错误消息

最后更新:2022年5月19日,通过xin.wang

集群取消Python命令执行后安装散景

学习做什么当你的砖集群取消Python命令执行后安装散景....

最后更新:2022年5月19日,通过亚当Pavlacka

由于图书馆集群取消Python命令执行冲突

学习做什么当你的砖集群取消Python命令执行由于库冲突....

最后更新:2022年5月19日,通过亚当Pavlacka

与AttributeError Python命令执行失败

学习Python命令时要做什么在你的砖笔记本的失败与AttributeError ....

最后更新:2022年5月19日,通过亚当Pavlacka

工作与Java IndexOutOfBoundsException错误失败

当groupby()连同applyInPandas使用它生成一个异常由于箭缓冲区限制....

最后更新:2022年12月21日通过rakesh.parija

工作与NoSuchElementException失败错误

NoSuchElementException错误可能发生在使用Apache箭头....

最后更新:2023年3月3日,通过阿施施

工作与IndexOutOfBoundsException和ArrowBuf错误失败

当Groupby applyinPandas使用它会导致Apache箭头....缓冲区大小估计错误

最后更新:2023年3月3日,通过阿施施

字段名称排序Apache火花3. x的变化

从引发3.0.0,行创建的命名参数没有字段名称字母顺序....

最后更新:2023年4月21日,通过sergios.lalas

工作失败“没有足够的内存来构建哈希映射”错误

您应该使用自适应查询执行而不是显式的广播提示执行连接上面的砖运行时11.3 LTS和....

最后更新:2023年5月12日,通过saritha.shivakumar
R与Apache火花(GCP)

更改版本的R (r-base)

学习如何改变你砖集群.... R的版本

最后更新:2022年5月20日通过亚当Pavlacka

修复R包的版本

了解如何修复.... R包的版本

最后更新:2022年5月20日通过亚当Pavlacka

如何并行化和新闻出版总署R代码吗

学习如何使用新闻出版总署并行化R代码....

最后更新:2022年5月20日通过亚当Pavlacka

如何并行化和spark.lapply R代码吗

学习如何使用spark.lapply并行化R代码....

最后更新:2022年5月20日通过亚当Pavlacka

安装rJava和RJDBC库

学习如何在砖集群安装rJava和RJDBC库....

最后更新:2022年12月22日,通过亚当Pavlacka

呈现一个R减价文件包含sparklyr代码失败

学习如何解决故障时呈现一个R减价文件包含sparklyr ....

最后更新:2022年5月20日通过亚当Pavlacka

解决方案或命名空间加载错误

学习如何解决方案或命名空间在砖笔记本....加载错误

最后更新:2022年5月20日通过亚当Pavlacka

RStudio服务器后端连接错误

RStudio服务器端连接发生错误如果你超过RBackends最大数量的集群....

最后更新:2022年5月20日通过arvind.ravish

通过init脚本验证R包安装

验证R包通过一个init脚本成功安装。列出所有R包没有安装....

最后更新:2022年5月20日通过kavya.parag
Scala使用Apache火花(GCP)

Apache火花UI并不是与工作同步

火花的状态工作时不同步,火花UI事件从事件队列之前处理....

最后更新:2023年2月27日,通过chetan.kardekar

Apache火花工作失败,镶花的列不能转换错误

镶木地板列不能出现转换错误当你阅读铺十进制数据格式和写作....δ表

最后更新:2022年5月20日通过shanmugavel.chandrakasu

缓存的最佳实践(),count (), ()

学习的最佳实践使用缓存(),“count()”,“()”的火花DataFrame ....

最后更新:2022年5月20日通过ram.sankarasubramanian

不能导入timestamp_millis或unix_millis

不能直接使用timestamp_millis或unix_millis DataFrame。你必须首先使用selectExpr()或者使用SQL命令....

最后更新:2022年5月20日通过saritha.shivakumar

不能修改Apache配置火花的价值

您不能修改引发的价值配置设置在一个笔记本上。它必须设置集群级别....

最后更新:2022年5月20日通过亚当Pavlacka

嵌套的JSON转换为DataFrame夷为平地

如何将一个扁平的DataFrame嵌套JSON使用嵌套的情况下类....

最后更新:2022年5月20日通过亚当Pavlacka

从一个JSON字符串创建一个DataFrame或Python字典

从一个变量创建一个Apache火花DataFrame包含一个JSON字符串或Python字典....

最后更新:2022年7月1日通过ram.sankarasubramanian

十进制美元DecimalIsFractional断言错误

使用“圆()”或套管双十进制的结果在一个十进制DecimalIsFractional美元的断言错误。. lang。AssertionError断言失败……

最后更新:2022年5月23日,通过saikrishna.pujari

在Apache 3.0火花from_json返回null

火花3.0及以上不能解析JSON数组结构;from_json返回null ....

最后更新:2022年5月23日,通过shanmugavel.chandrakasu

管理三角洲表的大小

建议,可以帮助您管理....三角洲表的大小

最后更新:2022年5月23日,通过何塞·冈萨雷斯

选择文件使用模式匹配

使用一个水珠模式匹配选择特定的文件在一个文件夹....

最后更新:2022年5月23日,通过mathan.pillai

工作失败ExecutorLostFailure由于“内存溢出”错误

解决执行器故障的根本原因是由于执行人.....耗尽内存

最后更新:2022年11月7日,通过mathan.pillai

工作失败ExecutorLostFailure因为遗嘱执行人是忙碌的

解决执行器故障的根本原因是由于执行人忙碌....

最后更新:2022年11月7日,通过mathan.pillai

理解投机执行

学习投机执行是如何工作的,如何识别它,当你应该使用它....

最后更新:2022年11月7日,通过mounika.tarigopula

使用自定义类和对象的模式

您必须定义自定义类和对象在一个包,如果你想使用它们在一个笔记本……

最后更新:2022年11月8日,通过saritha.shivakumar

工作失败TimeoutException错误

这个错误通常是由一个广播完成....加入这需要太长

最后更新:2023年3月3日,通过swetha.nandajan
SQL与Apache火花(GCP)

日期函数只接受int值在Apache 3.0火花

日期函数只接受int值在Apache 3.0火花;分数和字符串值返回AnalysisException错误....

最后更新:2023年2月28日,通过亚当Pavlacka

复制列元数据错误

火花工作与org.apache.spark.sql失败在处理一个三角洲表。AnalysisException发现重复的列(s)的元数据错误....

最后更新:2022年5月23日,通过vikas.yadav

生成惟一增加数值

使用Apache函数来生成惟一的火花和越来越多的列在一个表文件或DataFrame ....

最后更新:2022年5月23日,通过ram.sankarasubramanian

在SQL语句错误:AnalysisException:表或视图不发现

学习如何解决AnalysisException SQL错误“表或视图没有找到“....

最后更新:2022年5月23日,通过亚当Pavlacka

错误当下载完整的结果后加入

如果你有重复的列加入后,你会得到一个错误当试图下载完整的结果....

最后更新:2022年5月23日,通过manjunath.swamy

MSCK修理表并行运行时错误

不并行运行“MSCK修复”命令。它导致一个读....超时或内存不足错误消息

最后更新:2022年5月23日,通过ashritha.laxminarayana

找到一个表的大小

如何找到一个表的大小....

最后更新:2022年5月23日,通过mathan.pillai

内连接滴记录结果

避免了记录在执行内连接....

最后更新:2022年5月23日,通过siddharth.panchal

当从雪花读取数据是不正确的

数据读取时雪花是不正确的时区值没有被正确设置....

最后更新:2022年5月24日,通过DD沙玛

JDBC编写与PrimaryKeyViolation失败错误

JDBC编写SQL数据库与“PrimaryKeyViolation”错误或失败导致重复数据……

最后更新:2022年5月24日,通过harikrishnan.kunhumveettil

外部表查询不跳过标题行

外部蜂巢表时不要跳过标题行查询从火花SQL ....

最后更新:2022年5月24日,通过manisha.jena

显示数据库命令返回意想不到的列名

运行显示数据库的命令返回一个意想不到的列名....

最后更新:2022年5月24日,通过何塞·冈萨雷斯

不能查看表SerDe属性

显示创建表只返回Apache引发DDL。它不显示SerDe属性....

最后更新:2022年7月1日通过saritha.shivakumar

解析下午时间(PM) to_timestamp()返回null

当转换12小时时间24小时时间与to_timestamp ....()小时变量必须是小写的

最后更新:2022年7月22日,通过chetan.kardekar

to_json()导致不能使用null作为地图关键错误

您必须在您的输入过滤或替换空值数据在使用to_json () ....

最后更新:2022年7月22日,通过gopal.goel

设置nullability当使用SaveAsTable与δ表

学习如何创建一个增量表列设置为false的nullability ....

最后更新:2022年10月14日,通过anshuman.sahu

3.0确保一致性在统计函数之间的火花,火花3.1及以上

下面的砖运行时7.3 LTS和统计功能返回NaN除以零发生时。设置一个火花配置返回null而不是....

最后更新:2022年10月14日,通过chetan.kardekar

使用在火花datetime值3.0及以上

如何正确使用datetime函数与砖火花SQL运行时7.3 LTS以上....

最后更新:2022年10月26日,通过deepak.bhutada

ANSI兼容小数精度和等级

学习如何使ANSI兼容错误消息当不正确的值用于....小数精度和规模

最后更新:2022年10月29日,通过saritha.shivakumar

重建LISTAGG功能与火花SQL

使用collect_list和concat_ws火花SQL实现相同的功能作为其他平台上的LISTAGG ....bob体育客户端下载

最后更新:2023年2月24日,通过manjunath.swamy

使用删除时性能下降与子查询运行时10.4 LTS砖

自动优化应该禁用删除与子查询时一方足够小是广播....

最后更新:2023年4月21日,通过sergios.lalas
起程拓殖(GCP) 统一目录(GCP)

同步命令失败与错误匹配输入错误

统一目录必须启用集群之前,你可以使用同步遗留蜂巢表迁移到统一目录....

最后更新:2023年4月11日,通过John.Lourdu

不能访问统一编目视图

你不能访问一个视图,如果你没有足够的权限在底层表....

最后更新:2023年5月10日,通过John.Lourdu

INVALID_PARAMETER_VALUE。LOCATION_OVERLAP:与管理存储错误

外部表不能重叠目录/ schema存储位置。他们应该创建子目录,而不是....

最后更新:2023年6月7日,通过simran.arora
三角洲生活表(GCP)

不能选择一个砖当使用三角洲生活表管道运行时版本

三角洲生活表不允许您直接配置数据砖....运行时版本

最后更新:2023年4月20日通过何塞·冈萨雷斯

三角洲生活表工作失败当使用收集()

不应该使用功能,比如收集()、count ()、toPandas(),保存()和saveAsTable表和视图中()函数定义....

最后更新:2023年5月10日,通过何塞·冈萨雷斯