SSO服务器原始URL重定向到,不要虚荣砖URL

问题当你登录到砖使用一个虚荣的URL(例如mycompany.cloud.www.neidfyre.com),你被重定向到一个单点登录(SSO)服务器进行身份验证。当服务器将您重定向回砖网站,虚荣的URL更改URL到原始部署的URL(例如dbc-XXXX.cloud.www.neidfyre.com)。这可以…

与PingFederate SSO SAML验证错误

问题在使用PingFederate与砖通过SSO连接进行身份验证,重定向失败有以下错误:19/12/21 01:27:01错误SamlAuthenticator[根= ServiceMain-6c710d1c1fca0002父母= ServiceMain-6c710d1c1fca0002 op = HttpServer-6c710d1c1fdf2812]: SAML登录失败的意外. lang。IllegalArgumentException: com ....

找到你的工作区ID

你做的每件事都在砖发生在一个工作区。当你使用web UI交互与集群和笔记本在工作区中。当您运行自动工作或连接到您的工作区以外的web UI可能需要知道您的工作区ID。本文将介绍两种不同的方式轻松地找到您的工作区ID。Instructio……

未能添加用户错误由于电子邮件或用户名已经存在有不同的情况

问题你想添加一个新用户通过管理控制台砖工作区,但失败的错误说电子邮件或用户名已经存在有不同的情况。添加用户失败:用户使用电子邮件<用户名> <邮件地址>和用户名在不同情况下已经存在的账户。你也可以得到t…

AWS服务失败,没有地区提供错误

问题你的代码片段使用AWS服务失败. lang。IllegalArgumentException:没有在砖运行时7.0及以上的地区提供错误。相同的代码在砖6.6运行时,下面的工作。您可以验证这个问题通过运行示例代码片段在一个笔记本上。在砖运行时的7.0及以上,它将返回前女友……

故障排除亚马逊红移的连接问题

问题您创建了一个VPC对等连接和配置一个Amazon红移集群在对等网络。当您试图访问集群红移,你会获得如下错误:错误信息:OperationalError:无法连接到服务器:连接超时导致这个问题可能发生如果:VPC凝视是配置错误。相应的p…

漏洞扫描显示漏洞在砖EC2实例

企业信息安全问题(CIS)脆弱性管理团队识别漏洞在AWS实例追溯到EC2实例由砖(工人AMI)。导致砖安全团队地址的所有关键的漏洞和更新核心和工人定期ami。然而,如果有long-r……

配置自定义使用dnsmasq DNS设置

dnsmasq是安装和配置DNS的工具为集群节点路由规则。您可以使用它来设置路由砖之间的环境和你的本地网络。警告如果你使用自己的DNS服务器下降,你将会停机,并且将无法创建集群。使用以下集群级init年代……

无法加载AWS凭证

AWS资源的问题当你试图访问S3, SQS或红移,操作失败,错误:com.amazonaws。SdkClientException:无法加载AWS凭证链中的任何提供者:[BasicAWSCredentialsProvider:访问密钥或密钥为空,com.amazonaws.auth。InstanceProfileCredentialsProvider@a590007a:请求的metad…

编写日志时拒绝访问S3 bucket

问题,当你试着写日志文件到一个S3 bucket,你得到的错误:com.amazonaws.services.s3.model。AmazonS3Exception:拒绝访问(服务:Amazon S3;状态码:403;错误代码:AccessDenied;请求ID: 2 f8d8a07cd8817ea), S3扩展请求ID:导致DBFS山是S3存储桶中假定的角色和使用sse-kms加密。Th……

S3零件号必须在1到10000之间包容

问题,当你将一个大文件从本地文件系统复制到DBFS S3,以下异常可能发生:Amazon.S3。亚马逊S3Exception: Part number must be an integer between 1 and 10000, inclusive Cause This is an S3 limit on segment count. Part files can only be numbered from 1 to 10000, inclusive. Solution To prevent this exception from occu...

如何分析用户界面性能问题

问题似乎砖用户界面运行缓慢。导致用户界面的性能问题通常发生由于网络延迟或数据库查询比预期更多的时间。为了解决这种类型的问题,您需要收集网络日志和分析他们看到网络流量的影响。在大多数情况下,…

不能挂载Azure存储Gen1湖帐户数据

问题当你试图安装一个湖Azure数据存储(ADLS) Gen1帐户砖,它失败的错误:com.microsoft.azure.datalake.store。ADLException:创建目录/错误错误获取访问令牌io操作零失败的异常。IOException:服务器返回的HTTP响应代码:401的URL: https://login.windows...。

失败的凭证验证检查错误起程拓殖

起程拓殖部署问题您正在使用一个工作区在AWS和得到一个失败的凭证验证检查错误消息。│错误:MALFORMED_REQUEST:凭证验证检查失败:请用一个有效的帐户我的角色和权限设置正确││databricks_mws_credentials。这一点,在cross-account-role│。第29行特遣部队,在……

部署中定义的名字前缀不是起程拓殖

起程拓殖部署问题您正在使用AWS工作区,你会得到一个部署名称不能使用,直到部署名称前缀定义。错误消息。│错误:MALFORMED_REQUEST:失败的参数验证检查:部署名称不能使用,直到部署名称前缀定义。请联系您的砖代表││……

配置辛巴与代理在Windows ODBC驱动程序

在本文中,您将了解如何配置砖ODBC驱动程序,当您的本地Windows机器的背后是一个代理服务器。下载Windows的辛巴司机下载并安装最新版本的砖为Windows ODBC驱动程序。代理设置添加到Windows注册表打开Windows注册表和代理设置添加到…

故障排除JDBC、ODBC连接

DBR版本:<列出所有适用的DBR版本>云版本:AWS, Azure, GCP作者:<砖的电子邮件的作者>拥有团队:<地区+平台/火花>票务URL: <链接到原始Salesforce或Jira票>最后审核日期:2021年5月05,本文提供了信息,以帮助您排除之间的联系……bob体育客户端下载

使OpenJSSE和TLS 1.3

查询和转换是加密之前发送给您的集群。默认情况下,劳动者在一个集群节点之间的数据交换是不加密的。如果您需要这些数据是加密的,您可以使用AES加密流量集群工作节点之间128通过TLS 1.2连接。在某些情况下,您可能希望使用TLS 1.3我…

如何计算集群中核心的数量

您可以查看在工作区中砖集群的核心UI使用指标选项卡在集群上的细节页面。注意Azure砖集群节点必须安装一个标准的服务。如果司机和执行人是相同的节点类型,您还可以确定集群中的可用内核的数量以编程方式,使用Sca……

安装一个私人PyPI回购

某些用例需要您安装库从私人PyPI存储库。如果你从一个公共库安装,你应该检查库文档。本文向您展示如何配置一个PyPI init脚本验证和下载例子从一个私人库库。创建初始化脚本创建(或版本……

INVALID_STATE IP访问列表更新的回报

问题你想要更新一个IP访问列表,你得到一个INVALID_STATE错误消息。{“error_code”:“INVALID_STATE”、“消息”:“你目前的IP 3.3.3.3不允许访问工作区在当前配置”}导致IP访问列表更新你想提交不包括当前的公共IP地址。如果你……

发射失败Client.InternalError

问题你部署一个新的E2工作区,但集群Client.InternalError发射失败的消息。因为你有加密的EBS卷在AWS帐户级别或您正在使用一个自定义公里EBS加密的关键。其中一个场景可以导致一个客户。InternalError当你试图创建一个集群在E2的工作……

不能应用集群政策更新

问题您正试图更新现有的集群政策,然而更新并不适用于相关的集群政策。如果您试图编辑一个集群管理的政策,不应用或保存的更改。因为这是一个已知的问题被解决。解决方案可以使用解决方案,直到永久修复……

集群配置Apache火花不会应用

问题您的集群的火花不应用配置值。因为这发生在当火花配置集群配置中声明值以及一个init脚本。当火花配置值位于多个地方,init脚本中配置优先和集群忽略了配置设置…

集群未能启动

本文描述了几个场景集群未能启动,并提供故障排除步骤为每个场景基于错误消息日志中找到。集群超时错误消息:司机未能及时开始INTERNAL_ERROR:火花司机未能开始300秒内集群在200秒内未能健康标出……

定制需要根码头工人形象

问题你想启动与一个定制的码头工人的砖集群的容器,但集群创建失败的错误。{"原因":{“代码”:“CONTAINER_LAUNCH_FAILURE”、“类型”:“SERVICE_FAULT”,“参数”:{“即instance_id”:“i-xxxxxxx”,“databricks_error_message”:“我便未能推出火花容器实例。例外:不可能…

工作失败由于集群管理器核心实例请求限制

问题一个砖笔记本或工作API返回下列错误:意想不到的失败在创建集群。导致REQUEST_LIMIT_EXCEEDED:由于API速率限制你的请求被拒绝了。请重新尝试后,或选择一个更大的节点类型。导致错误表明服务核心集群管理器实例requ……

管理员用户不能重新启动集群运行工作

问题,当一个用户许可开始一个集群,如砖管理员用户,提交的工作属于一个不同的用户,使用以下信息:工作失败信息:运行现有集群上执行ID <集群ID >失败由于权限不足。从集群管理器接收到的错误是:“你不…

集群未能从虚拟开始不存在错误

问题你想开始一个集群,但这无法开始。你会得到一个Apache引发错误消息。内部错误消息:引发错误:司机下来你检查集群的司机和工人包含java日志和看到一条错误消息。FileNotFoundException:文件文件:/砖/司机/假的不存在。21/07/14 21:44:06错误DriverDaemon美元:X…

集群经济放缓由于Ganglia指标填充根分区

注意这篇文章适用于砖运行时7.3 LTS下面。问题集群开始放缓,可能显示的结合以下症状:不健康的集群事件报道:请求超时。司机暂时不可用。Metastore下降。DBFS下降。你看不到任何高GC事件或相关的内存利用率w……

未能创建集群与无效的标记值

问题你想创建一个集群,但它没有一个无效的标记值错误消息。系统。例外:内容= {" error_code”:“INVALID_PARAMETER_VALUE”,“消息”:“\ nInvalid标签值(< < < <标签值> > > >),长度不能超过256 \ nUnicode字符的utf - 8。\ n”}造成限制标签键和值基于“增大化现实”技术的…

未能扩大EBS卷

砖工作失败的问题,由于缺乏空间在磁盘上,即使存储启用自动伸缩。当你回顾集群事件日志,您将看到一条消息,指出实例未能扩大磁盘由于授权错误。实例i-xxxxxxxxx未能扩大磁盘,因为:你未被授权执行该操作。恩……

EBS卷泄露

问题在AWS集群是终止之后,一些EBS卷不会自动地删除。这些流浪,未婚EBS卷通常被称为“泄露”卷。导致砖总是集DeletionOnTermination = true EBS卷时创建启动集群。因此,无论何时终止集群实例,AWS应该……

日志与AssumeRole交付失败

问题您正在使用AssumeRole将集群日志发送到S3 bucket在另一个账户,你会得到一个拒绝访问错误。因为AssumeRole不允许你将集群日志发送到S3 bucket在另一个帐户。这是因为日志守护进程在主机上运行。它不运行在容器中。只有项目运行在容器……

多部分上传失败

问题你观察工作失败除了:com.amazonaws。SdkClientException:无法完成多部分上传。个人部分上传失败:无法执行HTTP请求:org.apache.http.conn超时等待连接池。ConnectionPoolTimeoutException:超时等待连接池……com.amazonaws.http.Ama……

Apache火花CSV指标保存到DBFS位置

引发了一个可配置的指标系统,支持下沉,包括CSV文件。在本文中,我们将向您展示如何配置一个砖集群使用CSV水槽和坚持这些指标DBFS位置。创建一个init脚本的所有配置在一个init脚本完成。init脚本做了以下3个…

重播Apache引发事件在一个集群中

火花UI是常用的作为火花的调试工具的工作。如果火花UI不可访问,你可以加载另一个集群的事件日志和使用事件日志重播笔记本重播引发事件。警告集群日志交付在默认情况下不启用。您必须启用集群日志开始您的集群前交货,否则……

S3连接失败“没有指定角色和角色可用”

问题您正在使用砖公用事业(dbutils)访问S3 bucket,但不能没有指定角色和角色提供错误。你已经证实与集群相关的实例配置文件所需的权限访问S3 bucket。无法加载AWS凭证链中的任何提供者:[com.databricks.bac……

设置Apache Hadoop核心位点。xml属性

你有一个场景,需要设置Apache Hadoop属性。你在核心位点通常会这样做。xml文件。在本文中,我们解释了如何设置核心位点。xml在一个集群中。创建核心位点。xml文件DBFS你需要创建一个核心位点。xml文件并将其保存到DBFS集群。一个简单的方法来创建这个文件是通过…

设置执行器日志级别

警告本文描述的步骤与客户使用Log4j 1。x在砖集群。Log4j 1。x是不再维护和有三个已知的cf (cve cve - 2021 - 4104 - 2020 - 9488,和cve - 2019 - 17571)。如果你的代码使用一个类(JMSAppender或SocketServer)的影响,你的使用可能会影响这些vulnerabilitie……

与集群政策instance_profile_arn设置为可选的

在本文中,我们审查的步骤创建一个集群策略AWS属性instance_profile_arn和它定义为可选的。这允许您启动一个集群与特定的AWS实例配置文件。你也可以开始一个集群没有实例配置文件。请注意你必须管理员用户为了管理集群政策。创建一个新的clust……

Apache火花不开始工作

问题无火花工作开始,司机日志包含以下错误:初始工作没有接受任何资源;检查集群的UI,以确保工人注册和有足够的资源导致这个错误可以发生在执行程序内存和火花的遗嘱执行人核显式地设置配置选项卡。这是一个桑普……

禁用自动终止集群在开始工作

集群问题你想开始一份工作,但这份工作创建失败,并显示一条错误消息。创建集群autotermination目前残疾人工作错误。导致工作集群自动终止,一旦工作完成。结果,他们不支持显式autotermination政策。如果你在集群包括autotermination_minutes波里……

意想不到的集群终止

有时一个集群是意外终止,而不是由于手动终止或配置自动终止。一个集群可以终止的原因很多。一些终端是由砖和其他由云提供商。本文描述了终止的原因和补救措施。砖ini……

如何配置单核执行人JNI库运行吗

当您创建一个集群,人均砖发射一个Apache火花executor实例的节点,和执行程序使用的所有核心节点。在某些情况下,例如,如果你想运行非线程安全的JNI库,您可能需要一个执行者,只有一个核心或任务槽,和不会尝试运行并发任务。在这个c…

如何在砖上覆盖log4j配置集群

警告本文描述的步骤与客户使用Log4j 1。x在砖集群。Log4j 1。x是不再维护和有三个已知的cf (cve cve - 2021 - 4104 - 2020 - 9488,和cve - 2019 - 17571)。如果你的代码使用一个类(JMSAppender或SocketServer)的影响,你的使用可能会影响这些vulnerabilitie……

Apache火花执行人内存分配

默认情况下,可用内存的数量为每个执行者Java虚拟机(JVM)中的分配内存堆。这是由spark.executor控制。记忆的财产。然而,一些意想不到的行为观察实例分配大量的内存。jvm内存大小,规模问题与垃圾collecto…

Apache火花UI显示小于总节点内存

问题引发的执行人选项卡界面显示更少的内存比实际上是可用的节点上:AWS m4。超大实例(16 GB的ram, 4核心)司机节点,显示了执行人4.5 GB内存选项卡。m4。大型实例(8 GB ram, 2芯)对于司机节点,显示执行人选项卡上的710 MB内存:Azure f8实例(16 GB, 4核心)f……

配置一个集群使用一个自定义的国家结核控制规划服务器

在默认情况下砖国家结核控制规划服务器集群使用公共的。这是足够的对于大多数用例,但是您可以配置一个集群使用一个自定义的国家结核控制规划服务器。这并不需要一个公共服务器国家结核控制规划。它可以是一个私人国家结核控制规划服务器在你的控制之下的。一个常见的用例是为了尽量减少您的集群的网络流量。更新新台币……

使GCM密码套件

使用砖砖集群运行时9.1 LTS下面没有GCM(伽罗瓦/计数器模式)密码套件默认启用。您必须启用GCM密码套件集群连接到外部服务器上,需要GCM密码套件。本文信息适用于集群使用砖运行时LTS LTS 7.3和9.1。砖Runti……

在init脚本中启用重试

Init脚本通常用于配置数据砖集群。有些情况你可能想在一个init脚本实现重试。init脚本这个示例init脚本例子向您展示了如何实现一个基本的复制操作重试。您可以使用该示例代码为基础实现重试的init脚本。% scala…

无法读取审计日志由于重复的列

问题你想读udit日志和得到一个AnalysisException:发现重复的列(s)错误。spark.read.format (json) .load (“dbfs: / / mnt / logs / < path-to-logs > /日期= 2021-12-07 ")/ / AnalysisException:发现重复的列数据模式(s): < some_column >的原因从2021年11月到2021年12月,数量有限的数据…

不能设置一个自定义PYTHONPATH环境

问题当你试图设置一个自定义到PYTHONPATH环境变量在一个集群级init脚本,但值覆盖在司机启动。导致一个init脚本设置一个自定义的PYTHONPATH不工作,不支持。另外,你不能设置一个自定义的PYTHONPATH当使用砖容器服务。解你…

使用iptables访问EC2元数据服务器

问题你想访问您的EC2实例的元数据服务器但不能连接。因为这是预期的,违约行为。它是功能设计。解决方案使用init脚本应用定制iptables砖集群配置使访问元数据服务器。定义一个位置来存储init sc……

您的集群上运行自定义数据砖运行时

大多数砖客户使用生产砖的运行时版本(AWS | Azure | GCP)集群。然而,可能有某些时候你被要求提出一个支持后运行一个定制的砖运行时的票。警告定制砖运行时图像创建特定的,短期的修复和边界情况。如果一个cust……

集群init脚本错误失败与镜像同步进步

问题您正在使用一个定制的init脚本运行在集群开始安装一个自定义库。它工作的大部分时间,但你遇到间歇性故障当apt-get更新在init脚本运行。失败返回一个镜像同步过程中的错误消息。未能获取网站https://repos。< >.com/zulu/deb/dists/stable/main/binary-a..。

使用审计日志来识别谁删除一个集群

默认情况下,通用的集群配置删除集群最后终止后30天。可以保持集群配置超过30天,如果管理员别针集群。在两种情况下,管理员可以手动删除集群配置。如果你尝试运行工作……

销集群配置使用API

通常,集群配置自动删除集群最后终止后30天。如果你想保持特定的集群配置,你可以销。100集群可以固定。固定集群不会自动删除,但是它们可以手动删除。信息你必须是一个砖管理员销cl……

拔掉集群配置使用API

通常,集群配置自动删除集群最后终止后30天。如果你想保持特定的集群配置,你可以销。100集群可以固定。如果你不再需要一个固定的集群中,你可以拔掉它。如果你有固定100集群,必须拔掉一个集群之前销anot……

定制的码头工人集群上R命令失败

问题你想定制的码头工人集群上运行R笔记本(AWS | Azure),但是他们立即失败。当你试图执行一个笔记本,它返回一个错误说笔记本被取消了。当你回顾集群司机和工人日志(AWS | Azure)你看到一个没有包称为“Rserve”错误。2022年8月30日16:24:34 UTC星期二…

附加到一个DataFrame

附加到一个DataFrame,使用欧盟方法。% scala val firstDF = spark.range (3) .toDF (“myCol”) val启动= Seq (20) val附加= firstDF.union (newRow.toDF())显示(附加)% python firstDF = spark.range (3) .toDF (“myCol”)启动= spark.createDataFrame([[20]])附加= firstDF.union(启动)显示(附加)…

如何提高性能与用桶装吗

用桶装在Apache火花SQL是一种优化技术。数据分配在指定数量的桶中,根据来自一个或多个用桶装列值。用桶装,从而改进了性能洗牌和排序数据表连接等下游业务之前。是初始的权衡开销洗牌和s…

如何处理blob数据包含在一个XML文件吗

如果你日志事件的XML格式,那么每个XML事件记录为base64字符串。为了运行使用Apache火花,对这些数据的分析需要使用spark_xml库和BASE64DECODER API将数据进行分析。问题需要分析base64编码字符串使用火花从xml格式的日志文件。例如……

简化链接转换

有时你可能需要执行多个转换DataFrame: % scala org.apache.spark.sql.functions进口。_进口org.apache.spark.sql。DataFrame val testDf = (1 - 10) .toDF (col) def func0 (Int x: = > Int y: Int) (: DataFrame): DataFrame = {。过滤器(' > x (y))} def func1上校(x: Int) (: DataFrame): DataFrame = {in.sele……

如何在CSV转储表、JSON、XML、文本或HTML格式

您想要发送你的砖砖以外的计算结果。您可以使用BI工具连接到您的集群通过JDBC和出口BI工具的结果,或保存您的表在DBFS或blob存储和复制数据通过REST API。本文介绍JSpark,一个简单的控制台工具执行SQL查询使用JDBC火花…

获取和设置Apache火花在笔记本配置属性

在大多数情况下,您将火花配置集群级别(AWS | Azure)。然而,可能存在这样的情况:您需要检查(或一组)特定的火花配置属性的值在一个笔记本上。本文向您展示了如何显示火花配置属性的当前值在一个笔记本上。它还向您展示了如何设置一个新的v…

蜂巢udf

本文将展示如何创建一个蜂巢UDF,注册在火花,火花SQL查询并使用它。这里有一个蜂巢UDF将长作为参数,并返回它的十六进制表示。% scala org.apache.hadoop.hive.ql.exec进口。进口org.apache.hadoop.io UDF。LongWritable / /这个UDF需要很长整数,并将其转换为十六进制…

当加入两个DataFrames防止复制列

如果你执行加入火花和不正确地指定您加入你会得到重复的列名。这使它更难选择列。本文和笔记本演示如何执行一个连接,这样你就不会有重复的列。加入如果你加入列列上,得到复制列。Scala % Scala val llist……

撤销所有用户权限

当用户权限明确授予单独的表和视图,选中的用户可以访问这些表和视图,即使他们没有权限访问底层数据库。如果你想撤销用户的访问,可以使用撤销命令。然而,撤销命令显式,并严格限制的ob…

如何在砖和删除文件列表更快

场景假设您需要删除一个表分区的年,月,日,区域,和服务。然而,桌子上是巨大的,每个分区将会有大约1000的部分文件。你能列出在每个分区的所有文件,然后删除它们使用Apache火花工作。例如,假设您有一个表分区的,b,…

如何处理损坏的镶花的文件不同的模式吗

假设你有一个大问题本质上是独立的镶花文件列表,与各种不同的模式。你要读的只有那些文件匹配一个特定的模式和跳过不匹配的文件。一个解决方案可以按顺序读取文件,识别模式和联盟DataFrames在一起。然而,这种方法…

没有使用权限的数据库

问题您正在使用一个集群运行砖运行时7.3 LTS及以上。你表启用访问控制您的工作区(AWS | Azure | GCP)作为管理用户,并授予SELECT权限标准的次用户组需要访问的表。一个用户试图访问一个对象数据库中,抛出SecurityException错误我……

null和空字符串在分区列保存为null

问题如果你保存数据包含空字符串和null值在表的一列是分区的,后两个值成为零写作和阅读。为了说明这一点,创建一个简单的DataFrame: % scala org.apache.spark.sql.types进口。_进口org.apache.spark.sql.catalyst.encoders。RowEncoder val data = Seq(行(" ")……

randomSplit方法的行为

当使用randomSplit DataFrame,你可能会观察到不一致的行为。这里有一个例子:% python df = spark.read.format (inconsistent_data_source) .load () a, b = df.randomSplit ([0.5, 0.5]) a.join(广播(b),在=“id”,如何=“内在”).count()通常这个查询返回0。然而,根据基础数据源或输入…

工作失败当使用Spark-Avro十进制值写入AWS红移

问题5砖运行时版本。x和,当亚马逊写小数红移使用Spark-Avro作为默认临时文件格式,要么写操作失败的例外:错误(代码1207),数据加载到红移:“无效的数字,值”,Pos 0,类型:小数”或写操作写null的……

从用例类生成模式

火花提供了一种简便的方法来生成一个模式从一个Scala类。case类,使用方法ScalaReflection.schemaFor[一].dataType.asInstanceOf [StructType]。例如:% scala org.apache.spark.sql.types进口。StructType org.apache.spark.sql.catalyst进口。ScalaReflection case类(关键:字符串,时间:java.sql。时间戳,日期:java ....

如何指定斜在数据集和DataFrame-based加入命令提示吗

当您执行一个连接命令DataFrame或数据集对象,如果你发现困在查询完成少量的任务由于数据倾斜,您可以指定的斜提示提示(斜)方法:df.hint(“斜”)。倾斜连接优化(AWS | Azure | GCP)上执行指定的DataFrame斜提示。在…

如何更新嵌套列

火花不支持添加新的列或删除现有列嵌套结构。特别是,withColumn放数据集类的方法不允许您指定一个列名不同于任何顶级列。例如,假设您有一个数据集与以下模式:% scala val模式=(新StructType)。…

不兼容的模式在一些文件

问题引发的工作失败读取拼花时异常如下文件:在SQL语句错误:SparkException:工作阶段失败而终止:任务20阶段11227.0失败了4次,最近的失败:在舞台上失去了任务20.3 11227.0 (TID 868031、10.111.245.219执行人31):. lang。UnsupportedOperationException:方式org.a……

拒绝访问当编写一个使用抽样S3 bucket

问题写一个S3 bucket使用抽样失败。司机节点可以写,但工人(执行者)节点返回一个拒绝访问错误。写作与DataFrame API,但是效果很好。例如,假设你运行以下代码:% scala . io .进口java文件导入。进口org.apache.spark可序列化的。{SparkConf, SparkContext}小鬼……

无效的数据加载到亚马逊红移时的时间戳

问题当你使用spark-redshift写操作时间戳数据保存到亚马逊红移,就可能发生以下错误,如果时间戳数据包括时区信息。错误(代码1206),数据加载到红移:“无效的时间戳格式或价值(YYYY-MM-DD HH24: MI: SSOF]”导致红移表是使用飞机时间戳数据…

兽人无法推断出模式的错误

问题你想读兽人文件从一个目录,当你得到一个错误信息:org.apache.spark.sql。为兽人AnalysisException:无法推断出模式。它必须手动指定。导致无法推断出兽人时发生错误的模式定义的模式不是和Apache火花不能推断出模式由于:一个空的目录。我们……

对象所有权改变删除和重新创建表上

问题的SQL对象的所有权变更后删除和重新创建它们。这会导致工作失败由于权限问题。因为在砖LTS 7.3运行时,当工作运行表acl关闭,任何行动,和重新创建表或视图保存表acl是上一次的工作是运行表交流……

用户没有权限选择任何文件

蜂巢问题你想创建一个外部表,但是要得到一个用户没有选择任何文件许可错误消息。. lang。SecurityException:允许用户没有选择任何文件。表访问控制(AWS | Azure GCP) |启用您的集群和你不是一个管理员。因为砖SQL查询分析器的e…

在JSON数据集创建表

在本文中,我们介绍如何创建一个表在使用SerDe JSON数据集。下载JSON SerDe罐子打开hive-json-serde 1.3.8下载页面。单击json-serde-1.3.8-jar-with-dependencies。jar json-serde-1.3.8-jar-with-dependencies.jar下载文件。信息可以查看Hive-JSON-Serde GitHub回购有关JAR的更多信息…

删除表底层S3 bucket时删除

问题表你想放弃或改变当你得到一个错误。错误的SQL语句:IOException: Bucket_name…不存在你可以复制错误删除表或ALTER TABLE命令。% sql DROP TABLE < database-name.table-name >;% sql ALTER TABLE <数据库名称。表名称>设置位置“<文件系统的位置>”;…

当安装或访问Azure Blob存储失败

问题当你试图访问一个已经创建挂载点或创建一个新的挂载点,它失败的错误:. lang WASB:失败。NullPointerException造成这个错误可以发生在根山路径(/ mnt /等)也安装blob存储。运行以下命令检查如果根路径也安装:% python dbutils.f…

无法读取文件和目录列表WASB文件系统

问题,当你试着读一个文件在WASB火花,得到以下例外:org.apache.spark。SparkException:工作阶段失败而终止:任务0阶段1.0失败了4次,最近的失败:在舞台上失去了任务0.3 1.0 (10.139.64.5 TID 19日,执行人0):shaded.databricks.org.apache.hadoop.fs.azure.AzureException: com.microsoft.a…

优化从JDBC数据源读取性能

问题从外部JDBC数据库读取数据是缓慢的。我该怎样才能提高读取性能?解决方案见砖文档中详细讨论如何优化性能时读取数据(AWS | Azure | GCP)从外部JDBC数据库....

故障排除JDBC / ODBC访问Azure数据存储Gen2湖

问题信息在一般情况下,您应该使用砖运行时5.2及以上,其中包括一个内置的Azure Blob文件系统(沛富)司机,当你想访问Azure数据存储Gen2湖(ADLS Gen2)。本文适用于用户访问ADLS Gen2存储使用JDBC / ODBC。当您运行一个SQL查询从JDBC、ODBC客户端交流……

CosmosDB-Spark连接器图书馆冲突

这篇文章解释了如何解决一个问题运行应用程序,使用砖CosmosDB-Spark连接器的环境。问题通常如果你添加一个Maven依赖火花集群,应用程序应该能够使用所需的连接器库。但目前,如果你简单地指定CosmosDB-Spark连接器的Maven co-ord……

故障检测在JSON编码

问题引发工作不包含消息的一个例外:无效的utf - 32字符0 x1414141 char # 1(以上10飞行符),在org.apache.spark.sql.catalyst.json.JacksonParser字节# 7)。解析导致JSON数据源读者能够自动检测输入使用BOM JSON文件的编码文件的开始。然而,BOM并不是……

不一致的时间戳与JDBC应用程序结果

问题与砖在使用JDBC应用程序集群java.sql不一致。时间戳的结果之间切换时的标准时间和夏令时。默认情况下导致砖集群使用UTC。java.sql。时间戳使用JVM的本地时区。如果一个砖集群作为字符串返回2021-07-12 21:43:08,JVM解析我…

卡夫卡与OffsetOutOfRangeException客户终止

问题一个Apache火花应用程序试图获取信息从一个Apache卡夫卡源时终止kafkashaded.org.apache.kafka.clients.consumer.OffsetOutOfRangeException错误消息。引起火花应用程序从卡夫卡试图获取过期数据偏移量。我们通常看到在这两个场景:Sc……

Apache火花JDBC数据源查询选项并不为Oracle数据库工作

问题当你使用Apache火花JDBC数据源的查询选择连接Oracle数据库,它失败与错误:java.sql。SQLSyntaxErrorException: ora - 00911:无效的字符为例,如果你运行下面的JDBC连接:% scala val df =火花。读.format (jdbc) .option (“url”,“< url >”) .option (…

访问红移与NullPointerException失败

问题有时当你读一个红移表:% scala val original_df = spark.read。格式(“com.databricks.spark.redshift”)。选项(“url”, url)。用户选项(“用户”)。选项(“密码”,密码)。选项(“查询”,查询)。选项(“forward_spark_s3_credentials”,真正的)。选项(“tempdir”、“路径”)。load ()……

红移JDBC驱动程序的冲突问题

问题如果您附加多个红移JDBC驱动程序到一个集群,并使用红移连接器,笔记本REPL SQLDriverWrapper错误消息可能会挂起或崩溃。19/11/14 01:01:44错误SQLDriverWrapper:致命的非用户错误扔进ReplId-9d455-9b970-b2042 . lang。NoSuchFieldError: PG_SUBPROTOCOL_NAMES com.amazon.redshi……

沛富客户端挂如果使用不正确的客户机ID或错误的路径

问题您正在使用Azure数据存储(ADLS)代湖。当你试图访问一个Azure Blob集群文件系统(沛富)路径从一个砖,命令挂起。启用调试日志,你可以看到以下的堆栈跟踪司机日志:造成的:. io .IOException:服务器返回的HTTP响应代码:400的URL: https://login.microso..。

在Avro模式不允许递归引用

Apache火花问题返回一个错误当试图读取一个Apache Avro数据源如果Avro模式有一个递归引用。org.apache.spark.sql.avro。Avro模式IncompatibleSchemaException:发现递归引用,不能由火花引起火花处理SQL不支持递归引用一个Avro数据源因为……

当使用SQL访问控制错误雪花作为数据源

问题引发的雪花连接器用于读取数据,写入数据,雪花在砖工作期间。连接器让雪花看起来像另一个火花数据源。当你试图查询雪花,你得到一个SnowflakeSQLException错误消息。SnowflakeSQLException: SQL错误:访问控制权限不足……

不能从外部访问对象由砖砖

问题当您试图访问一个对象在一个S3位置由砖使用AWS CLI,以下错误发生:ubuntu@0213 - 174944 - clean111 - 10 - 93 - 15 - 150: ~ $ AWS S3 cp S3: / / <桶> / <位置> / 0 /δ/沙盒/ deileringDemo__m2 / _delta_log / 00000000000000000000。json。致命错误:发生错误(403)当调用H……

不能读取数据砖对象存储在DBFS根目录

问题一个拒绝访问错误回报当你试图阅读砖对象存储在DBFS在blob存储根目录外砖集群。因为这是正常的行为DBFS根目录。砖家的对象库和其他临时DBFS系统文件的根目录。砖是唯一的……

如何计算砖文件系统(DBFS) S3 API调用成本

DBFS S3 bucket的成本主要是由API调用的数量,其次,存储的成本。您可以使用AWS CloudTrail日志创建一个表,计算API调用的数量,从而计算出准确的成本API请求。获得以下信息。您可能需要联系您的AWS管理员获得…

如何指定DBFS路径

当使用砖你有时会需要访问的数据砖文件系统(DBFS)。访问DBFS是用标准的文件系统上的文件命令,然而语法变化取决于所使用的语言或工具。例如,采取以下DBFS路径:DBFS: / mnt / test_folder / test_folder1 / Apache火花引发下,你应该规范……

在附加操作不支持

问题要追加数据到一个文件保存在外部存储挂载点,并得到一个错误信息:OSError: [Errno 95]操作不受支持的。试图添加一个文件时发生错误从Python和r造成不支持直接附加和随机写熔丝v2,可用在砖矮子…

并行化文件系统操作

DBR版本:<列出所有适用的DBR版本>云版本:AWS, Azure作者:sandeep.chandran@www.neidfyre.com拥有团队:<地区+平台/火花>票务URL: <链接到原始Salesforce或Jira票>最后审核日期:7月21日2021 -阿施施辛格当bob体育客户端下载你需要加快复制和移动业务,它们并行是……

S3连接重置错误

问题您的Apache火花工作失败当试图S3操作。造成的错误消息:java.net.SocketException:连接重置出现在堆栈跟踪。堆栈跟踪例子从一个S3读操作:由:javax.net.ssl.SSLException:连接重置;请求ID: XXXXX,扩展请求ID: XXXXX,云提供商:AWS实例,我…

上传大文件使用DBFS API 2.0和PowerShell

使用砖REST API以编程方式与集群交互可以是一个伟大的方式来简化工作流程和脚本。API可以调用各种工具,包括PowerShell。在本文中,我们将看看一个例子DBFS把使用curl命令,然后向您展示如何使用PowerShe执行相同的命令……

Null列值显示为南

你的表有问题在一些列null值。当你查询的表在砖使用select语句,null值显示为null。当你查询的表使用相同的砖的SQL select语句,null值表现为南。%的sql select * from违约。<表名称>,<列名>是零Databric……

检索查询属于残疾用户

当砖SQL的用户从一个组织,查询用户所拥有的依然存在,但他们只看到那些已经拥有权限访问它们。砖的SQL管理可以将所有权转让给其他用户,以及删除警报,指示板和查询属于禁用用户帐户。克隆一个查询砖……

工作超时当连接到一个JDBC SQL端点

问题你有一份工作,阅读和写作是一个SQL端点通过一个JDBC连接。SQL仓库无法执行的工作,你会得到一个java.net.SocketTimeoutException:读取超时错误消息。2022/02/04 17:36:15——TI_stg_trade。0- Caused by: com.simba.spark.jdbc42.internal.apache.thrift.transport.TTransportException: java.net.S...

缓慢在抓取结果砖SQL

问题砖SQL使用云获取提高查询性能。这是默认情况下完成的。而不是使用单线程查询,云获取从云存储检索数据并行桶(如AWS S3和Azure湖数据存储)。与标准相比,单线程获取,您可以看到使用…增加10倍性能

Apache在DBConnect引发会话是null

问题你想使用砖连接运行您的代码(AWS | Azure | GCP)当你得到一个sparkSession零错误消息。. lang。AssertionError:断言失败:sparkSession零而试图executeCollectResult scala.Predef . assert (Predef.scala: 170)美元org.apache.spark.sql.execution.SparkPlan.executeCollectResult (…

砖与砖版本错误报告运行时连接6.4

问题你和砖使用砖连接的客户端运行时6.4和收到一条错误消息,指出客户端不支持集群。引起的:. lang。IllegalArgumentException:集群运行服务器版本dbr - 6.4,但这个客户只支持组(dbr - 5.5)。你可以找到一个客户列表在ht释放…

未能创建过程与砖CLI在Windows的错误

问题而试图访问砖CLI (AWS | Azure | GCP)在Windows中,你会得到一个未能创建过程错误消息。因为这可能发生:如果砖CLI的多个实例上安装系统。如果Python路径在你的Windows系统包括一个空间。信息中有一个已知问题pip导致pip安装的年代……

GeoSpark未定义的函数与DBConnect错误

问题你想使用GeoSpark函数st_geofromwkt DBConnect (AWS | Azure | GCP)得到一个Apache引发错误消息。错误:org.apache.spark.sql。AnalysisException:未定义的功能:“st_geomfromwkt”。这个函数既不是注册临时函数也不是一个永久的函数注册数据库中的“默认”。T…

Apache配置在DBConnect火花

你可以随时查看火花配置(AWS | Azure | GCP)审查您的集群的集群在工作区中细节。如果您使用的是DBConnect (AWS | Azure | GCP)你可能想要快速回顾当前的火花配置细节没有切换到工作区UI。这个示例代码显示了如何获取当前的火花……

如何排序S3文件修改时间在砖笔记本吗

问题当你使用S3 dbutils工具列出文件位置,S3文件列表以随机的顺序。然而,dbutils没有提供任何方法根据文件修改时间排序。dbutils不列表修改时间。解决方案使用Hadoop文件系统API S3文件,如下所示:% scala进口org ....

无效的错误与气流运行作业时访问令牌

运行计划时气流砖的工作问题,你得到这个错误:无效的访问令牌:403年禁止运行错误原因通过气流或安排砖工作,您需要配置使用气流web UI砖的连接。下列不正确的设置会导致错误:设置主机字段数据砖我们…

在DBConnect ProtoSerializer栈溢出错误

问题您正在使用DBConnect (AWS | Azure | GCP)运行一个PySpark变换与超过100列DataFrame当你得到一个堆栈溢出错误。py4j.protocol。Py4JJavaError:调用o945.count时发生一个错误。:. lang。在java.lang.Clas StackOverflowError java.lang.Class.getEnclosingMethodInfo (Class.java: 1072)……

使用tcpdump创建pcap文件

如果你想分析节点之间的网络流量在一个特定的集群,您可以在集群上安装tcpdump和用它来pcap文件转储网络包的细节。pcap文件可以下载到本地机器上进行分析。创建tcpdump init脚本运行这个示例脚本在一个笔记本在集群上创建ini……

起程拓殖注册中心没有提供错误

问题你是安装砖起程拓殖的提供者(AWS | Azure | GCP)和得到一个砖提供者注册表错误。错误而安装hashicorp /砖:registry.terraform提供者注册中心。io命名registry.terraform没有提供者。io / hashicorp /砖造成的这个错误发生在required_providers块不是……

事务日志中引用一个文件无法找到

问题你的工作失败,并显示一条消息:一个事务日志中引用文件无法找到。堆栈跟踪例子:错误的SQL语句:SparkException:工作阶段失败而终止:任务0阶段6.0失败了4次,最近的失败:在舞台上失去了任务0.3 6.0 (TID 106 XXX.XXX.XXX。XXX,遗嘱执行人0):com.databricks.sql.io.FileRe…

不能删除数据在Eclipse中使用JDBC

问题你不能删除数据从三角洲表从你当地的Eclipse环境中使用JDBC。相同的删除操作在一个笔记本运行时工作。你可以连接到砖从当地的环境。一个select查询工作。整型数= namedlocalJdbcTemplate。queryForObject (“SELECT COUNT(*)从<表名称>”,新的MapSqlParamete…

比较两个版本的δ表

三角洲湖支持时间旅行,你可以查询旧三角洲表的快照。一个常见的用例是比较两个版本的三角洲表,以确定哪些改变。有关时间旅行的更多详细信息,请查看三角洲湖时间旅行文档(AWS | Azure | GCP)。识别所有的差异可以使用SQL SELEC……

转换从铺到三角洲湖失败

问题要拼花文件转换为三角洲湖文件。包含镶花的目录文件包含一个或更多的子目录。转换失败,错误信息:预计0分区列(s):[],但发现1分区列(s): [< column_name >]从解析文件名称:< path_to_the_file_location >…

达美航空合并不能解决嵌套的领域

问题你尝试三角洲与自动模式演化合并,但它与达美航空合并失败:无法解决“字段”由于数据类型不匹配的错误消息。因为这可能发生,如果你对嵌套列字段的更改。例如,假设我们有一个专栏叫地址字段streetName houseNumber,城市不…

删除你流查询检查点和重启

问题你的工作失败<价值>δ表不存在。请删除你的流媒体查询检查点和重启。错误消息。导致两种不同的流媒体资源配置使用相同的检查点目录。这是不受支持的。例如,假设流查询流数据从三角洲表,并使用导演……

δ缓存集群行为的自动定量多少

这篇文章是关于三角洲缓存(AWS | Azure | GCP)伸缩集群行为,根据需要添加或删除的节点。当一个集群缩减规模和终止节点:三角洲缓存行为以同样的方式作为一个抽样缓存。当一个节点出现故障,所有缓存数据的特定节点。三角洲缓存数据不是搬fr…

如何提高性能的三角洲湖并入查询使用分区修剪

这篇文章解释了如何触发分区修剪在三角洲湖并入(GCP) AWS | Azure |查询从砖。分区修剪是一种优化技术来限制分区的数量所检查的一个查询。讨论合并成与三角洲表使用时是一项昂贵的操作。如果你不分区底层…

最佳实践管理三角洲湖表

无论你如何删除管理表,它可以花大量的时间,这取决于数据大小。三角洲湖管理表中特定的元数据包含许多事务日志的形式,和它们可以包含重复数据文件。如果一个增量表已经使用了很长时间,这可以积累大量的数据…

在雅典娜HIVE_CURSOR_ERROR当读表

问题你在雅典娜和集成创建外部表使用说明与三角洲湖在转眼间,雅典娜三角洲湖集成文档。雅典娜的外部表中定义Apache蜂巢metastore。你运行一个select查询外部表从雅典娜查询编辑器,它返回一个HIVE_CURSOR_ERROR。HIVE_C……

编写三角洲湖表时拒绝访问S3

问题写DataFrame三角洲湖格式的内容到一个S3位置会导致一个错误:com.amazonaws.services.s3.model。AmazonS3Exception:禁止(服务:Amazon S3;状态码:403;错误代码:403禁止;请求ID: C827672D85516BA9;S3扩展请求ID:导致写操作涉及三角洲湖格式需要权限……

三角洲湖写工作与java.lang.UnsupportedOperationException失败

问题三角洲湖写工作有时失败有以下例外:. lang。UnsupportedOperationException:方式com.databricks.backend.daemon.data.client.DBFSV1。putIfAbsent(路径:路径、内容:InputStream)。DBFS v1不支持事务从多个集群写道。请升级到DBFS v2。或者你可以禁用多集群写道……

如何填充或更新现有的三角洲表中列

现有的差值表的问题,有一些空的列。你需要用数据填充或更新这些列原始文件拼花。解决方案在这个例子中,有一个客户表,这是一个现有的差值表。它有一个地址列用缺失值。更新后的数据存在于铺格式。创建一个从th DataFrame…

识别重复的数据添加操作

一个常见的问题在执行添加操作三角洲表重复数据。例如,假设用户1执行写操作在δ表a。与此同时,用户2三角洲上执行一个附加操作表答:这可能会导致重复的记录的表。在本文中,我们审查的基本故障排除步骤,您可以使用……

对象锁错误在编写三角洲湖表S3

问题你想执行一个三角洲写操作S3 bucket和得到一个错误消息。com.amazonaws.services.s3.model。亚马逊S3Exception: Content-MD5 HTTP header is required for Put Part requests with Object Lock parameters Cause Delta Lake does not support S3 buckets with object lock enabled. Solution You should use an S3 bucket that do...

优化三角洲沉在一个结构化的流媒体应用程序

您使用的是δ表作为结构化的流媒体应用程序的水槽和你想优化三角洲表以便提高查询的速度。如果您的结构化的流媒体应用程序有一个非常频繁触发间隔,它也不会带来足够的文件在每个microbatch资格获得压实。autoOptimize操作compac……

三角洲湖更新查询失败IllegalState例外

问题当你执行一个三角洲湖更新、删除,或合并查询使用Python udf的任何转换,不能用以下例外:AWS . lang。UnsupportedOperationException:方式错误的SQL语句:IllegalStateException:文件(s3a: / / xxx / table1)中被重写未找到候选人文件:s3a: / / xxx /表/部分- 000…

无法把字符串varchar

问题你想把一个字符串类型列varchar但它不工作。信息varchar数据类型(AWS | Azure | GCP)可在砖运行时8.0及以上。创建一个简单的三角洲表,与一列类型字符串。% sql创建或替换表delta_table1使用δ(“col1”字符串);使用显示表上新创建的助教……

真空零保留导致数据丢失

问题你添加数据到三角洲表,但没有预警数据消失。没有明显的错误消息。因为这可能发生当spark.databricks.delta.retentionDurationCheck.enabled设置为false,真空配置为保持0小时。% sql真空< name-of-delta-table >保留0小时或% sql真空delta. ' < delta_table_pa…

z值将是无效的,而不是收集统计数据

问题你想优化δz值表,收到一个错误不收集统计数据的列。AnalysisException: z值在[col1, col2]将是无效的,因为我们目前不为这些列收集统计数据。信息请查看z值(多维聚簇)(AWS | Azure GCP) |更多有限公司…

改变集群配置为三角洲住表管道

问题你用δ生活表和想要改变集群配置。你创建一个管道,但只有选项来启用或禁用光子并选择工人的数量。导致创建一个三角洲住表管道时,大多数参数配置了默认值。这些值不能被配置在管道我…

不同与相同的数据表用于相同查询时产生不同的计划

问题,假设您有两个三角洲表test_table_1 test_table_2。两个表有相同的模式,同样的数据量,相同的分区,并包含相同数量的文件。你在做一个连接转换与另一个δ表,test_table_join,一百万条记录。当您运行下面的连接查询使用test_table_1和test_……

允许空格和特殊字符与三角洲表嵌套列名称

问题是很常见的JSON文件包含嵌套的结构体列。嵌套列名在JSON文件中可以有空间之间的名字。当你使用Apache火花读或写JSON文件嵌套列名称中使用空格,你得到一个AnalysisException错误消息。例如,如果您试图读取JSON文件,评估DataFrame,…

三角洲写空文件当源是空的

问题三角洲写会导致创建空文件如果源是空的。这可能发生在一个正常三角洲或合并写入(AWS | Azure | GCP)操作。如果你的流媒体应用程序写入目标三角洲表和源数据是空的在某些微观批次,它会导致写作空文件到你的目标D…

三角洲生活表自动真空管道没有运行

默认支持auto-vacuum问题三角洲生活表。你设置一个增量表管道,但注意自动真空没有运行。导致三角洲生活表管道需要一个单独的维护集群配置(AWS | Azure | GCP)确保真空管道内设置自动运行。如果维护集群是n…

真空三角洲湖上的最佳实践

为什么要使用真空三角洲湖吗?真空是用来清理闲置和陈旧的数据文件占用不必要的存储空间。删除这些文件可以帮助降低存储成本。当您运行真空在三角洲表删除以下文件从底层文件系统:任何数据文件不是由三角洲湖删除过期…

优化只是支持表误差δ湖

δ表上运行优化问题和得到一个错误消息说它只是支持三角洲表。错误:“<数据库名称>”。“<表名称>”不是一个δ表。优化只是支持三角洲表。因为这可能发生,如果目标表的存储位置修改,表重新创建了一个新的存储……

区分活跃和死的工作

问题有太多的集群并行工作,你经常看到一些工作停留在火花UI没有任何进展。这复杂识别活动工作/阶段与死者的工作阶段。导致每当有太多并发工作一个集群上运行,有可能引发内部eventListenerBus…

火花与司机工作失败是暂时不可用

问题一个砖笔记本返回下列错误:司机暂时不可用这个问题可以间歇性的或不是。一个相关的错误消息是:失去了连接到集群。笔记本可能是分离的。引起此错误的一个常见原因是,司机正在内存瓶颈。当这种情况发生时,司机安全原料……

使用REST API如何删除所有工作

运行以下命令来删除所有工作在一个砖工作区。识别工作列表删除和他们在一个文本文件:% sh curl - x - u得到“无记名:<标记>”https:// < databricks-instance > / api / 2.0 /工作/列表| grep - o - p”job_id。{0,6}“| awk - f”:“{打印$ 2}> > job_id。三种运行一个循环中的curlcommand删除identif……

确定不使用工作

工作区有限制的数量可以在UI中显示的工作。目前的工作极限是1000。如果你超过工作极限,你收到QUOTA_EXCEEDED错误消息。“error_code”:“QUOTA_EXCEEDED”、“消息”:“配额的数量的工作。当前的限额是1000。这个配额只应用于岗位通过…

工作笔记本集群限制输出

问题是工作的集群上运行一个笔记本,你得到一个错误消息,表明输出太大。笔记本太大的输出。原因:rpc响应(20975548字节)超过20971520字节的限制导致这个错误消息可能发生在集群工作只要笔记本输出大于20 MB。如果你是你…

工作失败,但是Apache火花任务完成

问题你砖的工作报告失败的状态,但所有火花已经成功完成工作和任务。因为你有明确叫spark.stop()或system . exit(0)在您的代码。如果这些被称为,火花上下文是停止,但优雅的关闭和握手与砖的工作服务不会发生。解决方案做……

由于工作速率限制工作失败

问题砖笔记本或工作的API请求返回下列错误:错误:{“error_code”:“INVALID_STATE”、“消息”:“已经有1000个工作岗位创造了在过去的3600秒,超过速度限制:每3600秒创造1000个工作岗位。”}造成这个错误是因为就业人数每小时超过1000的极限建立了哒……

在覆盖模式下创建表失败时中断

问题当你尝试重新运行Apache火花写操作被取消当前运行工作,以下错误:错误:org.apache.spark.sql。AnalysisException:无法创建管理表(“testdb”。testtable”)。相关的位置(“dbfs: / user /蜂巢/仓库/ testdb。db / metastore_cache_ testtable)已经存在。;因为……

Apache火花工作挂由于不确定的自定义UDF

问题有时Apache火花岗位挂无限期的不确定性行为引发用户定义函数(UDF)。下面是这个函数的一个例子:% scala val convertorUDF = (commentCol: String) = > {# UDF定义}val translateColumn = UDF (convertorUDF)如果你调用这个UDF使用withColumn ()…

Apache火花工作失败未能解析字节字符串

问题Spark-submit工作未能解析字节字符串失败:1错误消息。java . util . concurrent。ExecutionException: . lang。NumberFormatException:大小必须指定为字节(b), kibibytes (k),对齐mebibyte (m), gibibyte (g), tebibytes (t)或pebibytes (p)。如50 b、100 k或250米。未能解析字节字符串:1在java.util.concurre…

Apache火花UI显示错误的就业人数

问题你是审查活动Apache火花工作一个集群的数量在火花UI,但太高,数量是准确的。如果你重新启动集群,乔布斯火花UI中显示的数量是正确的,但随着时间的推移,它变得异常高。引起火花UI并不总是准确的为大,或长时间运行,集群由于……

Apache火花工作与连接池关闭失败错误

问题引发的工作失败与错误消息. lang。IllegalStateException:连接池关闭当试图写入数据到一个δ表S3。导致火花工作写S3最大并发连接数是有限的。. lang。IllegalStateException:连接池时关闭这个连接池……

工作失败典型错误消息

问题你的工作运行失败与压制由于观察典型错误错误消息。集群成为遥不可及的在运行原因:xxx-xxxxxx-xxxxxxx压制是由于观察典型错误导致工作在这个集群有过多大的结果返回到Apache火花司机节点。结果,司机服务耗尽m…

Apache火花工作失败maxResultSize例外

maxResultSize异常问题引发工作失败:org.apache.spark。SparkException:工作阶段失败而终止:XXXX任务的序列化结果的总大小(X.0 GB)比spark.driver大。maxResultSize (X.0 GB)导致这个错误是因为配置的大小限制是超过。大小限制适用于总连载……

砖的工作失败因为库没有安装

问题砖工作失败,因为工作需要一个库,还没有安装,导致导入错误。导致错误发生,因为工作需要库安装前开始运行。如果你在集群上运行工作在以下的情况下,集群可以体验推迟安装库:当你开始一个……

工作失败由于数据湖Azure存储(ADLS)创建的限制

问题当您运行在Azure的工作涉及创建文件数据存储(ADLS)湖,Gen1或者代,发生下列异常:由于:. io .IOException:创建失败与错误0 x83090c25(文件和文件夹被创建的速度过高)。[745 c5836 - 264 - e - 470 - c - 9人私下偷偷收藏盒式c605f1c100f5]失败与错误0 x83090c25(文件和fo…

工作失败,无效的访问令牌

长时间运行的工作问题,如流媒体工作,失败后48小时内当使用dbutils.secrets.get () (AWS | Azure | GCP)。例如:% python streamingInputDF1 =(火花.readStream .format .table(“δ”)(“default.delta_sorce”)) def writeIntodelta (batchDF batchId): table_name = dbutil……

如何确保幂等性工作

当你提交工作通过砖工作REST API,幂等性是没有保证的。如果客户机请求超时和客户重新提交相同的请求,你可能最终得到重复的工作运行。确保工作幂等性当你提交工作通过API,您可以使用一个幂等性标记来定义一个独特的价值specif……

监控运行作业工作运行指示板

工作运行指示板是一个笔记本显示所有正在运行的工作信息在你的工作区。配置仪表板,您必须允许把一个笔记本一个通用集群在工作区中您希望监视。如果不存在一个通用的集群,您必须创建一个许可。一旦d…

流工作性能退化

问题你有流的工作有其性能降低。你开始一个新的流媒体工作相同的配置和相同的源,其性能优于现有的工作。原因与旧的检查点可以导致性能下降问题长期运行流工作。这可能发生,如果工作是间歇性哈…

任务反序列化时间很高

问题你的任务正在运行慢于预期。你审查阶段细节引发UI集群,看到任务反序列化时间高。导致Cluster-installed库(AWS | Azure GCP) |只安装在司机在集群启动时。这些库只安装在执行器当第一个任务……

传递参数到一个笔记本作为一个列表

没有直接的方式传递参数到一个笔记本作为字典或列表。你可以绕过这个限制通过序列化为JSON文件列表,然后将其作为一个参数。JSON文件传递给笔记本之后,您可以解析它json.loads ()。指令定义参数列表和将其转换为一个JSON文件。首先……

未提交的文件导致数据重复

问题你有一个网络问题(或类似的),一个写操作是在进步。你重新运行工作,但部分未提交的文件在运行造成不必要的数据重复失败。导致砖提交协议是如何工作的:DBIO提交协议(AWS | Azure | GCP)事务。文件后才提交反式……

多任务工作流使用不正确的参数值

问题在多任务工作流中使用键值参数是一个常见的用例。是很正常的并行运行多个任务,每个任务可以有不同的参数值相同的关键。这些键值参数在每个任务使用的代码和阅读。例如,假设您有四个任务:task1, task2, task3,和任务……

工作失败引发洗牌FetchFailedException错误

问题如果您的应用程序包含任何聚合或加入阶段,执行需要一个火花洗牌阶段。取决于所使用的特定的配置,如果你是一个交互式的集群上运行多个流查询你可能得到一个洗牌FetchFailedException错误。ShuffleMapStage未能最大允许的次数…

用户无法查看工作结果在使用远程Git源代码

问题您正在运行一个工作用笔记本存储在远程Git存储库中(AWS | Azure | GCP)。砖的用户可以查看权限(不是一个工作区管理或工作)的所有者不能访问或通过dbutils.notebook.run提交查看结果的短暂工作()从父母的笔记本。因为当工作能见度控制…

尝试多次运行单一的计划工作

问题你安排一份工作(GCP) AWS | Azure |每天运行一次,使用石英Cron语法,但工作试图在同一天多次运行。导致工作时配置,它是由手工输入预定cron语法和特殊字符*意外设置的秒值。这告诉cron调度程序运行……

增加每阶段的任务

当使用spark-xml包,您可以增加任务的数量每阶段spark.hadoop.mapred.max.split通过更改配置设置。集群中的大小到一个较低的值的火花配置(AWS | Azure)。这个配置设置控制输入块大小。当数据从DBFS读取,它分为输入模块,然后……

最大执行上下文或笔记本连接限制

问题的笔记本或作业执行停止并返回下列错误:运行结果不可用:作业失败与错误消息上下文ExecutionContextId(1731742567765160237)断开连接。不能把这个笔记本因为集群已达到连接笔记本的极限。分离一个笔记本并重试。因为当你把一个noteboo…

序列化任务太大

如果你看到下错误消息,你可以修复这个错误通过改变引发配置(AWS | Azure)当你开始集群。序列化任务XXX: XXX是XXX字节,超过最大允许:spark.rpc.message。最大尺寸(XXX字节)。考虑增加spark.rpc.message。最大尺寸或使用广播变量为大值。改变……

不能在卵子库导入模块

问题你想安装一个鸡蛋图书馆集群和它失败的消息,一个模块在图书馆不能进口。即使是一个简单的导入失败。进口sys egg_path = ' / dbfs / < path-to-egg-file > / < egg-file >。蛋sys.path.append (egg_path)进口shap_master导致这个错误消息发生由于图书馆是pac的方式……

不能从AutoGluon进口TabularPrediction

问题你想从AutoGluon进口TabularPrediction,但得到一个错误消息。ImportError:不能导入名称“TabularPrediction”从“autogluon”(未知位置)当autogluon安装通过笔记本或作为cluster-installed库(AWS | Azure | GCP)。你可以复制错误通过运行导入c…

最新PyStan不能安装在砖6.4运行时

问题你想安装PyStan PyPi上包砖6.4运行时扩展支持集群和ManagedLibraryInstallFailed错误消息。. lang。RuntimeException: ManagedLibraryInstallFailed: org.apache.spark。SparkException:进程列表(/砖/ python / bin /皮普,安装,pystan,——disable-pip-version-check)退出智慧……

库不可用导致工作失败

问题你正在启动工作,导入外部库,导入错误。工作原因节点重新启动时,工作失败,并显示以下错误消息:ImportError:没有模块名为XXX导致集群管理器是砖的一部分服务管理客户Apache火花集群。它发送命令来安装Python和R……

如何正确更新Maven库在砖吗

问题你让一个小更新库存储库中,但是你不想改变版本号为测试目的,因为它是一个小变化。当你把图书馆集群,您的代码变化不包括在图书馆。造成砖的一个优势是能够安装第三方或自定义天秤座……

Init脚本未能下载Maven JAR

问题你有一个init脚本试图安装一个通过Maven库,但它失败当试图下载JAR。https://repo1.maven.org/maven2/com/nvidia/rapids-4-spark_2.12/0.4.1/rapids-4-spark_2.12-0.4.1.jar%0D解决repo1.maven.org (repo1.maven.org)……151.101.248.209连接到repo1.maven.org (repo1.maven.org) | 151.101.248 ....

安装包使用前凹口快照

问题你想安装一个库包通过凹口,并得到一个图书馆安装失败的图书馆由于下文故障错误消息。库库安装失败,因为下文错一些(凹口{包:“< name-of-package >})。错误消息:. lang。RuntimeException:安装失败,信息:埃罗……

安装PyGraphViz

PyGraphViz Python库用于情节因果推理网络。如果你试图安装PyGraphViz标准库,不能由于依赖错误。PyGraphViz有以下依赖关系:python3-dev graphviz libgraphviz-dev pkg-config安装通过笔记本安装apt-get的依赖关系。% sh使用sudo apt-get安装- y python3-de…

安装Turbodbc通过init脚本

Turbodbc Python模块,使用ODBC接口来访问关系数据库。它依赖libboost-all-dev、unixodbc-dev python-dev包,需要安装。你可以手动安装这些,或者您可以使用一个init脚本自动化安装。创建init脚本运行这个示例脚本在noteboo……

不能卸载从UI库

问题通常,图书馆可以卸载集群UI。如果禁用复选框选择库,那么就无法卸载从UI库。因为如果你使用REST API创建一个库1.2版本,如果启用了auto-attach,图书馆所有集群上安装。在这个场景中,集群UI复选框……

在一个集群上安装Cartopy时错误

问题你想安装Cartopy集群上,你收到ManagedLibraryInstallFailed错误消息。. lang。RuntimeException: ManagedLibraryInstallFailed: org.apache.spark。SparkException:进程列表(/砖/ python / bin /皮普,安装,cartopy = = 0.17.0——disable-pip-version-check)退出代码1。错误:命令错误了…

在一个集群上安装pyodbc时错误

问题的错误发生在您使用pip安装pyodbc库。. lang。RuntimeException:安装失败,信息:收集pyodbc”库安装失败是因为缺少的依赖关系。sasl和thrift_sasl是可选依赖sasl或Kerberos支持”导致尽管sasl和thrift_sasl啊……

图书馆除了依赖失败

问题一个Python函数定义在一个定制的鸡蛋或轮文件和也依赖另一个满意的客户包安装在集群。当你调用这个函数,它返回一个错误,说不能满足要求。org.apache.spark。SparkException:进程列表(/ local_disk0 / pythonVirtualEnv……

由于瞬态Maven库失败的问题

工作失败因为库无法安装问题。图书馆决议失败了。原因:. lang。RuntimeException:无法下载一些图书馆由于瞬态Maven的问题。请稍后再试导致砖升级后,您的集群试图从Maven下载所需的库。下载后,库存储……

新工作失败当添加一个图书馆DBFS或S3

问题您创建一个新工作,试图从DBFS或S3存储添加一个图书馆。工作区UI返回一个错误。错误:未捕获TypeError:无法读取属性定义的concat重新加载页面并再试一次。如果错误仍然存在,请联系支持。点击重新加载页面并没有解决错误消息。因为这是一个已知的问题。修复……

阅读与xlrd .xlsx文件失败

问题你有xlrd安装在集群和正试图读取Excel .xlsx格式的文件,当你得到一个错误。XLRDError: Excel xlsx文件;不支持原因xlrd 2.0.0以上只能读取xls文件。支持.xlsx文件被撤xlrd由于一个潜在的安全漏洞。解决方案使用openpyxl打开.xl……

删除Log4j 1。x JMSAppender SocketServer类从类路径中

砖最近发表的博客在Log4j 2脆弱性(cve - 2021 - 44228)的研究和评估。砖不直接使用Log4j版本已知受此影响的脆弱性在砖平台在某种程度上我们理解可能是脆弱的。bob体育客户端下载砖也不影响使用Log4j 1类。x与已知vul……

替换默认库jar

砖包含一个默认的Java和Scala库的数量。可以替换任何这些库的另一个版本使用集群级init脚本删除默认库jar,然后安装你需要的版本。警告删除默认库和安装新版本可能会导致不稳定或完全打破你的D…

与AssertionError Python命令失败:错误的颜色格式

问题您运行Python笔记本和失败AssertionError之外:颜色格式错误消息。一个堆栈跟踪例子:文件“/ local_disk0 / tmp / 1599775649524 - 0 / PythonShell。py”, 39岁,从IPython.nbconvert.filters <模块>。ansi ansi2html文件导入“< importlib冻结。_bootstrap >”,第983行_find_and_load文件”<…

PyPMML失败找不到py4j jar错误

PyPMML问题是一个Python PMML得分图书馆。在安装PyPMML在砖集群中,不能Py4JError:找不到py4j jar错误。%从pypmml python导入模型modelb = Model.fromFile (/ dbfs / shyam / DecisionTreeIris.pmml)错误:Py4JError:找不到py4j jar导致这个错误发生由于依赖defa……

TensorFlow无法导入

问题TensorFlow安装在您的集群。当你试图导入TensorFlow,它与无效语法或导入失败错误。导致集群上安装版本的protobuf TensorFlow不兼容的版本。解决方案使用一个集群级init脚本安装TensorFlow匹配版本的NumPy和原型……

验证集群的Log4j版本

砖最近发表的博客在Log4j 2脆弱性(cve - 2021 - 44228)的研究和评估。砖不直接使用Log4j版本已知受此影响的脆弱性在砖平台在某种程度上我们理解可能是脆弱的。bob体育客户端下载如果您正在使用Log4j集群内(例如,如果您正在处理…

Apache火花工作失败与环境目录没有发现错误

问题在你安装一个Python库(通过集群UI或通过使用pip),您的Apache火花工作失败的环境目录未找到错误消息。org.apache.spark。SparkException:环境/ local_disk0 /目录未找到。ephemeral_nfs cluster_libraries / python引起库安装在一个网络文件系统(NFS) th…

使用砖回购的码头工人容器服务

介绍根据您的用例中,您可能想要使用这两个码头工人容器服务(DCS)和砖回购(AWS | Azure | GCP)在同一时间。DCS不使用默认砖回购的,但是您可以使用一个定制的init脚本使用。如果您还没有安装一个init脚本配置DCS与砖回购的可能…

将安装库从一个集群复制到另一个地方

如果你有一个高度定制的砖集群,您可能想要复制它,使用它为其他项目。当你克隆一个集群,只有Apache火花复制配置和其他集群配置信息。默认安装库不是副本。复制安装库,您可以运行一个Python脚本后克隆……

Conda未能从蟒蛇下载包

问题要从蟒蛇下载包存储库和PackagesNotFoundError错误消息。这个错误可能发生在使用% conda,或% sh conda笔记本,当使用conda init脚本。导致蟒蛇inc .)更新为repo.anaconda.com和anaconda.org/anaconda服务条款。基于水蟒……

从MLflow下载工件

默认情况下,MLflow客户节省工件工件存储URI在一个实验。工件存储URI / dbfs /砖/类似mlflow-tracking / < experiment-id > / / <运行id > /工件。这个工件商店MLflow管理的位置,所以你不能直接下载工件。您必须使用客户端。download_artifacts的……

如何提取特征信息基于树的Apache SparkML管道模型

当你安装一个基于树模型,如决策树,随机森林,或梯度提高了树,是很有帮助的,可以复习功能重要性水平随着功能的名字。通常模型在SparkML符合管道的最后阶段。从管道中提取相关特征信息树莫…

安装一个Apache SparkML模型抛出错误

问题砖时抛出一个错误的配件SparkML模型或管道:org.apache.spark。SparkException:工作阶段失败而终止:任务0阶段162.0失败了4次,最近的失败:在舞台上失去了任务0.3 162.0 (TID 168、10.205.250.130执行人1):org.apache.spark。SparkException:未能执行用户定义函数($ anonfu……

H2O。人工智能集群不可到达的苏打水

问题你想要初始化水。艾未未的苏打水上面的砖7.0运行时,当你得到一个H2OClusterNotReachableException错误消息。python导入ai.h2o.sparkling %。ai.h2o.sparkling.backend.exceptions _ val h2oContext = H2OContext.getOrCreate ()。集群X.X.X. H2OClusterNotReachableException:水X: 54321 - sparkling-water-ro……

如何执行组K-fold交叉验证与Apache火花

交叉验证随机分割训练数据到指定数量的折叠。为了防止数据泄漏,相同的数据出现在多个折叠可以使用组。scikit-learn支持组K-fold交叉验证来确保折叠是独特的和非重叠。火花spark-sklearn库可以使用,分发……

误差在导入OneHotEncoderEstimator

问题从砖迁移了一本笔记本运行时对机器学习或低于6.4砖7.3运行时机器学习或以上。您正试图导入OneHotEncoderEstimator得到导入错误。ImportError:不能导入名称从“pyspark.ml OneHotEncoderEstimator。功能的(/砖/火花/ python / pyspark / m…

MLflow项目无法访问Apache蜂巢表

问题你有MLflow项目无法访问一个蜂巢表并返回一个表或视图没有发现错误。pyspark.sql.utils。AnalysisException:“表或视图不发现:“违约”。“tab1”;1号线pos 21; \ n 'Aggregate [unresolvedalias(计数(1),没有一个)]\ n +——“UnresolvedRelation“违约”。tab1 \ n”mlflow xxxxx错误。cli: = = = (ID“xxxxx”)运行失败……

如何加快交叉验证

Hyperparameter调优的Apache SparkML模型需要很长时间,这取决于网格的尺寸参数。你可以提高性能的交叉验证步骤SparkML加快速度:缓存数据在运行任何功能转换或建模步骤之前,包括交叉验证。过程指的是数据多…

与maxNumConcurrentTasks Hyperopt失败错误

机器学习问题你是调优参数使用Hyperopt py4j当你的工作失败。Py4JException:方法maxNumConcurrentTasks([])不存在错误。您正在使用的砖运行时机器学习(砖运行时的ML)集群。导致砖运行时毫升的兼容版本Hyperopt预装(AWS Azure | |…

使用文档作为输入时不正确的结果

问题你有ML模型,文档作为输入,具体地说,一个字符串数组。你使用TfidfVectorizer等特征提取器将文档转换为一个字符串数组,数组中摄取到的模型。模型训练,预测发生在笔记本,但是模型服务不返回JS的预期结果……

错误当访问MLflow工件不使用MLflow客户机

MLflow实验权限(AWS | Azure)正在执行工件MLflow跟踪,使您能够轻松地控制访问您的数据,模型,和其他文件。无效的山异常问题当试图访问一个MLflow运行工件使用砖文件系统(DBFS)命令,比如dbutils。fs,得到以下错误:com ....

实验中使用自定义构件存储位置时发出警告

问题,当你创建一个MLflow尝试自定义工件位置,得到以下警告:引起MLflow实验权限(AWS | Azure | GCP)执行构件在MLflow跟踪,使您能够轻松地控制访问数据,模型,和其他文件。MLflow不能保证实施访问控制的基于“增大化现实”技术的…

实验使用遗留工件存储位置时发出警告

问题一个新的图标出现在MLflow实验页面下面的开放获取警告:引起MLflow实验权限(AWS | Azure | GCP)执行在MLflow跟踪工件,使您能够轻松地控制访问数据,模型,和其他文件。在MLflow 1.11及以上,新实验构件存储在一个MLflow-mana…

然而使用pyfunc返回ModuleNotFoundError或FileNotFoundError模型

问题您已经创建了一个使用KNeighborsClassifier Sklearn模型,使用pyfunc运行一个预测。例如:python导入mlflow %。pyfunc pyfunc_udf = mlflow.pyfunc。spark_udf(火花,model_uri = model_uri result_type = '字符串')predicted_df =合并。withColumn(“预测”,pyfunc_udf (* merge.columns [1:])) predicted_df.collect()预测……

OSError当访问MLflow实验工件

问题你得到一个OSError:没有这样的文件或目录错误消息当试图下载或日志构件使用下列之一:MlflowClient.download_artifacts () mlflow。(味道).log_model () mlflow。(味道).load_model () mlflow.log_artifacts () OSError:没有这样的文件或目录:/ dbfs /砖/ mlflow-tracking / < experiment-id > / <运行-…

PERMISSION_DENIED错误当访问MLflow实验工件

问题你得到一个PERMISSION_DENIED错误当试图访问一个MLflow工件使用MLflow客户端。RestException: PERMISSION_DENIED:用户> <用户没有权限视图的id < experiment-id >或RestException实验:PERMISSION_DENIED:用户> <用户没有权限编辑的实验id <前女友…

在机器学习Python命令失败集群

问题您正在使用一个砖集群运行时对机器学习和Python的笔记本是失败的。你日志中发现一个无效的语法错误。SyntaxError:无效语法文件“/ local_disk0 / tmp / 1593092990800 - 0 / PythonShell。py”,第363行def __init__(自我,* args, condaMagicHandler = None, * * kwargs):导致/etc/environmen键值……

运行不嵌套在Hyperopt启用SparkTrials时

Hyperopt SparkTrials问题是一个扩展,它允许运行分布式引发工人。当你开始一个MLflow运行工人函数嵌套= True,结果应该是嵌套的父母下运行。有时候结果不正确嵌套在父母来看,即使你跑SparkTrials与嵌套= True…

MLflow无效访问令牌的错误

问题在你的笔记本长期MLflow任务或工作任务没有完成。相反,他们返回一个错误消息(403)无效的访问令牌。错误堆栈跟踪:MlflowException: API请求的端点/ API / 2.0 / mlflow /运行/创建失败,错误代码403 ! = 200。身体反应:“< html > <头> < meta data-fr-htt……

自动定量与外部metastore缓慢

问题外部metastore集群配置和启用自动定量,但集群不是有效的自动定量。因为你将metastore jar复制到每一个执行者,当他们只需要在司机。需要时间来初始化和运行jar每次新遗嘱执行人旋转起来。因此,添加更多的前女友……

数据太长列的错误

问题你想插入一个表结构,但你会得到一个java.sql。SQLException异常:数据太长列的错误。引起的:java.sql。SQLException异常:数据太长列“TYPE_NAME”在第一行查询的方法是:插入COLUMNS_V2 (CD_ID,评论,“COLUMN_NAME”、TYPE_NAME INTEGER_IDX)值(?,?,?,?,?),参数(103182年,《零》,地址…

减少数据库没有删除

默认情况下,删除数据库(GCP) AWS Azure | |命令滴与数据库相关的数据库和删除目录的文件系统。有时你可能想把数据库,但保持底层数据库目录的完整。示例代码可以使用这个示例代码将数据库而不删除底层大…

如何创建表ddl导入外部metastore吗

砖支持使用外部metastores而不是默认的蜂巢metastore。您可以导出所有表元数据从外部metastore蜂巢。使用Apache目录火花API列表中包含的数据库中的表metastore。使用显示创建TABLE语句生成ddl并将它们存储在一个文件中。使用文件……

从metastore下降与损坏的元数据表

问题有时你不能删除一个表的数据砖UI。使用% sql或火花。sql drop table不起作用。使元数据(表模式)存储在metastore损坏。运行Drop table命令时,火花检查表是否存在或不删除表之前。从表的元数据损坏火花c…

与外部蜂巢metastore错误创建表

问题你是连接到一个外部MySQL metastore和试图创建一个表,当你得到一个错误。AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: MetaException(信息:是抛出一个异常时添加/验证类(es):(康涅狄格州= 21)列长度太大列“PARAM_VALUE”(max = 16383);使用BLOB或TE……

AnalysisException当删除表Azure-backed metastore

问题当你试图在一个外部表蜂巢2.0或2.1版本metastore部署到Azure SQL数据库,数据砖扔以下例外:com.databricks.backend.common.rpc.DatabricksExceptions SQLExecutionException美元:org.apache.spark.sql。AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: MetaException (…

如何解决几个Apache蜂巢metastore问题

问题1:外部metastore表没有检查司机的日志时,你看到一个堆栈跟踪,包括所需的错误表缺失:警告查询:查询org.apache.hadoop.hive.metastore.model的候选人。MDatabase和子类导致不需要可能的候选人表缺失:“星展”目录”“模式”。DataNu……

清单表名

问题获取的所有表名metastore您可以使用spark.catalog.listTables()或% sql显示表。如果你观察期间获取的细节你可以看到spark.catalog.listTables()通常花费的时间超过% sql显示表。导致spark.catalog.listTables()试图获取每个表的元数据,然后显示reque……

如何设置嵌入式Apache蜂巢metastore吗

您可以设置一个砖使用嵌入式metastore集群。您可以使用一个嵌入式metastore当你只需要保留在集群的生命表的元数据。如果重新启动集群,元数据丢失。如果你需要持久存储表的元数据或其他数据在集群启动之后,那么你应该使用默认metastore啊……

日本在外部metastore字符支持

问题你想在你的表中使用日文字符,但越来越错误。创建一个表的选项关键字选项提供了额外的元数据表。你试着创建表选项和utf8mb4指定字符集。% sql创建表默认。JPN_COLUMN_NAMES(“作成年月”字符串,“計上年月”字符串,“所属コード”字符串,“生保代理店コード_8……

拼花时间戳需要蜂巢metastore 1.2或以上

问题你想创建一个拼花表使用时间戳,但你得到一个错误消息。执行的SQL语句的错误:QueryExecutionException:失败:错误,返回代码从org.apache.hadoop.hive.ql.exec.DDLTask 1。. lang。UnsupportedOperationException:方式拼花不支持时间戳。看到蜂巢- 6384示例代码% sql创建走读生…

如何探索Apache火花引发听众指标

Apache火花提供了一些有用的内部听众跟踪指标任务和工作。在开发周期中,例如,这些指标可以帮助你理解何时和为什么需要很长时间才能完成的任务。当然,你可以利用火花或历史UI中看到的信息为每个任务和阶段,但也有一些道……

如何使用Apache火花指标吗

本文给出一个示例如何监视Apache使用火花引发组件可配置的指标体系。具体地说,它显示了如何设置一个新的源和使一个水槽。火花的详细信息组件可用于度量收集,包括水槽开箱即用的支持,遵循上面的文档链接。正……

访问S3提供临时会话凭证

您可以使用我会话令牌使用Hadoop配置支持访问S3存储数据砖运行时8.3及以上。信息不能挂载S3路径DBFS山当使用会话凭证。您必须使用S3A URI。从集群中提取会话凭证从集群中提取会话的凭证。你需要实例…

不能使用我的角色与表ACL

问题你想用我的角色当表启用了acl,但你得到一个错误凭证说不能。NoCredentialsError:无法找到凭证导致当一个表启用了ACL, EC2实例元数据服务的访问。这是一个安全措施,防止用户获取我访问凭证。索尔……

使生成的笔记本

生成客户端库,允许您执行所有AWS S3操作从任何机器。生成并不是默认安装在砖集群。你必须安装它通过集群级init脚本可以使用之前。信息示例init脚本存储路径环境变量的一个秘密。你应该以这种方式存储秘密……

如何检查如果火花属性修改的笔记本吗

您可以调整应用程序通过设置不同的配置问题。某些配置必须设置集群级别,而一些设置在笔记本或应用程序。解决方案,以检查是否一个特定的火花配置可以设置在一个笔记本,笔记本电池运行以下命令:% scala spark.conf.isModifiable (“spark.databrick…

JSON读者解析值为零

问题你是试图读取JSON文件。你知道文件数据,但是Apache火花JSON读者返回一个null值。示例代码可以使用这个示例代码来重现该问题。创建一个测试在DBFS JSON文件。% python dbutils.fs.rm (“dbfs: / tmp / json / parse_test.txt”) dbutils.fs.put (“dbfs: / tmp / json / parse_test。txt”、“”“{…

常见的错误在笔记本

有一些使用笔记本电脑时出现的常见问题。本节概述了一些常见问题和最佳实践,您应该遵循。. lang火花工作失败。NoClassDefFoundError有时候你可能会遇到一个错误:% scala . lang。行..... NoClassDefFoundError:无法初始化类读这个c美元……

显示()没有显示正确微秒

问题你想显示一个时间戳值以微秒级精度,但是当你使用显示()它不显示值过去毫秒。例如,Apache火花SQL显示()命令:% SQL显示(火花。sql(“选择演员(2021 - 08 - 10 t09:08:56.740436的时间戳)作为测试”))返回一个截断值:2021 - 08 - 10 - t09:08:56.740 + 0000因为……

错误:收到命令对象id p0 c

进口Python库的问题,但是当你试图执行Python代码在一个笔记本你重复信息作为输出。信息:py4j。java_gateway:收到命令c对象id p0信息:py4j。java_gateway:收到命令c对象id p0信息:py4j。java_gateway:收到命令c对象id p0信息:py4j。java_gateway:收到命令……

当访问或安装存储失败

问题你想访问现有的挂载点,或创建一个新的挂载点,它失败,并显示一条错误消息。无效的山例外:后端无法获得路径/ mnt的令牌。导致根山路径(/ mnt)也安装一个存储位置。你可以确认安装的根路径列出所有挂载点……

项目太大出口

问题你想出口笔记本电脑使用工作区UI和得到一个错误消息。这个项目太大出口。尝试出口较小或更少的物品。导致笔记本大于10 MB的文件大小。解决问题最简单的解决方案就是限制大小的笔记本或文件夹,你想下载10 MB或…

访问所拥有的笔记本用户删除

当你删除一个用户(AWS | Azure)从砖,在工作区中创建一个特殊的备份文件夹。这个备份文件夹中包含的所有用户的内容删除。备份文件夹出现在工作区中删除<用户名> - Backup—#。信息只有管理员用户可以访问一个备份文件夹。访问一个备份文件夹:登录砖作为一个…

由于文件大小限制笔记本自动保存失败

问题笔记本自动保存失败,并显示以下错误消息:未能保存修订:笔记本大小超过限制。这是最常见的引起的细胞与大的结果。删除一些细胞或把笔记本。导致最大笔记本大小允许自动保存8 MB。先解决方案,使用你的br检查你的笔记本大小的文件……

如何发送电子邮件或短信从砖笔记本

你可能需要发送一个通知从砖一组接收者笔记本。例如,您可能想要发送电子邮件匹配基于业务规则或基于命令的成功或失败。本文描述了两种方法来发送电子邮件或短信从一个笔记本。这两个示例使用Python笔记本:发送电子邮件或短信重新…

取消后不能运行笔记本命令流细胞

问题在你取消流式细胞在一个笔记本上运行砖5.0集群运行时,你不能在笔记本上运行任何后续命令。剩下的命令在“等待”状态,你必须明确的笔记本的状态或分离,再植集群才能成功地在笔记本上运行命令....

故障排除反应迟钝的Python笔记本或取消命令

本文概述了故障排除步骤可以采取一个笔记本是反应迟钝或取消命令。检查metastore连接性问题简单的命令在新附加笔记本失败,但成功的笔记本电脑连接到相同的集群。故障排除步骤检查metastore连接。无法……

更新工作为多个用户权限

当你运行作业时,您可能想要更新多个用户的用户权限。为此,您可以使用砖工作权限的API (AWS | Azure | GCP)和Python代码。指令示例代码复制到一个笔记本。进入<作业id >(或多个作业ids)[]的arr数组。输入载荷{}。在这种服务……

服务主体不能创建访问令牌

问题你想创建一个令牌代表一个服务主体,使用/ 2.0 /令牌管理/代表/令牌在REST API,但越来越PERMISSION_DENIED错误。{“error_code”:“PERMISSION_DENIED”、“消息”:“用户xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx没有权限使用令牌。”} Cause This happens when the servic...

生成浏览器HAR文件

当故障诊断界面问题,有时需要获得额外的信息在您的浏览器中生成的网络请求。如果这是必要的,我们的支持团队将让你生成一个哈尔文件。本文描述了如何生成一个哈尔文件,每个主要的web浏览器。警告HAR d文件包含敏感……

恢复删除垃圾笔记本

DBR版:这适用于工作区UI,因此分开DBR版本。类别:笔记本电脑二级类别:<二级类别列表,如果适用>云版本:AWS, Azure, GCP作者:vivian.wilfred@www.neidfyre.com拥有团队:<印度+平台>票务URL: <链接到原始Salesforce或Jira票>最后里维…bob体育客户端下载

得到工作空间配置细节

本文解释了如何显示完整的砖工作空间的配置细节。这可能是有用的,如果你想查看配置设置和服务使您的工作区中。例如,您可以使用工作空间配置细节很快看到如果统一目录或联合身份验证上启用了y……

遍历所有工作在工作区中使用工作2.1 API

在砖工作API 2.0 (GCP) AWS | Azure |列表返回一个无限数量的职位描述。在乔布斯API 2.1 (AWS | Azure | GCP),这种行为已经发生了改变。现在命令返回一个列表最多25个工作,从最新到最古老的,。在本文中,我们向您展示如何手动工作区中的遍历所有的工作……

现在太多的执行上下文是开放的

问题你遇到以下错误消息当你试图把一个笔记本一个集群或工作失败。运行结果不可用:工作太多的失败与错误消息执行上下文现在是开放的。(限制目前设置为150)导致砖创建一个执行上下文,当你把一个笔记本一个集群。执行控制……

禁止当访问S3数据时发生错误

问题而试图访问S3数据中直接使用DBFS山或火花api,异常类似如下的命令失败:com.amazonaws.services.s3.model。AmazonS3Exception:禁止;请求ID: XXXXXXXXXXXXX,扩展请求ID: XXXXXXXXXXXXXXXXXXX,云提供商:AWS实例ID: XXXXXXXXXX(服务:Amazon S3;地位有限公司…

表创建失败与安全例外

问题您试图使用一个集群创建一个表,表启用了acl,但出现以下错误:错误的SQL语句:SecurityException:允许用户没有选择任何文件。造成这个错误发生在一个表ACL-enabled集群如果你不是管理员,您没有足够的权限来创建一个助教……

为服务主体访问令牌设置无限寿命

本文信息适用于集群AWS上使用砖运行时的11.2及以上。您正在使用砖服务主体的委托权限自动工具和系统。为了确保服务主体,砖建议创建一个服务主体的访问令牌。请检查创建一个砖访问托托…

连接重试失败需要很长时间

问题你试图访问一个表在一个偏远的HDFS位置或一个对象存储,您没有权限访问。SELECT命令失败,应该和它,但它不会很快失败。它需要十分钟,有时更多,返回一个ConnectTimeoutException错误消息。他们最终得到的错误信息:“……

审计日志搜索连接禁止IP地址

IP访问列表可以用来限制访问砖基于已知的网络位置。一旦启用,IP访问列表中需要使用允许的登录地址。如果用户试图登录任何IP地址而不是访问列表,登录被拒绝。审查的IP访问列表文档以了解更多的细节。最佳实践涉及体育……

不支持添加输出没有水印

问题您正在执行一个聚合使用append模式和异常返回错误消息。添加输出模式不支持当流聚合流DataFrames /数据集没有水印导致您不能使用Append模式聚合DataFrame没有水印。这是通过设计。解决方案必须施加一个……

不支持Apache DStream火花

问题你正试图用一个火花离散流(DStream)砖流的工作,但是工作是失败的。导致DStreams由砖和DStream API不支持。解决方案而不是使用火花DStream,你应该迁移到结构化流。检查生产的砖结构的流(AWS | Azure |…

流与文件水槽:复苏的问题如果你改变检查点或输出目录

当你流数据到一个文件中,你应该总是一起改变检查点和输出目录。否则,你可以得到故障或意外的输出。Apache火花输出目录内创建一个文件夹命名为_spark_metadata。这个文件夹包含写前每批次运行日志。这就是火花就只有一次guarant……

得到文件的路径被自动加载程序

当你处理流媒体文件自动加载程序(AWS | Azure | GCP),事件记录基于底层存储中创建的文件。本文向您展示如何添加每个文件名的文件路径的新列DataFrame输出。一个用例是审计。当文件被吸收到分区的文件夹结构我…

如何设置Apache卡夫卡砖吗

本文解释了如何设置Apache卡夫卡在AWS EC2机器上并连接砖。以下是所需的高水平的步骤创建一个卡夫卡集群,从砖笔记本连接。步骤1:创建一个新的VPC在AWS当创建新的VPC,设置新的VPC CIDR范围不同的砖VPC CIDR范围……

处理分区列值时使用一个SQS队列作为流源

问题如果在S3中存储的数据分区,分区列值用于源目录结构中的文件夹名称。然而,如果您使用一个SQS队列作为流媒体来源,S3-SQS源不能检测到分区列值。例如,如果您在JSON格式保存以下DataFrame S3: % scala val df = spark.range (1…

如何启动一个结构化流查询从去年写抵消吗

场景中你有一个流,运行窗口的聚合查询,读来自Apache卡夫卡和写文件追加模式。你想升级的应用程序并重新启动查询抵消等于最后写抵消。你想丢弃所有状态信息还没有被写入水槽,从最早开始处理…

如何切换SNS流工作提升到一个新的SQS队列

问题你有结构化流工作运行通过S3-SQS连接器。假设您想重现源SQS, SNS的支持数据,你想进行一个新的队列处理同样的工作,在同一输出目录。解决方案使用以下程序:创建新的SQS队列和订阅s3-events(从SNS)。在…

卡夫卡的错误:没有引导url解析

问题你想读或写数据到卡夫卡流,当你得到一个错误消息。kafkashaded.org.apache.kafka.common.KafkaException:未能构建卡夫卡消费造成的:kafkashaded.org.apache.kafka.common.config.ConfigException:没有可解析引导url在引导。服务器,如果您正在运行一个笔记本,错误我……

readStream()不是白名单查询运行时错误

问题表访问控制(AWS | Azure | GCP)上启用您的集群。你试图运行一个结构化流查询和获取和错误消息。py4j.security。公共org.apache.spark.sql.streaming Py4JSecurityException:方法。DataStreamReader org.apache.spark.sql.SQLContext.readStream()不是白名单类类org.apache.s……

检查点文件不删除当使用显示()

问题你有使用显示()来显示DataFrames流工作。% scala val streamingDF = spark.readStream.schema(模式).parquet (< input_path >)显示(streamingDF)检查点文件被创建,但并没有被删除。您可以验证问题,方法是导航到根目录并查看/ local_disk0 / tmp /文件夹。Ch……

检查点文件不删除当使用foreachBatch ()

问题你有流工作使用foreachBatch DataFrames()的过程。% scala streamingDF.writeStream.outputMode(“追加”)。foreachBatch {(batchDF: DataFrame batchId:长)= > batchDF.write.format .mode(“铺”)(“覆盖”).save (output_directory)} .start()被创建检查点文件,但未被删除。您可以验证th……

冲突的目录结构错误

问题一个Apache火花工作没有与Java . lang断言错误。AssertionError:断言失败:检测到冲突的目录结构。堆栈跟踪造成的例子:org.apache.spark.sql.streaming。StreamingQueryException:有一个错误当试图推断出当前批文件的分区模式。请求……

RocksDB未能获得一个锁

问题你想使用RocksDB作为结构化的流媒体应用程序的存储状态,当你得到一个错误消息说实例不能被收购。引起的:. lang。IllegalStateException: RocksDB实例不能被[ThreadId: 742,任务:140.3在3152年阶段,TID 553193]不是[ThreadI公布的…

流的XML文件使用一个装载器

Apache火花不包括一个流API为XML文件。然而,您可以把自动装载器的特征OSS的火花批API库,Spark-XML流的XML文件。在本文中,我们提出一个基于Scala解析XML数据使用一个装载器的解决方案。安装Spark-XML库必须安装Spark-XML OSS库……

流工作使用动作连接失败

问题你有流工作写入动作水槽,并没有与内存不足错误消息。. lang。OutOfMemoryError: GC开销限制超过. lang。OutOfMemoryError: Java堆空间。症状包括:Ganglia显示逐步增加JVM内存使用。Microbatch分析显示输入和处理速率consisten……

流工作卡住写作检查点

问题你是监测流工作,注意,它似乎被困在处理数据。检查日志时,发现工作卡住当写入数据到一个检查站。信息HDFSBackedStateStoreProvider:删除文件对于381160岁以上的HDFSStateStoreProvider [id = (op = 0 = 89), dir = dbfs: / FileStore R_CHECKPOINT5 /圣……

显式路径自动加载程序所需数据定义或模式

本文信息适用于砖运行时9.1 LTS及以上。问题你是对你的英语教学使用自动加载程序来摄取数据管道,当你得到一个IllegalArgumentException:请提供源目录路径和选择“路径”的错误消息。你得到这个错误当你开始一个汽车装载机工作,如果路径数据或数据……

优化与.trigger流交易

结构化的流媒体应用程序运行时使用云存储桶(ADLS Gen2 S3,等等)很容易造成过度交易你访问的存储桶。未能指定.trigger选项在流代码中一个常见的原因是大量的存储事务。当没有指定.trigger选项,停下来……

结构化流工作减缓每十日批

问题您正在运行的一系列结构化流工作和写入文件。每10日似乎跑慢于前面的工作。导致文件水槽创建一个_spark_metadata文件夹目标路径。这个元数据文件夹存储每一批信息,包括哪些文件批处理的一部分。这是所需的箴言…

得到所有文件最后修改时间在自动加载程序和批处理作业

您正在运行一个流的工作自动加载程序(AWS | Azure | GCP)和想要得到的每个文件的最后修改时间存储账户。指令的路径文件被自动加载程序的文章描述了如何得到所有文件的文件名和路径被自动加载程序。在本文中,我们建立在一块…

如何保存绘图文件从DBFS和显示吗

你可以节省一个图表生成与情节司机节点jpg和png文件。然后,您可以显示在一个笔记本使用displayHTML()方法。默认情况下,您保存绘制图表/砖/司机司机在集群节点/目录。使用以下过程来显示图表在稍后的时间。生成一个样本…

AttributeError:函数的对象没有属性

问题你选择从DataFrame列,你得到一个错误消息。错误:AttributeError:“函数”对象在工作导致没有属性的_get_object_id DataFrame API包含少量的保护关键字。如果一列DataFrame使用受保护的关键字作为列名称,你将得到一个错误消息。例如……

Python datetime对象转换为字符串

有多种方法来显示日期和时间值与Python,然而并不是所有的都容易阅读。例如,当你收集的时间戳列DataFrame并保存它作为一个Python变量,该值存储为一个datetime对象。如果你不熟悉datetime对象格式,它不是一样容易阅读常见Y……

用Conda创建一个集群

Conda是一个很受欢迎的开放源代码蟒bob下载地址蛇回购的包管理系统。砖运行时对机器学习(砖运行时的ML)使用Conda管理Python库依赖关系。如果你想使用Conda,您应该使用砖运行时毫升。试图安装蟒蛇或Conda使用砖不支持运行时。符合……

显示文件和目录的时间戳的细节

在本文中,我们向您展示如何显示详细的时间戳,包括日期和时间,当一个文件被创建或修改。使用ls命令显示文件时间戳的最简单方法是使用ls lt <路径>命令在bash shell。例如,这个示例命令显示文件和目录的基本时间戳的/ dbfs / folde……

安装和编译Cython

本文解释了如何运行火花代码编译Cython代码。的步骤如下:创建一个示例Cython DBFS (AWS | Azure)模块。将文件添加到火花会话。创建一个包装器方法来加载模块的执行人。样本数据集的映射器运行。产生更大的数据集,比较性能与nat…

阅读大型DBFS-mounted文件使用Python api

本文解释了如何解决一个错误发生在你读大DBFS-mounted文件使用本地Python api。问题如果你挂载一个文件夹dbfs: / /和读取一个文件大于2 gb在Python API和熊猫一样,您将看到以下错误:/砖/ Python /地方/ lib / python2.7 /网站/熊猫/解析器。所以在pandas.parser.TextRead……

在Python中使用HDFS API来读取文件

有些时候你想直接读文件不使用第三方库。这可以用于阅读小文件当你定期存储blob和桶不能作为当地DBFS坐骑。AWS为S3 bucket存储使用以下示例代码。% python URI = = sc._gateway.jvm.org.apa sc._gateway.jvm.java.net.URI路径…

如何导入一个定制的CA证书吗

使用Python时,您可能想要导入一个定制的CA证书,以避免端点连接错误。ConnectionError: HTTPSConnectionPool(主机= my_server_endpoint,端口= 443):马克斯重试超过url: /端点(NewConnectionError (“< urllib3.connection所致。VerifiedHTTPSConnection对象在0 x7fb73dc3b3d0 >: t失败…

工作开始前仍然闲置

问题一个Apache火花工作正确触发,但仍然闲置很长一段时间之前开始。你有火花的工作,跑一段时间,但闲置很长一段时间恢复。症状包括:集群缩减规模在空闲时间工作节点的最小数量。司机日志不表现出任何火花工作在idl中……

列出所有工作区对象

您可以使用砖工作区API (AWS | Azure | GCP)递归地列出所有工作区对象在给定的路径。常见用例包括:索引所有笔记本的工作区中所有用户的名称和类型。使用输出,结合其他API调用,删除未使用的工作区或管理笔记本。动态地得到t…

负载与Spark-XML特殊字符

特殊字符的问题在你的源文件和使用图书馆Spark-XML OSS。特殊字符不正确呈现。例如,“CLU®”呈现“CLU�”。导致Spark-XML默认支持utf - 8字符集。你是在XML文件中使用不同的字符集。解决方案必须指定字符本身……

Python命令失败在高并发集群

问题你正试图运行Python命令在高并发集群。所有Python命令失败的警告错误消息。警告PythonDriverWrapper:未能开始repl replid - 61 -性能- 9 - fc33 1 - f8f6 - 2 ExitCodeException exitCode = 1:乔恩:无效的用户:“火花- 9 - fcdf4d2 - 045 d - 4 - f3b - 9293 - 0 - f '因为两spark.databricks.pyspark.enableProcessIsolation…

集群取消Python命令执行后安装散景

问题在Python笔记本集群返回取消。检查驱动程序(std.err)登录集群配置页面一个堆栈跟踪和错误消息类似如下:log4j:警告没有输出源可以发现记录器(com.databricks.conf.trusted.ProjectConf $)。log4j:警告请初始化log4j系统正常。log4j:警告年代…

由于图书馆集群取消Python命令执行冲突

问题在Python笔记本集群返回取消。笔记本电脑在所有其他语言相同的集群上执行成功。原因当你安装一个冲突版本的库,比如ipython, ipywidgets, numpy, scipy,或者熊猫到PYTHONPATH, Python REPL可以打破,使所有命令返回取消后30秒……

与AttributeError Python命令执行失败

这篇文章可以帮助您解决场景AttributeError Python命令执行失败。问题:“元组对象没有属性“类型”当您运行一个笔记本,Python命令执行失败,并显示以下错误和堆栈跟踪:AttributeError: tuple的对象没有属性“类型”回溯(最近的电话最后):文件“/…

Python REPL未能在码头工人

问题当你使用一个码头工人的容器,包括预先构建的Python库,Python命令失败并不是创建虚拟环境。下面的错误消息是可见的在司机日志。20/02/29 16:38:35警告PythonDriverWrapper:未能开始repl replid - 5 - b591 - 0 - ce42 - 78 - ef3 - 7 . io .IOException:不能运行程序”/ local_disk0 /…

如何从Python脚本运行SQL查询

你可能想要访问你的表外的砖笔记本。除了通过JDBC连接BI工具(AWS | Azure),您还可以通过使用Python脚本访问表。你可以通过JDBC连接到一个火花集群使用PyHive然后运行一个脚本。你应该PyHive安装在机器上运行的Python脚本。信息Pytho……

在Python中c++代码运行

从Python示例运行c++笔记本复习的c++运行Python笔记本学习如何编译c++代码和运行在集群....

Python 2日落状态

Python.org正式Python 2进入生物(临终)状态1月1日,2020年。这对你来说意味着什么呢?砖6.0运行时,以上数据砖6.0运行时,只支持Python 3。你不能用Python 2使用这些运行时创建一个集群。这些运行时创建的任何集群使用Python 3被定义。砖俄文的……

工作与Java IndexOutOfBoundsException错误失败

问题你的工作没有一个Java IndexOutOfBoundsException错误信息:. lang。IndexOutOfBoundsException:指数:0,长度:<数字>(预期:范围(0,0))当你回顾堆栈跟踪你看到类似这样的:Py4JJavaError:调用o617.count时发生一个错误。:org.apache.spark。SparkException:工作中止由于年代…

更改版本的R (r-base)

这些指令描述如何安装一个不同版本的R (r-base)集群。您可以检查默认r-base版本,每个砖运行时版本安装在每个砖运行时版本的系统环境部分注意(AWS | Azure | GCP)。列表可用r-base-core版本r-base-co的版本……

修复R包的版本

当你使用install.packages()函数来安装凹口包,你不能指定包的版本,因为预计你会安装最新版本的包,它应该兼容最新版本的依赖关系。如果你安装了一个过时的依赖,它将被更新。Som……

如何并行化和新闻出版总署R代码吗

并行R的代码是很困难的,因为代码运行在司机和R data.frames没有分布。通常,有现有的R是本地运行的代码转换为运行在Apache火花。在其他情况下,一些SparkR函数用于先进的统计分析和机器学习技术可能不支持分布式com……

如何并行化和spark.lapply R代码吗

并行R的代码是很困难的,因为代码运行在司机和R data.frames没有分布。通常,有现有的R是本地运行的代码转换为运行在Apache火花。在其他情况下,一些SparkR函数用于先进的统计分析和机器学习技术可能不支持分布式com……

在RStudio如何保存和共享代码吗

问题与砖的笔记本内置的,版本控制,开发的代码在RStudio丢失高并发性集群托管RStudio关闭。解决持续RStudio共享代码,做以下之一:从RStudio,将代码保存到一个文件夹可以从砖笔记本和RStudi DBFS……

安装rJava和RJDBC库

本文解释如何安装rJava和RJBDC库。问题当你安装rJava和RJDBC库在笔记本电池使用下面的命令:% r安装。包(c (“rJava”、“RJDBC”))你看到以下错误:错误:配置失败包rJava导致rJava和RJDBC包检查Java依赖和…

呈现一个R减价文件包含sparklyr代码失败

问题在你安装和配置RStudio在砖环境中,当您启动RStudio并单击针织按钮针织减价文件包含代码来初始化一个sparklyr上下文,渲染失败有以下错误:没有开始sparklyr端:对象“DATABRICKS_GUID”没有找到电话:<匿名>…tryCatch……

解决方案或命名空间加载错误

本文解释如何解决一个包或命名空间加载错误。问题当你安装和加载一些图书馆在笔记本电池,如:% r图书馆(BreakoutDetection)你可能得到一个包或命名空间的错误:加载所需的包:BreakoutDetection:错误:包或名称空间加载失败“BreakoutDetection”loadNamespace(我,…

RStudio服务器后端连接错误

问题你得到一个后端连接错误当使用RStudio服务器。系统误差。setenv (EXISTING_SPARKR_BACKEND_PORT =系统(paste0 (“wget问:——“http://localhost: 6061 / ? type = \“com.databricks.backend.common.rpc.DriverMessages StartRStudioSparkRBackend美元\”- post数据= ' {\“@class \”, \“com.databricks.backend.common.rpc.DriverMessages StartRStudioSparkRB美元…

通过init脚本验证R包安装

当你通过一个init脚本配置R包安装,有可能一个包安装失败如果依赖不安装。你可以使用一个笔记本中的R命令检查正确安装的所有包。本文信息需要您提供一个检查包的列表。名单做一个安装包…

Apache火花UI并不是与工作同步

问题引发的状态工作不正确引发UI中显示(AWS | Azure | GCP)。有些工作是确认在完成状态显示为主动/运行在UI的火花。在某些情况下,火花UI可能出现空白。当你回顾司机日志,你看到一个AsyncEventQueue警告。日志= = = = = 20/12/23 21:20:26……

Apache火花工作失败,镶花的列不能转换错误

问题你在拼花读取数据格式和写作δ表当你得到一个拼花列不能转换错误消息。集群运行砖运行时7.3 LTS或以上。org.apache.spark。SparkException:任务失败而写的行。引起的:com.databricks.sql.io。s3 FileReadException:当阅读文件时发生错误:/ / buc……

缓存的最佳实践(),count (), ()

缓存()是一个Apache火花DataFrame转换,可以使用,数据集或抽样当您想要执行多个操作。缓存()缓存指定的DataFrame,内存的数据集或抽样集群的工人。由于缓存()是一个变换,缓存操作发生只有当火花行动(例如,count (),…

不能导入timestamp_millis或unix_millis

问题你想timestamp_millis或unix_millis导入Scala的笔记本,但得到一个错误消息。% scala org.apache.spark.sql.functions进口。{timestamp_millis, unix_millis}错误:价值timestamp_millis org.apache.spark.sql不是一个成员对象。功能导入org.apache.spark.sql.functions。{timestamp_millis, unix_millis}标出……

不能修改Apache配置火花的价值

问题你想设置值的火花配置在笔记本里,并得到一个不能修改的价值火花配置错误。例如:sql设置spark.serializer = org.apache.spark.serializer %。KryoSerializer错误的SQL语句:AnalysisException:不能修改引发的价值配置:spark.serializer;因为一组命令不会磨破…

嵌套夷为平地DataFrame转换为JSON

本文解释了如何将一个扁平的DataFrame嵌套结构,通过嵌套类在另一个案件类。您可以使用这种技术来构建一个JSON文件,然后可以发送到外部API。我们首先定义嵌套模式DataFrame夷为平地。使用这个例子DataFrame,我们定义一个自定义的嵌套模式usi……

嵌套的JSON转换为DataFrame夷为平地

本文向您展示如何平嵌套的JSON,只使用$”列。*”和爆炸的方法。示例JSON文件示例JSON字符串传递给读者。% scala val json = " " {" id ": " 0001 ",“类型”:“甜甜圈”、“名称”:“蛋糕”、“ppu”: 0.55,“人次”:{“糊”:……

从一个JSON字符串创建一个DataFrame或Python字典

在本文中,我们将回顾如何从一个变量创建一个Apache火花DataFrame包含一个JSON字符串或一个Python字典。从一个JSON字符串创建一个火花DataFrame JSON内容变量添加到一个列表。% scala scala.collection.mutable进口。ListBuffer val json_content1 = " {“json_col1”:“你好”,“json_col2”: 32…

十进制美元DecimalIsFractional断言错误

问题你是砖运行时上运行工作7。x或以上当你得到一个. lang。AssertionError:断言失败:小数$ DecimalIsFractional错误消息。堆栈跟踪例子:. lang。AssertionError:断言失败:小数DecimalIsFractional美元,编译:<笔记本>阶段:globalPhase =终端,enteringPhase = j……

在Apache 3.0火花from_json返回null

问题from_json函数是用来解析JSON字符串并返回一个值的结构。例如,如果你有JSON字符串({" id ": " 001 ", "名称":“彼得”}),你可以通过它来from_json模式,解析结构值作为回报。%从pyspark.sql python。功能导入坳,from_json显示(df.select(坳(“价值”),from_json (c…

当启用AQE断断续续的NullPointerException

问题得到一个间歇NullPointerException错误当保存您的数据。Py4JJavaError:调用o2892.save时发生一个错误。:. lang。在org.apache.spark.sql.execution.adaptive.OptimizeSkewedJoin NullPointerException。anonfun getMapSizesForReduceId美元1美元(OptimizeSkewedJoin.scala: 167) org.apache.spark.sql.execution.adaptive ....

管理三角洲表的大小

δ表比传统的表有什么不同。三角洲表包括ACID事务和时间旅行的特性,这意味着他们维护事务日志和陈旧的数据文件。这些附加功能需要存储空间。在本文中,我们讨论的建议可以帮助你管理三角洲表的大小。使文件系统已经……

麻烦阅读外部JDBC 5.5表从砖改造后运行时

问题试图读取外部表通过JDBC 5.5砖上运行时没问题,但相同的表上面的砖6.0运行时,读取失败。你看到一个错误类似如下:com.databricks.backend.common.rpc.DatabricksExceptions SQLExecutionException美元:java . util . concurrent。ExecutionException: org.apache.spark.sql.AnalysisExc…

运行Scala中的c++代码

c++从Scala笔记本复习跑c++从Scala笔记本....

选择文件使用模式匹配

在选择文件,一个共同的要求是只从一个文件夹读取特定的文件。例如,如果您正在处理日志,你可能想要从一个特定的月读文件。列举每个文件和文件夹找到所需的文件,您可以使用一个水珠模式匹配多个文件用一个表达式。本文使用进行了…

Apache引发多个并发运行时JAR工作失败

问题如果你运行多个Apache火花JAR同时工作,一些运行可能会失败的错误:org.apache.spark.sql。AnalysisException:表或视图不发现:xxxxxxx;1号线pos 48由于一个错误引起这个错误发生在Scala中。当一个对象扩展应用,其val领域不再是不可变的,他们可以改变主相遇时……

写一个DataFrame与失踪的红移表列

问题编写红移表时,如果目标表列比源Apache火花DataFrame你可能得到一个复制错误。复制失败与错误(亚马逊):(亚马逊红移)(1203)错误发生在试图执行一个查询:错误:加载到表的表名失败了。检查“stl_load_errors”系统表的详细信息。“12…

工作失败ExecutorLostFailure由于“内存溢出”错误

问题工作失败ExecutorLostFailure错误消息。ExecutorLostFailure(执行人< 1 >退出正在运行的任务之一所致)原因:遗嘱执行人心跳超时后< 148564 >导致女士ExecutorLostFailure错误信息意味着执行人之一Apache火花集群已经丢失。这是一个通用的错误消息…

工作失败ExecutorLostFailure因为遗嘱执行人是忙碌的

问题工作失败ExecutorLostFailure错误消息。ExecutorLostFailure(执行人< 1 >退出正在运行的任务之一所致)原因:遗嘱执行人心跳超时后< 148564 >导致女士ExecutorLostFailure错误信息意味着执行人之一Apache火花集群已经丢失。这是一个通用的错误消息…

理解投机执行

投机执行投机执行可用于自动re-attempt任务不是进步相比其他任务在同一阶段。这意味着如果一个或多个任务正在运行慢的阶段,他们会换。完成的任务首先是标记为成功。其他的尝试被杀害。Implementatio……

使用自定义类和对象的模式

问题你想使用一个模式创建一个数据集,其中包含Scala枚举字段(类和对象)。当您运行您的代码在笔记本电池,你会获得ClassNotFoundException错误。示例代码% scala对象TestEnum扩展枚举{类型TestEnum =值val E1, E2、E3 =价值}spark.implicits进口。_进口TestEnum。_ c…

广播加入超过阈值,返回内存错误

问题你正试图加入两个大表,将所选列从第一个表和第二个表的所有列。尽管总大小超过spark.sql设定的限制。autoBroadcastJoinThreshold, BroadcastHashJoin和Apache返回一个火花OutOfMemorySparkException错误。org.apache.spark.sql.execution.OutO……

不能种植BufferHolder;超过大小限制

问题您的Apache火花工作却是IllegalArgumentException失败:无法成长BufferHolder错误。. lang。IllegalArgumentException:不能长按大小BufferHolder XXXXXXXXX因为规模增长超过大小限制2147483632后导致BufferHolder最大大小为2147483632字节(大约2 GB)。如果一个列值超过……

日期函数只接受int值在Apache 3.0火花

问题您正试图使用date_add()或date_sub()函数在火花3.0中,但它们在SQL语句返回一个错误:AnalysisException错误消息。在火花2.4和下面两个函数都会正常工作。% sql select date_add (cast(“1964-05-23”日期),“12.34”)因为你试图使用一个部分或字符串值作为…

禁用当查询计划BroadcastNestedLoopJoin播出

这篇文章解释了如何禁用广播当查询计划BroadcastNestedLoopJoin物理计划。你禁用后预计播放停止广播阈值,通过设置spark.sql。autoBroadcastJoinThreshold 1,但是Apache火花试图与广播广播大表和失败错误。这种行为是……

复制列元数据错误

问题您的Apache火花工作时处理一个三角洲表工作失败,并显示一条错误消息。org.apache.spark.sql。AnalysisException:发现重复的列(s)的元数据更新:col1, col2……导致三角洲表中有重复的列名。列名只有通过不同情况下被认为是重复的。三角洲湖是案例提出…

生成惟一增加数值

本文向您展示如何使用Apache火花函数来生成惟一增加一列的数值。我们审查三个不同的方法使用。你应该选择最有效的方法与你的用例。使用zipWithIndex()在弹性分布式数据集(抽样)zipWithIndex()函数只能在抽样。你不能…

在SQL语句错误:AnalysisException:表或视图不发现

问题当你试图查询一个表或视图,你得到这个错误:AnalysisException:表或视图不发现当试图查询全球临时视图让你通常创建全球临时视图,这样他们可以访问不同的会话和保留,直到程序结束。你可以用下面的语句创建一个全球临时视图:% s…

错误当下载完整的结果后加入

问题正在与两个表在一个笔记本上。你执行连结。你可以预览输出,但是当你试图下载全部结果你得到一个错误。错误的SQL语句:AnalysisException:发现重复的列(s)当插入dbfs:创建两个表/ databricks-results /复制错误。%从pyspark.sql python。功能不…

MSCK修理表并行运行时错误

问题你想运行MSCK修理表<表名称>命令相同的表并行和越来越java.net.SocketTimeoutException:读超时或内存不足错误消息。原因当你试图添加大量的新的并行与MSCK分区表修复,蜂巢metastore成为限制因素,…

找到一个表的大小

本文解释如何找到一个表的大小。取决于使用的命令,如果你试图找到一个增量的大小表或non-delta表。三角洲大小表找到δ的大小表,您可以使用Apache引发SQL命令。% scala com.databricks.sql.transaction.tahoe进口。_ val deltaLog = deltaLog。forTable(火花,“dbf……

内连接滴记录结果

问题你执行一个内连接,但是结果加入表丢失数据。例如,假设您有两个表,订单和模型。% python df_orders =火花。createDataFrame(((“日产”,Altima,双门车2.5年代车),(“日产”,Altima, 4-door 3.5 SE轿车),(“日产”,Altima,”)(“日产”,Altima, None)],[“公司”,“模型”,“信息”)……

当从雪花读取数据是不正确的

问题你有一份工作,是使用Apache火花从雪花读表,但Dataframe出现的时间数据是不正确的。如果你直接运行相同查询雪花,正确的时间返回数据。导致时区值不正确设置。不匹配的时区值砖集群和Snowf……

JDBC编写与PrimaryKeyViolation失败错误

问题你使用JDBC编写SQL表主键约束,并用PrimaryKeyViolation工作失败错误。或者,你使用JDBC编写SQL表没有主键约束,和写你最近看到重复的条目在表。导致当Apache火花执行JDBC编写,一个标准……

外部表查询不跳过标题行

问题你试图查询外部蜂巢表,但它一直未能跳过标题行,即使TBLPROPERTIES (' skip.header.line.count ' = ' 1 ') HiveContext设置。你可以复制这个问题用这个样本代码通过创建一个表。% sql创建外部表school_test_score('学校' varchar (254),“student_id”varc……

显示数据库命令返回意想不到的列名

问题你使用显示数据库命令,它返回一个意想不到的列名。导致返回的列名称显示数据库命令改变砖7.0运行时。砖6.4运行时扩展支持下面:显示数据库返回名称空间作为列名称。砖运行时7.0及以上:显示数据库返回dat……

不能查看表SerDe属性

问题你想查看SerDe Apache蜂巢上的属性表,但显示Apache火花DDL创建表返回。它不显示SerDe属性。例如,鉴于此示例代码:% sql显示创建表<表标志>你会得到一个结果,没有显示SerDe属性:因为您使用砖矮子…

解析下午时间(PM) to_timestamp()返回null

问题你试图解析12小时(AM / PM)时间值与to_timestamp(),而是返回一个24小时的时间价值则返回null。例如,这个样本代码:% sql SELECT to_timestamp(“2016-12-31 10:12:00点”,“yyyy-MM-dd HH: mm: ss”);返回null运行时:引起to_timestamp()需要小时格式是小写的。如果哦…

to_json()导致不能使用null作为地图关键错误

问题您正在使用to_json()来将数据转换为JSON和你不能使用null作为地图关键错误:RuntimeException:不能使用null作为地图的关键。导致to_json()函数不支持使用null值作为输入地图键。这个示例代码会导致不能使用null作为地图关键运行时错误,因为空值作为地图的关键…

设置nullability当使用SaveAsTable与δ表

当创建一个增量表与saveAsTable nullability列的默认值为true(列可以包含null值)。这是预期行为。在某些情况下,您可能想要创建一个增量表的nullability列设置为false(列不能包含空值)。指令使用CREATE TABLE命令创建表的…

3.0确保一致性在统计函数之间的火花,火花3.1及以上

covar_samp问题统计功能,峰度、偏态性病,stddev, stddev_samp,方差,var_samp,返回NaN除以零发生时在砖运行时的7.3 LTS表达式求值。相同的函数返回null砖运行时9.1 LTS以上,以及砖SQL端点除以零发生时……

使用在火花datetime值3.0及以上

问题你从支持集群运行数据砖运行时迁移工作6.6和Apache火花2.4.5低于低于砖集群运行当前版本的运行时。如果你的工作和/或笔记本电脑日期转换过程,他们可能会失败SparkUpgradeException错误消息后运行在集群升级……

ANSI兼容小数精度和等级

问题你想给一个或更多的价值作为一个小数精度和等级使用相同值。返回一个null值的期望值。这个示例代码:% sql SELECT铸造(5.345小数(20、20))的回报:导致十进制类型(AWS | Azure | GCP)被声明为十进制(精度、规模),在精度和年代……

误差在创建用户、组或与起程拓殖帐户级别的服务主体

问题统一目录使用砖帐户的身份来解决用户、服务主体,组织,执行权限。这些身份可以管理使用起程拓殖。您正试图创建用户、服务主体或组账户层面起程拓殖代码失败时使用一组“主机”属性的错误消息。2022 - 10 - 06 - t…

不支持成员SCIM配置失败

问题你的砖使用SCIM提供新用户工作区当你得到一个成员属性不支持当前工作区错误。StatusCode: BadRequest信息:处理HTTP请求导致异常。请参阅“响应”属性返回的HTTP响应这个异常的细节。网络反应:……

不能删除统一目录metastore使用起程拓殖

问题你不能删除统一编目metastore使用起程拓殖。导致metastore默认目录是自动创建。因此,你不能删除metastore没有首先擦拭目录。解集force_destory = true起程拓殖的databricks_metastore部分配置中删除metastore和correspo……

没有权限错误当创建外部位置

问题一个外部位置是一个存储位置,比如一个S3 bucket,外部表可以创建或管理表。允许一个用户或组使用一个外部位置可以访问任何存储路径在外部位置没有直接访问存储凭证。检查管理外部位置和存储cre……

重叠路径错误查询蜂巢和统一目录表

问题您正在运行的查询,当你得到一个重叠路径错误消息。org.apache.spark。SparkException:你试图访问查询重叠路径通过多个授权机制,目前不支持。导致重叠路径错误发生在一个细胞在一个笔记本查询一个Apache蜂巢表……