Databricks认证数据工程师专业

Databricks认证数据工程师专业

Databricks认证数据工程师专业认证考试评估个人使用Databricks执行高级数据工程任务的能力。这包括了解Databricks平台和开发工具，如Apache Spark、Delta Lake、Mbob体育客户端下载Lflow以及Databricks CLI和REST API。它还评估构建优化和清洁的ETL管道的能力。此外，还将评估使用一般数据建模概念的知识将数据建模到Lakehouse。最后，在部署前确保数据管道的安全、可靠、监视和测试也将包括在本次考试中。通过该认证考试的个人可以使用Databricks及其相关工具完成高级数据工程任务。

登记

为了获得这一认证，获奖者必须通过认证考试。要取得此认证，请登录或在我们的网站上创建帐户认证平台bob体育客户端下载．

学习途径

该认证是数据工程师学习途径的一部分。

考试的细节

关于认证考试的关键细节如下所示。

最低限度合格候选人

最低限度合格的候选人应该能够:

• 了解如何使用Databricks平台及其工具的好处，包括:bob体育客户端下载
• bob体育客户端下载平台(笔记本、集群、作业、Databricks SQL、关系实体、repo)
• Apache Spark (PySpark, DataFrame API，基本架构)
• Delta Lake(基于sql的Delta api、基本架构、核心功能)
• Databricks CLI(部署基于笔记本的工作流)
• Databricks REST API(配置和触发生产管道)
• 使用Spark和Delta Lake api构建数据处理管道，包括:
• 构建批量处理的ETL管道
• 构建增量处理的ETL管道
• 优化工作负载
• 删除数据
• 使用变更数据捕获(CDC)来传播变更
• 模型数据管理解决方案，包括:
• Lakehouse(青铜/银/金架构，数据库，表，视图和物理布局)
• 一般数据建模概念(键、约束、查找表、缓慢变化的维度)
• 使用围绕安全和治理的最佳实践构建生产管道，包括:
• 使用acl管理笔记本和作业权限
• 创建面向行和列的动态视图来控制用户/组访问
• 安全存储个人身份信息(PII)
• 根据GDPR和CCPA的要求安全地删除数据
• 配置告警和存储来监控和记录生产作业，包括:
• 设置通知
• 配置SparkListener
• 记录记录的指标
• 导航和解释Spark UI
• 调试错误
• 遵循管理、测试和部署代码的最佳实践，包括:
• 依赖关系管理
• 创建单元测试
• 创建集成测试
• 调度工作
• 版本控制代码/笔记本电脑
• 编制工作

持续时间

测试人员将有120分钟的时间完成认证考试。

问题

认证考试有60道选择题。问题将按高级别专题按以下方式分发:

• Databricks工装- 20% (12/60)
• 数据处理- 30% (18/60)
• 数据建模- 20% (12/60)
• 安全和治理- 10% (6/60)
• 监控和记录- 10% (6/60)
• 测试和部署- 10% (6/60)

成本

认证考试的每一次尝试都将花费200美元。测试人员可能需要缴纳税款，这取决于他们的地点。测试人员可以想参加多少次考试就可以参加多少次，但每次考试都需要支付200美元。

测试艾滋病

在这次考试中没有可用的测试辅助工具。

编程语言

这个认证考试的代码示例将主要使用Python。但是，对Delta Lake功能的任何和所有引用都将在SQL中进行。

过期

由于数据工程师的职责和Databricks Lakehouse平台的能力变化的速度，本认证的有效期为每个测试人员通过认证考试之日起2年。bob体育客户端下载

准备

为了学习认证考试评估的内容，考生应参加以下Databricks Academy课程之一:

• 自定进度(可在Databricks学院):高级数据工程与Databricks
• 自定进度(可在Databricks Academy):认证概述:Databricks认证数据工程师专业考试

注:由教师指导的高级数据工程与数据库课程将于2023年提供

常见问题

要查看常见问题(FAQs)的答案，请参阅Databricks AcademyFAQ文档．