砖注册数据工程师的专业
使用砖执行先进的数据工程任务
砖注册数据工程师的专业
砖认证数据工程师专业认证考试评估一个人的能力使用砖执行先进的数据工程任务。这包括了解砖平台和开发工具像Apache火花,三角洲湖,MLflow,砖CLI和REST API。bob体育客户端下载它还评估的能力构建优化和ETL清洗管道。此外,数据建模到Lakehouse使用通用数据建模概念的知识也将被评估。最后,确保数据管道是安全的,可靠的,在部署前测试和监控,也将包括在这次考试中。个人通过这个认证考试可以将完整的先进的数据使用砖及其相关工具的工程任务。
登记
为了实现这个认证,收入必须通过认证考试。为了实现这个认证,请登录或创建一个帐户在我们的认证平台bob体育客户端下载。
学习途径
这个认证数据工程师学习途径的一部分。
考试的细节
认证考试的关键细节,提供如下。
最低限度合格的候选人
最低限度合格的候选人应该能够:
了解如何使用和使用砖平台的好处和它的工具,包括:bob体育客户端下载
bob体育客户端下载平台(笔记本、集群、就业、砖SQL关系实体,回购)
Apache火花(PySpark DataFrame API,基本架构)
三角洲湖(基于sql的三角洲api,基本架构,核心功能)
砖CLI(部署notebook-based工作流)
砖REST API(配置和触发生产管道)
建立数据处理管道使用火花和三角洲湖api,包括:
建筑batch-processed ETL管道
建筑逐步ETL处理管道
优化工作负载
删除数据
使用变化数据捕获(CDC)传播的变化
模型数据管理解决方案,包括:
Lakehouse(青铜/银/金架构、数据库表、视图和物理布局)
通用数据建模概念(钥匙、约束、查找表,缓慢变化维度)
使用最佳实践构建生产管道安全性和治理,包括:
笔记本和管理工作与acl权限
创建行,用于控制用户/组访问的动态视图
安全地存储个人身份信息(PII)
安全地删除数据根据GDPR & CCPA要求
配置报警和存储日志监控和生产工作,包括:
设置通知
配置SparkListener
录音记录指标
UI导航和解释的火花
调试错误
遵循最佳实践管理、测试和部署代码,包括:
依赖关系管理
创建单元测试
创建集成测试
调度工作
版本控制代码/笔记本电脑
编制工作
持续时间
测试人员将有120分钟完成认证考试。
问题
有60道多项选择题的认证考试。的问题将由高级分布式主题以下列方式:
砖工具- 20% (12/60)
数据处理- 30% (18/60)
数据建模- 20% (12/60)
安全性和治理- 10% (6/60)
监控和日志- 10% (6/60)
测试和部署- 10% (6/60)
成本
认证考试的每一个尝试将测试人员成本200美元。测试人员可能会受到纳税取决于他们的位置。测试人员能够夺回考试很多次他们想,但是他们需要为每个尝试支付200美元。
测试艾滋病
没有测试艾滋病在这次考试期间可用。
编程语言
这个认证考试的代码示例将主要是在Python中。然而,任何和所有引用三角洲湖功能将SQL。
过期
因为速度数据的责任工程师和砖Lakehouse平台的功能变化,这个认证是有效日期后2年,每个测试人员通过认证考试。bob体育客户端下载
准备
为了学习内容评估认证考试,考生应该采取下面的砖学院的课程之一:
先进的数据工程与砖
认证课程概述砖认证数据工程师专业考试
砖认证数据工程师专业考试(用于200美元)
注意:教师指导先进数据工程与砖课程将在2023年上市
常见问题
为了查看常见问题(faq)的答案,请参阅砖学院FAQ文档。