数据工程与数据库

描述

来自各行各业的数据专业人士将受益于对Databricks Lakehouse平台组件的全面介绍，这些组件直接支持将ETL管道投入生产。bob体育客户端下载您将利用SQL和Python来定义和调度管道，以增量方式处理来自各种数据源的新数据，从而为Lakehouse中的分析应用程序和仪表板提供动力。本课程提供了Databricks数据科学与工程工作空间，Databricks SQL, Delta Live表，Databricks Repos, Databricks任务编排和Unity目录的实践指导。

本课程将为你准备Databricks注册数据工程师考试．

持续时间

2个全天或4个半天

目标

• 利用Databricks Lakehouse平台执行数据管道开发的核bob体育客户端下载心职责
• 使用SQL和Python编写生产数据管道，以提取、转换数据并将数据加载到Lakehouse中的表和视图中
• 使用databicks原生特性和语法(包括Delta Live Tables)简化数据摄取和增量更改传播
• 协调生产管道，为临时分析和仪表板提供新的结果

先决条件

• 基本了解SQL查询语法，包括使用SELECT、WHERE、GROUP BY、ORDER BY、LIMIT和JOIN编写查询
• 基本了解创建、修改和删除数据库和表的SQL DDL语句
• 基本了解SQL DML语句，包括DELETE, INSERT, UPDATE, MERGE
• 具有云平台上的数据工程实践经验或知识，包括虚拟机、对象存储、身份管理和亚存储等云特性bob体育客户端下载
• 熟悉Python变量、函数和控制流(优先)

大纲

第一天

• 三角洲湖
• Databricks上的关系实体
• ETL与Spark SQL
• 增量数据处理与结构化流和自动加载器

第二天

• 数据湖屋中的勋章架构
• Delta活动表
• 使用Databricks Jobs进行任务编排
• 砖的SQL
• 管理湖屋的权限
• 在Databricks SQL上生产仪表板和查询

如有任何疑问，请向我们查询常见问题页面。