数据工程与砖

描述

数据专业人员各界将受益于这种全面介绍砖Lakehouse平台,直接支持的组件将ETL管道投产。bob体育客户端下载您将利用SQL和Python来定义和进度管道逐步过程新数据来自各种数据源的分析应用程序和Lakehouse仪表板。本课程提供实践指导砖数据科学与工程工作区,砖SQL,三角洲生活表,砖回购,砖任务的编排和统一目录。

本课程将帮助你把砖考试注册数据工程师助理。

持续时间

2天或4天的一半

目标

• 利用砖Lakehouse平台执行核心数据管道发展的责任bob体育客户端下载
• 使用SQL和Python编写生产数据管道来提取、转换和加载数据到Lakehouse表和视图
• 使用Databricks-native简化数据摄入和增量更改传播特性和语法,包括三角洲生活表
• 编排生产管道提供新鲜特别的结果分析和仪表盘

先决条件

• SQL查询语法的基本知识,包括使用选择、编写查询,集团,秩序,限制,并加入
• 基本知识的SQL DDL语句来创建、修改和删除数据库和表
• SQL DML语句的基本知识,包括删除、插入、更新和合并
• 经验或知识工程实践的数据在云平台上,包括云特性,比如虚拟机,对象存储、身份管理、metastoresbob体育客户端下载
• 基本熟悉Python变量、函数和控制流(首选)

大纲

第一天

• 三角洲湖
• 关系的实体在砖
• ETL和火花SQL
• 增量数据处理结构化流和自动加载程序

第二天

• 大奖章lakehouse架构的数据
• 三角洲生活表
• 任务编排与砖的工作
• 砖的SQL
• lakehouse管理权限
• Productionizing仪表板和砖的SQL查询

如果你有任何问题,请参阅我们的常见问题页面。