AWS Databricks云集成演示

摄取运动流到三角洲湖

现在我们的自动伸缩Spark集群已经启动并运行，让我们开始使用Spark Structured Streaming和内置databicks - Kinesis连接器，用几行代码从Kinesis流中摄取实时数据。首先，我们将查看流DataFrame中的一些原始数据。接下来，我们可以使用这里看到的代码将其以Delta Lake格式保存到存储在S3中的Delta Lake Bronze表中。Delta Lake是lakehouse体系结构的基础，提供云对象存储上的ACID事务，以及统一批处理和流数据处理的表，以简化数据体系结构。

在Glue控制台中查看Delta Lake表

通过在笔记本中运行SHOW TABLES命令，或者单击Data选项卡并导航到存储表的数据库，我们可以在Databricks中查看刚才创建的表。由于我们将集群设置为与AWS Glue Data Catalog集成，所以我们还可以直接在Glue控制台中查看这些Delta Lake表。当我们搜索它们时，您可以看到我们在Databricks中查看的所有表现在都出现在Glue中。

数据-红移集成

Databricks还可以轻松处理存储在Redshift数据仓库中的数据。在这里，我们使用内置的Databricks Redshift连接器将一些示例数据写入Redshift。我们也可以使用相同的连接器从Redshift中读取。或者，你也可以从Databricks中选择PostgreSQL连接器或Redshift数据API来做同样的事情。或者我们可以跳转到Redshift控制台并查询我们刚刚从Databricks创建的表。

Databricks - QuickSight集成

最后，我们还可以从Databricks连接到AWS QuickSight仪表板，以可视化的方式探索我们的数据，并创建有吸引力的仪表板和报告。

结论

正如我们所看到的，Databricks提供了一个简单、开放和协作的湖屋平台，与您的所有AWS服务深度集成。bob体育客户端下载点击下面描述中的链接，在Databricks demo Hub上下载本演示中使用的笔记本电脑。或者访问www.neidfyre.com/try在AWS上免费试用Databricks。