Delta Live Tablesの一般提供開始を発表

迈克尔时常要、Awez Syed、Lappas保罗、Erika Ehrli、山姆Steiny、理查德·汤姆林森、安德烈亚斯•诺伊曼、成员Mukul没吃による投稿

2022年4月5日在プラットフォ，ムブログ

分享这篇文章

数据库は本日，Delta Live Tables(DLT)のAmazon AWSと微软Azureクラウドにおける一般公開,および谷歌云におけるパブリックプレビューの提供開始を発表しました。このブログでは,DLTが大手企業のデータエンジニアやアナリストをどのように支援し,本番環境に対応したストリーミングとバッチパイプラインの簡単な構築や,大規模なインフラストラクチャの自動管理,および,新世代のデータ,分析,AIアプリケーションの提供に役立つかについて解説します。

レ@ @クハウスにおけるシンプルなストリ@ @ミングとバッチetl . exe

ETL(抽出・変換・ロード)に対するストリーミング,バッチワークロードの処理は,分析,データサイエンス,機械学習ワークロードの基本的な取り組みです。企業が生み出す膨大なデ，タ量がこの傾向を加速させています。しかし,未加工の構造化されていないデータを,クリーンで文書化された信頼のおける情報に処理することは,ビジネスの知見を推進するために使用する前の重要なステップです。SQLクエリを本番のETLパイプラインに変換するには,通常,面倒で複雑な運用作業が多く含まれることをお客様から学びました。小規模なケースにおいても,データエンジニアの時間の大部分は,データの変換よりもインフラストラクチャの準備や管理に費やされています。また,可観測性とガバナンスの実装が非常に困難であり,結果として多くの場合,これらの機能がソリューションから完全に除外されることもお客様から学びました。多くの時間をタスクの理解に費やし，信頼性のないコストのかかるデ，タに，ながっていました。

これが，DatabricksがDelta Live Tablesを開発した理由です。信頼性の高いデータパイプラインを構築し,大規模インフラストラクチャを自動で管理するシンプルな宣言型アプローチを使用した初のETLフレームワークは,データアナリストやデータエンジニアがツールの準備に費やす時間を削減し,データから価値を引き出すことに集中できます。エンジニアやアナリストは,DLTを用いることで開発を加速し,複雑な運用タスクを自動化することで,実装時間を劇的に削減できます。

DLTは，既に世界中の大手企業において本番運用でのユ，スケ，スを支援しています。スタートアップからエンタープライズまで,ADP,シェル,H&R Block特大,面包金融、仲量联行を含む400社以上の企業が,DLTを使用して次世代のセルフサービス分析とデータアプリケーションを強化しています。

ADP:“adpでは，人事管理デタをレクハウスで統合されたデタストアに移行しています。三角洲は生活表,品質管理を構築するのに役立ち,宣言型API, SQLのみによるバッチとリアルタイムのサポートにより,チームはデータ管理の時間と労力を節約できました。」
ADP最高デ，タ責任者ジャック·バ，コウィ(Jack Berkowitz)氏
Audantic:“我々のゴールは,革新的な製品を開発するために機械学習を活用し続け,新しい市場や地域に拡大することです。数据はこの戦略の基盤となっており，より迅速か効率的に到達するのに役立ます。三角洲生活表を用いることで,市場投入までの時間が86%短縮されたというような,規模と性能の面でこれまで到達できなかったさまざまなことが可能になりました。これまでは，週次や月次でパプランを実行していましたが，今では日次ベスで実行しています。これは劇的な改善です。」
Audantic最高情報責任者ジョエル·ロ，リ，(Joel Lowery)氏
シェル:シェルでは，統合されたデ，タストアに全センサ，デ，タを集積しています。三角洲生活表により,このような大規模なデータ管理の負荷が低減され,AIエンジニアリングの能力が高まっています。砖は、既存のレイクハウスアーキテクチャを補強するケイパビリティによって、ETL およびデータウェアハウス市場に破壊的イノベーションをもたらしています。このことは、私たちのような企業にとって大きな意味があります。今後もイノベーションパートナーとして Databricks との連携を継続したいと考えています。」
シェルデタサエンス部門ゼネラルマネジャダンジボンズ(Dan Jeavons)氏
面包融资:“三角洲生活表はコラボレーションを可能にし,データエンジニアリングリソースの阻害要因を排除することで,分析チームとBI(ビジネスインテリジェンス)チームが火花やScalaを知らなくてもセルフサービスを行えるようになります。実際,これまでに砖や火花の経験のないデータアナリストがSQLを使用してDLTパイプラインを数時間で構築し,S3へのファイルストリームを利用可能な探索用データセットに変換できました。」
面包金融シニアデータエンジニアクリスティーナ・テイラー氏(克里斯蒂娜•泰勒)

Etl処理のための最新のソフトウェアエンジニアリング

三角洲生活表を用いることで,アナリストとデータエンジニアは,SQLやPythonを使用して本番環境に対応したストリーミング,またはバッチETLパイプラインを簡単に構築できます。完全なデータパイプラインの宣言型記述を一位にキャプチャして依存関係をライブで理解し,内在する運用の複雑性を自動化することでETL開発をシンプルにします。DLTを使用すると,エンジニアはパイプラインの運用や保守ではなくデータの配信に集中することができ,次の主要なメリットを活用できます。

Etl開発の加速:エンドツーエンドのパイプラインを構築するためにコードの断片を手動で繋ぎ合わせる必要があるソリューションとは異なり,DLTではSQLやPythonで全体のデータフローを宣言的に表現できます。さらに,DLTは,本番環境から分離された環境で開発する機能,デプロイ前のテストの容易性,パラメータ化によるデプロイと環境の管理,ユニットテストや文書化といった最新のソフトウェアエンジニアリングのベストプラクティスをネイティブにサポートしています。その結果,変換,CI / CD, SLA(サービス品質保証),期待品質を表現し,単一APIでバッチとストリーミングをシームレスに処理するファーストクラスの構造を使用して,ETLパイプラインの開発,テスト,デプロイメント,運用と監視を簡素化できます。
ンフラストラクチャの自動管理:DLTは,インフラストラクチャを自動的に管理し,複雑かつ時間を費やすアクティビティを自動化するためにゼロから開発されました。変化する予測不可能なデータ量を考慮して,最適な性能を発揮するためにクラスタをサイジングすることは困難であり,過度なプロビジョニングにつながる可能性があります。DLTは,インスタンスの最小数と最大数を設定し,クラスタの利用率に応じてクラスタをサイズアップするオプションを提供することで,性能のSLAを満たすようにコンピューティングを自動的に拡張します。さらに,オーケストレーション,エラー処理とリカバリ,性能の最適化といったタスクは,全て自動的に処理されます。DLTを使用することで，運用ではなくデ，タの変換に集中できます。
デ，タの信頼性:ビルトインの品質管理,テスト,監視および実施により信頼性の高いデータを提供し,正確かつ有用なBI,データサイエンス,機械学習を確保します。DLTでは”エクスペクテーション”と呼ばれる機能を使用して,データの品質管理と監視ツールに対するファーストクラスのサポートを含めることで,信頼できるデータソースを簡単に作成します。エクスペクテーション機能は,不正なデータがテーブルへ流入するのを防ぎ,時間の経過に伴うデータ品質の追跡や,パイプラインの詳細な可観測性で不良データの問題を解決するツールを提供します。これにより,パイプラインの忠実度の高いリネージュ図の取得や,依存関係の追跡,全てのパイプラインにわたるデータ品質メトリクスを集約します。
シンプルなバッチとストリ，ミング:バッチやストリーミング処理に対するデータパイプラインの自己最適化と自動スケーリングでアプリケーションに最新のデータを提供し,最適なコストパフォーマンスを選択します。ストリーミングとバッチのワークロードを別々に処理することを余儀なくされる他のツールとは異なり,DLTは単一のAPIであらゆるタイプのデータワークロードをサポートしています。データエンジニアとアナリストは,高度なデータエンジニアリングスキルを必要とすることなしに,クラウド規模のデータパイプラインを迅速に構築できます。

DLTのプレビューをリリースして以来,砖はいくつかのエンタープライズ向け機能とUXの改善を行ってきました。UIを拡張することで,DLTパイプラインのスケジュール設定,エラーの参照,ACL(アクセス制御リスト)の管理,テーブルリネージュの可視化の改善,データ品質の可観測性UIとメトリクスの追加をシンプルにしました。さらに，継続的に到着するデ，タを効率的か，簡単にキャプチャするためにの変更デ，タキャプチャ(cdc)のサポ，トと，ストリ，ミングワ，クロ，ド向けに優れた性能を提供する拡張オ，トスケ，リングのプレビュ，をリリ，スしました。