一般提供を発表:Unity Catalogでのデ，タリネ，ジ

本日，AWSとAzureで利用可能な统一目录において，デ，タリネ，ジの一般提供を開始したことをお知らせします。データリネージの一般提供により,砖レイクハウスプラットフォーム上のミッションクリティカルなワークロードに対して,最高レベルの安定性,サポート,エンタープライズレディネスを期待することができます。デ、タリネ、ジガ、ド(AWS|Azure)を参照してください。

このブログでは,データリネージを実用的なデータガバナンス戦略の重要な手段として活用する方法,GAリリースで利用できる主要機能の一部,および统一目录でデータリネージを開始する方法について説明します。

デタリネジでデタの観測性とコンプラアンスを向上させる

统一目录はデータ,分析,AIのための統合ガバナンスソリューションで,データチームがすべてのデータとAI資産をカタログ化し,ANSI SQLに基づく使い慣れたインターフェースを使用してきめ細かいアクセス許可を定義し,データアクセスの監査,クラウド，リ，ジョン，デ，タプラットフォ，ム間でのデ，タの共有ができるようにします。

统一目录でデータリネージを自動化することで,データチームは,コンプライアンス要件や監査レポートのために機密データを自動的に追跡し,全てのワークロードでデータ品質を確保し,レイクハウス全体でデータ変更の影響分析や変更管理を行い,データパイプラインのエラーの根本原因分析を実施できるようになりました。デタリネジの一般的な使用例にいては，以前のブログで詳しく説明しています。

“データリネージのおかげで,私たちのデータセットが誰にどのように利用されているかを把握できるようになりました。これは基本的なドキュメントとしてだけでなく,データセットの変更や廃止によって影響を受ける人物を特定し,インシデントを削減する役割も果たしています。(埃德蒙兹社スタッフエンジニア萨姆·舒斯特氏)

リネ，ジは，アクセス制御のための最後の重要な要素です。アナリストは,別の環境でテーブルやデータセットを再作成する場合でも,全ての使用基準とアクセス制御を守りながら,データを活用して仕事をすることができます。(语法:社デ，タプラットフォ，ムマネ，ジャ，克里斯·洛克林氏)

“リネージは,エキスパートが,データがどこから来て,どのような変換を経て,プロジェクト期間中どのように使用されるかを確認するのに役立ちます。この文書化されたエンドエンドのプロセスは，標準的な保険数理プロセスを補完するものです。(Milliman社クラウドソリュ，ションア，キテクトDan McCurley氏)

Gaリリ，スで利用可能なデ，タリネ，ジの主な機能

自動化されたリアルタ:统一目录はあらゆる言語(Python, SQL, R, Scala)、実行モード(バッチ,ストリーミング)で実行されたクエリのデータフロー図を自動的に取得し,リアルタイムに表示します。リアルタイムのリネージにより,データフローの証跡を手動で作成する運用上のオーバーヘッドを削減します。统一目录メタストアに接続されたすべてのワークスペースにおいて、データリネージは自動的に集約されます。これは、あるワークスペースで取得したリネージを、同じメタストアを共有する他のワークスペースで見ることができることを意味します。

統一されたカラムとテ，ブルの系統グラフ:统一目录では1つの系統グラフで列と表の両方の系統を確認できるようになり,特定の表や列が何で構成され,データがどこから来るのかをよりよく理解できるようになりました。ユーザーは,数回のクリックで,上流または下流の系統グラフを移動し,完全なデータフロー図を見ることができます。

テ，ブルやカラムの枠を超える:统一目录はノートブック,ワークフロー,およびダッシュボードの系統も追跡します。これにより,組織内でのデータの使用方法に関するエンドツーエンドの可視性が向上し,データの変更が下流の消費者に与える影響を把握することができます。

ビルト电子邮箱ンセキュリティ:系統グラフはデフォルトで安全であり，统一目录の共通権限モデルを使用しています。ユーザーは,系統データフロー図を表示するために正しい権限を持っている必要があり,セキュリティのレイヤーを追加して,意図しないデータ侵害のリスクを低減します。たとえば,ユーザーがテーブルの选择権限を持っていない場合,そのテーブルの血統を調べることはできません。同様に,ノートブック,ワークフロー,ダッシュボードの系統情報も,閲覧権限を持っているユーザーだけが見ることができます。

パ，トナ，との連携:は统一目录,统一编目REST APIを通じて,さまざまなデータガバナンスパートナーとの豊富な連携を実現しており,系統情報を容易にエクスポートすることが可能です。

Unity Catalogでデ，タリネ，ジを始める

デモで，デ，タリネ，ジを実際にご覧いただけます。

データリネージは,砖溢价および企业层に追加費用なしで含まれています。统一目录メタストアを参照するすべてのワークロードは、デフォルトでデータリネージが有効になり、Unity Catalog を読み書きする全てのワークロードは、自動的にリネージをキャプチャするようになりました。自動的にキャプチャされたデータリネージを利用するには,2022年12月7日以前に起動したクラスタまたはSQL仓库を再起動させてください。既に数据库アカウントをお持の場合は，デタリネジガド(AWS|Azure)に従って開始することができます。既存の砖のお客様でない場合は,溢价または企业ワークスペースでの無料トライアルにご登録ください。