オ,ケストレ,ション

《数据湖屋的崛起》作者:Bill Inmon

オ,ケストレ,ションとは

オーケストレーションとは,複数のコンピュータシステム,アプリケーション,サービスを調整および管理し,大規模なワークフローやプロセスを実行するために複数タスクをつなぎ合わせることです。これらのプロセスは,自動化された複数タスクで構成され,複数のシステムをまたぐこともあります。

オーケストレーションは,頻繁に繰り返されるプロセスの実行を効率化および最適化し,データチームが複雑なタスクやワークフローを容易に管理できるようにします。プロセスはいつでも繰り返しが可能で,タスクは自動化できるため,オーケストレーションは時間の節約,効率性の向上,重複の排除を実現します。例えば,Databricksのジョブオ,ケストレ,ションは,デ,タや機械学習をシンプルにします。

プロセスオ,ケストレ,ションとプロセス自動化の違い

自動化とオーケストレーションは,極めて補完的な関係にあります。しかし,それぞれの意味は異なります。自動化とは,人の手を介することなく実行されるタスクをプログラミングすることです。オーケストレーションとは,複数のタスク(一部は自動化されている場合もある)を1つの完全なエンドツーエンドのプロセスまたはジョブに設定することです。オーケストレーションソフトウェアは,プロセス全体のイベントまたはアクティビティに反応し,1つの自動化タスクからの出力に基づいて意思決定を行い,次のタスクを決定し調整する必要があります。

アプリケ,ションオ,ケストレ,ション

アプリケーションオーケストレーションとは,2つ以上のソフトウェアアプリケーションを統合することです。プロセスを自動化する,またはデ,タをリアルタ,ムに同期させるといった目的で行われます。多くの場合,ソフトウェア開発作業には何らかのアプリケ,ションオ,ケストレ,ションが必要です。アプリケ,ションオ,ケストレ,ションが実装されていないと、アプリ開発、データ分析、機械学習、AI プロジェクトなどの拡張が極めて困難になります。

アプリケ,ションオ,ケストレ,ションを行うことで,アプリの統合を一元的に管理,監視できます。また,メッセ,ジル,ティング,セキュリティ,変換の機能を強化し,信頼性を向上させます。このアプロチは,ポントポントの統合よりも効果的です。統合のロジックがアプリ自体から切り離され,代わりにコンテナで管理されるからです。

サ,ビスオ,ケストレ,ション

サービスオーケストレーションとは,アプリケーションオーケストレーションと同様に,複数のクラウドベンダーやドメインにまたがるシステムの調整と管理を可能にするものであり,今日の世界には不可欠です。このアプローチには,マイクロサービスオーケストレーション,ネットワークオーケストレーション,ワークフローオーケストレーションが含まれます。

個々のサービスには,互いの統合を可能にするネイティブ機能がなく,それぞれが依存関係や要求を有しています。システムが複雑になればなるほど,さまざまなコンポ,ネントのオ,ケストレ,ションが重要になります。サ,ビスオ,ケストレ,ションにより、必要に応じたインフラの拡張、ビジネス目標にあわせたシステムの最適化、サービス提供における障害の回避が可能になります。

コンテナオ,ケストレ,ション

アプリケーションオーケストレーションやサービスオーケストレーションの関連用語として,“コンテナオーケストレーション”があります。コンテナオ,ケストレ,ションとはどういうもので,なぜ必要なのでしょうか?

コンテナオ,ケストレ,ションとは,コンテナの管理と調整を自動化することです。ソフトウェアチームは,最適なコンテナオーケストレーションツールを利用して,コンテナのプロビジョニングとデプロイメント,コンテナ間のリソースの割り当て,コンテナのヘルスモニタリング,コンテナ間の相互作用の保護などのタスクを管理し,自動化します。

コンテナオ,ケストレ,ションの仕組み

ソフトウェアオーケストレーションチームは,一般的に,Kubernetesや码头工人群などのコンテナオーケストレーションツールを使用します。まず,アプリの構成をファイルに記述し,コンテナイメージを収集する場所と,コンテナ間のネットワークの構築方法をツールに指示します。

ツールは,クラスタへのコンテナのデプロイメントをスケジュールし,ラベルやメタデータといったあらかじめ設定された制約に基づいて最適なホストを検出します。次に,ファ▪▪▪ルに記述された仕様に基づいて,コンテナのラ▪▪▪フサ▪▪クルを管理します。

しかし,コンテナオ,ケストレ,ションが必要な理由は何でしょうか?また,自動化とオ,ケストレ,ションの目的は何でしょうか?コンテナオ,ケストレ,ションを自動化することにより、1 つのコマンドでアプリの拡張が可能になります。増加するトラフィックを処理するコンテナ化されたアプリを迅速に作成して、インストールプロセスをシンプルにします。また、セキュリティの向上にもつながります。

クラウドオ,ケストレ,ション

クラウドオーケストレーションとは,プライベートクラウドやパブリッククラウド上の接続を管理するタスクを自動化するプロセスです。また,自動化されたタスクとプロセスをワークフローに統合し,特定のビジネス機能の実行をサポートします。

パブリッククラウド,プライベートクラウド,ハイブリッドクラウドを含むクラウドコンピューティングの台頭により,複雑さが増しています。このため,複数のクラウドにまたがる複数の依存関係を管理し,デプロイできるクラウドオーケストレーションソフトウェアのニーズが高まっています。クラウドサービスのオーケストレーションには,サーバーのワークロードやストレージ容量のプロビジョニング,サービスやワークロード,リソースのオーケストレーションといったタスクが含まれます。

クラウドオ,ケストレ,ションと自動化は,異なるものです。クラウドオ,ケストレ,ションは IT プロセス全体に、自動化は個々の部分に重点を置いています。オーケストレーションは、マルチクラウド環境における自動化をシンプルにすると同時に、ポリシーとセキュリティプロトコルを維持します。

セキュリティオ,ケストレ,ション

セキュリティオーケストレーションとは,自動化されたセキュリティツールを効果的に連携させ,セキュリティチームにおけるツールの利用方法を効率化することです。ツール間の連携とデータ共有により,ヒューマンエラーの発生を抑制し,脅威への対応を強化して,時間とコストを削減することを目的としています。

飙升(安全编排自动化和响应:セキュリティオーケストレーション,自動化およびレスポンス)とは,ガトナが定義した3のソフトウェア機能を表す略称です。

  • オ,ケストレ,ション:脅威および脆弱性の管理
  • 自動化:セキュリティに関する運用の自動化
  • レスポンス:セキュリティに関する化学键ンシデント対応

このアプローチでは,自動化とオーケストレーションの相乗効果により,組織における脅威ハンティング,脅威インテリジェンスの収集,低レベルの脅威へのインシデント対応の自動化が可能になります。

オケストレションレヤ

複数のAPIサビスを調整する必要がある場合,オケストレションレヤは不可欠です。オケストレションレヤにより、任意のコネクタとサードパーティアプリのコネクタ間における接続または命令が可能になります。これにより、1 件の API リクエストに応答するために複数の異なるサービスに数回の呼び出しを行う単一の API が効果的に作成されます。

また,リクエストとレスポンスの分割,統合,ルーティングが必要な個別のサービス間のデータフォーマットも管理します。この抽象化レイヤーを追加することで,サービス間の通信に必要なレベルのインテリジェンスをAPIに提供します。オーケストレーションレイヤーは,データ変換,サーバー管理,認証処理,レガシーシステムの統合をサポートします。

クラウドでは,クラウドベ,スとオンプレミスのコンポ,ネント間の相互作用と相互接続を管理します。これらには,サ,バ,ネットワ,ク,仮想マシン,セキュリティ,ストレ,ジが含まれます。

ジャ,ニ,オ,ケストレ,ション

カスタマージャーニーオーケストレーションとは,カスタマージャーニーのマッピングの概念をさらに一歩進めたものです。履歴デタに依存するのではなく,自動化によってリアルタムにジャニをパソナラズします。最適なカスタマ,ジャ,ニ,を作成し,形成することを目標としています。

また,ジャーニーオーケストレーションによって,企業は俊敏性を高め,変化に適応し,潜在的な問題を事前に察知できるようになります。

オケストレションル

複雑なタスクに必要なオ,ケストレ,ションでは,デ,タチ,ムに多大な負担がかかります。パプランの開発,管理,監視,および確実な実行を可能にするには,専門ルが不可欠です。これらのルは,通常,実際のデタや機械学習のタスクと連結していません。このように統合されていないことで,企業全体の取り組みは分断され,ユーザーはコンテキストを何度も切り替える必要があります。

企業におけるビジネスインテリジェンス(BI)や人工知能(AI)への取り組みの強化に伴い,シンプルでスケーラブルかつ信頼性の高いオーケストレーションツールへのニーズが高まっています。ワークロードを自動化するフレームワークにより,オーケストレーションのメリットを最大限に引き出すさまざまなツールが存在します。

サビスオケストレションルは,異なるアプリやシステムの統合をサポトします。クラウドオケストレションルは,複数のクラウドシステムをなぎ合わせます。また,オーケストレーションツールは,エンドツーエンドのプロセスを一元管理し,プロセス構築をシンプルにすることで,従来は実現できなかったワークフローの作成をサポートします。

例えば,砖では,データウェアハウスとAIのユースケースを単一のプラットフォームに集約するサポートをします。数据库のワクロドをオケストレトする方法にいては,こらをご覧ください。

アプリケ,ションリリ,スオ,ケストレ,ション

アプリケーションリリースオーケストレーション(ARO)はDevOpsチームによるアプリのデプロイメントの自動化,継続的インテグレーションと継続的デリバリーのパイプラインの管理,およびリリースワークフローのオーケストレーションを可能にします。新しいリリ,スの品質,高速性,およびガバナンスを向上させることを目的としています。

AROツールは,デプロイメントの自動化やパイプライン管理に加えて,複数の多様なチーム,テクノロジー,方法,パイプラインにまたがるリリースの拡張も可能にします。主要なAROルには,GitLab, Microsoft Azure Pipelines, FlexDeployなどがあります。

プロセスオ,ケストレ,ション

効果的なオ,ケストレ,ションには,プロセスの自動化が不可欠です。しかし,個々のタスクに対し,複数のベンダーから調達した異なるツールを使用することで,サイロ化のリスクが発生します。そのため,の統合,ションが必要になります。

プロセスオーケストレーションでは,個々のタスクをエンドツーエンドのプロセスに統合し,ユニバーサルコネクタ,直接統合,またはAPIアダプタを使用したシステム統合の効率化が行われます。その結果,它チムは,プロセスのラフサクル全体を一元管理できます。

プロセスオーケストレーションには,異種ツールの調整と統合による複雑性の低減,プロセスの監視とログの一元化による平均修復時間(MTTR)の改善,単一のオーケストレーションプラットフォームでの新規ツールやテクノロジーの統合といったメリットがあります。このようなソフトウェアオーケストレーションにより,実質的にあらゆるツールやテクノロジーの迅速な統合が可能になります。

デ,タオ,ケストレ,ションプラットフォ,ムの目的

データオーケストレーションとは,複数のストレージからサイロ化したデータを取り出し,組み合わせて整理し,分析に利用できるようにするための自動化されたプロセスです。このプロセスでは,レガシーシステム,クラウドベースのツール,データレイクといったあらゆるデータセンターが接続されます。デ,タは標準形式に変換されるため,理解しやすく,容易に意思決定に利用できます。

企業の多くは,膨大な量のデ,タを蓄積しています。そのため,デ,タの整理に自動化された,ルが必要です。ビッグデータオーケストレーションでは,従来の方法では処理しきれないほど膨大で,高速,または複雑なデータを整理するプロセスを実行します。データオーケストレーションは,サーバー上で容量を占めていながらも使用されることのない情報である”ダークデータ”の特定も行います。

デタオケストレションプラットフォムは,コンプラアンスの確保や問題の発見に最適です。例えば,決済オーケストレーションプラットフォームでは,顧客データへのリアルタイムなアクセスが可能なため,リスクのあるトランザクションを発見できます。

DevOpsにおけるオ,ケストレ,ション

DevOpsオーケストレーションとは,企業全体のDevOpsのプラクティスと,それを完結させるために使用する自動化ツールの調整のことです。本番環境での問題を最小限に抑え,新しいリリ,スの市場投入にかかる時間を短縮することが目的です。

自動化されたタスクをオーケストレートすることで,自動化ツールの可能性を最大限に引き出すことができます。ここで,オ,ケストレ,ションと自動化の関係に戻ります。基本的に,多数の機能を自動化して同時実行することで,効率性は高まります。しかし,これらの機能を確実に連携させるためには,オ,ケストレ,ションが不可欠です。

例えば,クラウドベースのデプロイメントパイプライン用DevOpsオーケストレーションは,開発,QA,本番環境の連結を可能にします。

Dockerオ,ケストレ,ション

码头工人とは,コンテナ化されたアプリを開発するためのツールを提供するユーザーフレンドリーなコンテナランタイムのことです。このルにより,コドをジ化し,それを使用してコンテナを作成できます。従って,码头工人オーケストレーションとは,码头工人コンテナの管理におけるプラクティスとテクノロジーだと言えます。

このようなコンテナオーケストレーションは,コンテナ化されたアプリを多数のコンテナに拡張する場合に必要です。コンテナのプロビジョニング,スケールアップ/スケールダウン,ネットワーキングの管理,ロードバランシングなどのタスクに使用されます。

码头工人エコシステムでは,群などのオーケストレーション用ツールをいくつか提供しています。Dockerコンテナのオ,ケストレ,ションには,一般的にKubernetesが使用されます。また,クラウドコンテナプラットフォ,ムも基本的なオ,ケストレ,ション機能を提供しています。

数据库におけるデ,タと機械学習パ,

数据库は,複数タスクのオ,ケストレ,ションをシンプルにし,デ,タと機械学習ワ,クフロ,の作成を容易にします。

ノートブック,Pythonスクリプト,JARからなる相互依存のモジュール式タスクを活用し,複数ステップのタスクをオーケストレーションすることで,データと機械学習パイプラインを容易に定義できます。データチームは,データの変換や改良,機械学習アルゴリズムのトレーニングといった複数ステップのパイプラインを容易に作成,管理することが可能です。これらは全て使い慣れた砖のワークスペース内で実行できるため,チームにおける膨大な時間や労力,コンテキストスイッチの数を削減します。

上図の例では,複数のタスクからなるジョブにおいて,Clicks_IngestとOrders_Ingestという2つのタスクがデータの取り込みに使用されています。取り込まれたデ,タは匹配タスクで集約,フィルタリングされます。そこから新たな機械学習機能が生成(Build_Features),持続(Persist_Features)され,新しいモデルのトレーニング(火车)に使用されます。

ジョブオ,ケストレ,ションは,砖に完全に統合されており,追加のインフラ,DevOpsリソースは不要です。ユーザーは,乔布斯APIやUIを使用して,ジョブの作成,管理,監視のメール通知などの機能を利用できます。

デ,タチ,ムは,ジョブオ,ケストレ,ションを利用するために新たな知識を習得する必要はありません。この機能により,砖の外部および全てのクラウドにわたり,APIを持つあらゆるものをオーケストレーションできるようになります。CRMからデ,タを引き出すことも可能です。任意のワ、クスペ、ス(AWSAzureGCP)で新しいジョブオ,ケストレ,ションをお試しいただけます。

额外的资源

回到术语表