リアルタムmlで航空デタの活用を促進
コンピュティングコストを90%削減
“何を構築,自動化すべきかを把握し,システムインフラをセキュアかつ効率的に反復できるようになりました。今ではリアルタ▪▪ムな航空デ▪▪タの利用に制限はありません。」
米国運輸省(USDOT)は運輸局の最新要件を満たすべく,航空システムの性能をリアルタイムで正確に測定・報告する商用フライトデータベースシステムを構築しています。USDOTでは,データブリックスのレイクハウスプラットフォームの導入により,データの統合分析を実現。航空ダッシュボードにリアルタイムの情報を取り入れ,機械学習を活用した気づきと意思決定を可能にしています。データブリックスがもたらす高速性と効率性により,USDOTは航空パフォーマンスの変更対応に必要なリソース,航空交通量の変動によるオペレーションや乗客のエクスペリエンスへの影響について,正確な予測ができるようになりました。
分断されたデ，タを統合し未来を予測
民間航空会社は通常，年間数百万人のお客様にサ，ビスを提供しています。USDOTでは,航空会社における乗客サービス改善の支援およびフライトオペレーションの実践的な評価を可能にするために,航空データを活用した,内部用のリアルタイム商用航空フライトデータベース(CFD)の構築を模索していました。
USDOTでは,米連邦航空局(FAA)のシステムワイド情報管理データベース(游泳)の気象,飛行,航空情報,監視情報などの公開データを活用することで,航空貨物の輸送パターンの正確な予測,民間航空会社への明確な財務予測の提供を目指していました。しかし,さまざまなパブリッシャーが提供する複数のデータサービス,ストリーム,コンポーネントを組み合わせることは複雑です。データブリックスのようなクラウドベースのソリューションではなく,オンプレミスのプラットフォームでデータを管理していた業界ではなおさらです。
USDOTのデータサイエンティストであるメフディ・ハシミポアー(Mehdi Hashemipour)氏は,次のように述べています。“ビッグデ，タプラットフォ，ムの構築は，困難です。分析対象のビッグデータがどのようになっているか,そのビッグデータの処理にはどのようなインフラが必要かを知る必要がありました。さまざまなテクノロジ，を用いたシステムの設計は，極めて複雑です。ビッグデータは100%信頼できるものではなく,統計レポートに求められる精度からはほど遠いものでした。デタの品質管理，処理するデタのリアルタムな監視が可能であることが不可欠でした。」
このシステムには,迅速なスケーリングも求められており,性能の低下やUSDOTのデータチームによる手間のかかる作業や手動のレビューを不要にすることが条件でした。
予測分析の基盤構築で成長を加速
游泳クラウドディストリビューションサービス(SCDS)は,联邦航空局のクラウドベースのサービスです。一般公開されているFAAの游泳コンテンツを,联邦航空局が承認した消費者に提供するものです。USDOTでは,定時運航便,遅延・欠航便,それぞれの事象に影響を受けた乗客数などの重要な気づきを得るために,交通流管理やターミナルデータのディストリビューションなど,公開されている游泳データセットを活用し,あらゆるデータを分析して,フライト,空港,乗客の行動に関する複数のシナリオを予測したいと考えました。
慎重に評価した結果,微软Azureとデータブリックスのレイクハウスプラットフォームを採択しました。その理由は,Apache卡夫卡のリアルタイムストリーミングで,OracleやSybaseなどのオンプレミスのデータベースを含むさまざまなデータソースを民主化できたからです。
“データブリックスのおかげで,効率的なジョブスケジュールの作成,クラスタのスケーリング,分析やBIのための笔记本の実行ができます。”(ハシミポアー氏)
USDOTでは,三角洲湖により,あらゆるデータの容易な活用,ダウンストリーム分析や機械学習ワークロードが可能な高信頼で高効率なデータパイプラインの構築が可能になっています。バッチおよびストリーミングデータのフローに柔軟に対応できるため,画面や权力BIなどの主要ツールに情報を送ってデータ分析の気づきを視覚化したり,機械学習モデルに情報を送って交通流のパターンや乗客のニーズの理解を深め予測したりすることができます。
最近では，usdotのデ，タチ，ムの生産性も高まっています。データブリックスの活用によって,データエンジニア,データサイエンティスト,アナリストなど全てのデータチームのコラボレーションが効率化し,データをより有効に活用できています。ハシミポア，氏は次のように述べています。作業は極めて効率的になっています。ジョブスケジュールの作成,クラスタや笔记本の実行,複数のソースからのデータの整理や分析などをシンプルに行うことができます。Usdotでは，乗客のエクスペリエンスを向上させる新たな機能を提供できるようになりました。」
低コストで高みを目指す
USDOTは,データブリックスの導入によって,場所を問わず,展開,拡張できる柔軟なデータ環境を構築し,追加の游泳,同様のストリーミング情報を低コストで分析できるようになりました。また,USDOTではクラウドのコスト効率とデータブリックスの自動インフラ機能を活用して,独自のデータ変換や処理を行っています。これにより,他のクラウドベースソリューションと比較して,ストリーミングデータの収集と取り込みのコストが90%削減されています。
デ，タブリックスは，usdotのデ，タチ，ムのニ，ズに対応。複数のストリームからの複雑なデータの取り込みや分析を自動化し,さまざまな分析や機械学習のワークロードのダウンストリームを可能にしました。USDOTは最小限の労力で,必要に応じて複数の環境でデータを照合し,オペレーションや性能において適した意思決定を行っています。
“何を構築,自動化すべきかを把握し,システムインフラをセキュアかつ効率的に反復できるようになりました。今ではリアルタイムな航空データの利用に制限はありません。”(ハシミポアー氏)
システムの進化にあわせて,データパイプラインをさらなる分析や機械学習のワークロードに開放し,データドリブンな予測や意思決定の精度を高め,民間航空会社による乗客へのサービス向上をターゲットに絞った情報を提供することで,USDOTはケイパビリティ向上を図っています。
米国運輸省は,画面を活用してデータ分析の気づきを可視化し,交通流のパターンや乗客のニーズを深く理解し,正確な予測を行っています。
