“Databricksの導入によって市場投入までの時間を短縮できました。また，分析や運用管理が効率化したため，医療部門の新たなニ，ズに対応できるようになっています。」
オーストラリアの公衆衛生情報サービス(国家卫生服务目录:NHSD)を管轄するヘルスダイレクト・オーストラリアは,テラバイト級のデータを活用して時間主導型活動基準のヘルスケアトランザクションをカバーし,ヘルスケアサービス,情報提供,サポートの改善に注力しています。ヘルスダイレクト・オーストラリアは,厳格なガバナンス要件,チームのサイロ化,従来のシステムのスケーラビリティの欠如といった課題を解決するために砖への移行を実施しました。その結果,ダウンストリームの機械学習のためのデータ処理の高速化および,HIPAA要件を満たすデータセキュリティの確保に成功しています。
デ，タ品質，ガバナンス，サ，ロ化，スケ，ラビリティの問題を解決
ヘルスダイレクト・オーストラリアは,高まる規制に対応すべく,包括的なデータ品質の向上と,ガバナンスの強化を目指していましたが,データの保存やアクセスに関する問題に直面しました。ダウンストリーム分析用のデータを効率的に準備するうえで,乱立するデータサイロが障壁となり,スタック内のさまざまなシステムにデータソースが分散し,それらのデータが同期されていないことでデータ読み取りの一貫性に影響を及ぼしていました。また，品質の低いデ，タによるエラ，率の上昇や効率性の低下という問題もありました。ばらばらなアーキテクチャが運用上のオーバーヘッドを生み,患者を十分に理解するという重要なミッションの妨げとなっていました。
さらに,予約方法,料金設定,e -ヘルスのトランザクションなどにおける顧客の需要の変化に伴い,10億以上のデータポイントを取り込む必要があり,そのデータ量は1 TB以上になることが予想されました。
ヘルスダイレクト・オーストラリアのチーフアーキテクトであるピーター・ジェームズ(彼得·詹姆斯)氏は,次のように述べています。“私たはデタに関して多くの課題を抱えていました。”まずデ，タ処理が不効率でした。バッチのオ，バ，ランも発生していました。24時間の時間枠を取っていては満足な医療デ，タやサ，ビスを提供できなくなることに気づきました。」
ヘルスダイレクト・オーストラリアは,業務を適切にサポートするためには,エンドツーエンドのプロセスと技術スタックを刷新する必要があることを認識しました。
数据库と三角洲湖で分析を刷新
ヘルスダイレクト・オーストラリアは,データエンジニアリングをシンプルにし,データサイエンスのイノベーションを加速させる統合データ分析プラットフォームを導入することを決断しました。砖の笔记本環境を利用することで,特殊な用途のジョブを毎回実行する必要がなく,コントロールされた方法でコンテンツを変更できるようになりました。
“砖はデータ運用だけでなくチーム運営にも良い影響を及ぼしています。アナリストとデータオペレーションチームが直接やりとりするようになり,全体の工数が半減しました。彼らが協力し合うことでサービスの提供スピードが大幅に向上しています。”(ピーター・ジェームズ氏)
ヘルスダイレクト・オーストラリアは,三角洲湖を利用して,降落,原始,分期,黄金といった論理的なデータゾーンを作成しています。これらのゾーン内では,構造化データも非構造化データも,そのまま三角洲湖のテーブルに保存されます。そこから,メタデータ駆動型のスキーマを使用し,そのテーブル内のネストされた構造にデータを保持します。これにより,あらゆるソースからのデータを一貫して処理することができ,データを利用するさまざまなアプリケーションへのデータのマッピングが簡素化されます。
また,構造化ストリーミングにより,全てのETLバッチジョブをストリーミングETLジョブに変換し,複数のアプリケーションに一貫したサービスを供給できるようになりました。ヘルスダイレクト・オーストラリアは,火花構造化ストリーミング,三角洲湖,砖統合データ分析プラットフォームの導入により,アーキテクチャが大幅に改善され,性能の向上,運用上のオーバーヘッドの削減,プロセスの効率化に成功しています。
デタパプランの高速化が可能にする患者中心ヘルスケア
ヘルスダイレクト・オーストラリアは,砖による性能の改善と三角洲湖によるデータの信頼性向上の結果,名前のファジーマッチングアルゴリズムの精度を95%まで向上させ,手作業を排除しました。数据库導入以前は手作業による確認に依存しており，80%に満たない精度でした。
また,三角洲湖と構造化ストリーミングによる運用効率の向上により,月に3万件以上の自動更新を処理できるようになりました。砖を導入する前は、信頼性の低いバッチジョブを手作業で行っており、同数の更新を処理するために 6 か月を要しており、データ処理の効率が 6 倍向上したことになります。
さらに,データの読み込み速度を1分間に100年万レコードまで高めることができ,2000人万レコードにおよぶデータセット全体を20分で読み込めるようになりました。砖導入以前は、同じ 100 万件のトランザクションに 24 時間以上を要しており、アナリストの迅速な意思決定が妨げられ、効果的なデータ活用が行えませんでした。
これらに加え,コンプライアンス要件を満たすうえで重要であったデータセキュリティの大幅な改善を実現しました。砖は、HIPAA などの標準的なセキュリティ基準に対応しているため、ヘルスダイレクト・オーストラリアは、同国が定めるセキュリティ要件も満たすことができました。大幅なコスト削減を実現しつつ、役割変更に伴うアクセス権限の更新、メタデータレベルのセキュリティの変更、データ侵害などのインシデントを監視・検知することで、データの確実性を維持できるようになりました。
“砖の導入によって市場投入までの時間を短縮できました。分析や運用管理が効率化し,医療部門の新たなニーズに対応できるようになっています。”(ピーター・ジェームズ氏)
ヘルスダレクトオストラリアの未来は明るいものになるでしょう。砖の導入により、データと分析の価値を証明し、それらが組織運営とビジョンに与える影響の大きさを示しました。文書化されたデータリネージや品質が保証され、データへのアクセスが透明化されたことで、、さまざまなビジネスグループやアナリストグループがより簡単かつ迅速にデータから価値を引き出せるようになりました。ヘルスダイレクト・オーストラリアは、全ての人の医療・ヘルスケアを向上させるという目的を達成すべく、積極的なデータ利活用に取り組んでいます。
