“砖のスケーラビリティにより,1日あたり数10億件に及ぶトランザクションと膨大な量のデータを処理できるようになりました。」
米メディア大手のコムキャスト社は,テクノロジーを活用して数100年万の視聴者に対し,パーソナライズされたエクスペリエンスを提供することを目指していました。しかし,データパイプラインの処理能力が不足していること,データサイエンスに関わる部門間のコラボレーションが困難であることが,目標達成の障壁となっていました。コムキャスト社は,問題の解決策として三角洲湖やMLflowが統合されている砖を導入。ペタバイト規模のデータのための高性能なデータパイプラインを構築し,機械学習モデル100種類以上のライフサイクルの管理を簡素化しました。その結果,エミー賞受賞にもつながる,革新的でパーソナライズされた視聴者エクスペリエンスを実現しました。
デタや機械学習のニズに対応できないンフラ
特定の番組に対する視聴者の声によるリクエストに素早く対応すること,また,数十億件におよぶ視聴者とのやり取りを実用的な洞察に変えることが,コムキャスト社の它インフラストラクチャ,データ分析およびデータサイエンス部門にとって大きな課題でした。コムキャスト社ではさらに,クラウド,オンプレミス,また,場合によってはデバイスへの直接接続など,異なる環境にモデルを展開する必要がありました。数据库導入前のコムキャスト社は次のような課題を抱えていました。
膨大なデ，タ:エンターテインメントシステムから数10億件のイベント,音声対応リモコンから2000年万件以上のデータが生成され,分析のためにセッション化が必要なデータはペタバイト規模になっていた。
脆弱なパereaderプラereaderン:デタパプランは複雑で，失敗を繰り返し，回復作業が困難だった。さらに,多数の小規模なファイルの管理に手間がかかり,ダウンストリームの機械学習タスクのためのデータの取り込みに遅延が生じていた。
コラボレ，ションが不十分:世界中に分散するデータサイエンティストが,それぞれ異なるスクリプト言語を使用しており,コードの共有と再利用が困難であった。
機械学習モデルの不効率な管理:数百種類の機械学習モデルの開発,トレーニング,展開が主に手動で行われており,遅く,複製が困難で,拡張性に欠けていた。
部門間の見解の相違:最新のツールとモデルの使用を推進する開発部門と,実績のあるインフラストラクチャ上での展開を希望した運用部門に,見解の相違が生じていた。
Delta Lakeによるaapl . exeンフラの自動化とデ. exeタパaapl . exeプラaapl . exeンの高速化
コムキャスト社は,視聴者を喜ばせるための新しい施策を打ち出すためには,データ取り込みから機械学習モデルの展開まで,データ分析プロセスの刷新が必要であるとの結論に達し,砖のレイクハウスプラットフォームの導入に至りました。その結果,リッチデータセットの構築,大規模な機械学習の最適化,複数部門が共有するワークフローの合理化とコラボレーションの促進,インフラの簡素化,優れた視聴者エクスペリエンスの提供が可能になりました。
ンフラ管理の簡素化:クラスタの自動管理,および,自動スケーリングやスポットインスタンスなどのコスト管理機能による運用コストの削減。
Delta Lakeによるデ，タパ，プラ，ンの効率化:データの取り込み,エンリッチメント,動画や音声アプリ,デバイスからの未加工のテレメトリーデータの初期処理が可能になった。
大量の小規模ファ电子邮箱ルの確実な処理:Delta Lakeによる，膨大な数の小規模ファaaplルの迅速かaapl確実な取り込みを可能にする最適化。
コラボレ，ションワ，クスペ，ス:インタラクティブなノートブックにより,チーム間の共同作業とデータサイエンスの創造性が向上。これにより，モデルのプロトタピングが迅速になり，高速なテレションが可能になった。
機械学習ラereaderフサereaderクルの簡素化:マネージドMLflowによって,Kubeflow環境における機械学習ライフサイクルとモデルの提供が簡素化され,数百種類以上のモデルの追跡・管理を容易にした。
大規模なetlの信頼性向上:三角洲湖が効率的な大規模分析パイプラインを可能にし,履歴データとストリーミングデータの統合を確実に行い,より豊かな洞察を抽出できるようになった。
毕の高速化:表を活用して顧客分析をするデータアナリストに,広範なデータセットを高速に供給できるようになった。
故事背后:数据团队效应
機械学習を活用したパソナラゼション
競争の激しいエンタテンメント業界では，立止まることは後退を意味します。コムキャスト社は,分析のための統合プラットフォームの導入によってAIを活用した未来型エンターテインメントを先取りし,視聴者エクスペリエンスをより魅力的なものにすることでエンゲージメントを維持し,競争優位性を高めています。
艾美奖获奖观众体验:Databricks帮助康卡斯特通过智能语音命令创造了高度创新和获奖的观众体验，提高了参与度
降低计算成本10倍:Delta Lake使康卡斯特能够优化数据摄取，在提高性能的同时将640台机器替换为64台。团队可以花更多的时间在分析上，而花更少的时间在基础设施管理上。
devops:将200个用户所需的全职devops员工数量从5个减少到0.5个。
更高的数据科学生产力:通过单一的交互式工作空间支持不同的编程语言，促进全球数据科学家之间的合作。此外，Delta Lake还使数据团队能够在数据管道中的任何位置使用数据，使他们能够更快地构建和训练新模型。
更快的模型部署:将部署时间从几周缩短到几分钟，因为运维团队将模型部署在不同的平台上bob体育客户端下载
