Sparkストリ，ミング

Apache火花ストリーミングは,Apache火花の前世代ストリーミングエンジンです。Sparkストリ，ミングの今後の更新はなく，レガシ，プロジェクトとなります。Apache火花には”構造化ストリーミング”と呼ばれる新しくて使いやすいストリーミングエンジンがあります。ストリーミングアプリケーションとパイプラインには,火花構造化ストリーミングをご使用ください。構造化ストリ，ミングの詳細はこらでご覧いただけます。

Sparkストリ，ミングとは

Apache火花ストリーミングとは,スケーラブルで耐障害性に優れた特性を持つストリーミング処理システムです。バッチ処理とストリミング処理のワクロドをネティブにサポトしています。火花ストリーミングは,コアの火花APIを拡張したもので,データエンジニアやデータサイエンティストは,卡夫卡や水槽,亚马逊运动などの複数のソースからリアルタイムデータを処理することが可能です。処理されたデタは，ファルシステムやデタベス，ラブダッシュボドに出力することができます。その鍵となる抽象化は,小さなバッチに分割されたデータのストリームを表現する”離散ストリーム(DStream)”です。DStreamは，Sparkのコアなデ，タ抽象化機能であるRDDを基盤に構築されています。これにより,火花ストリーミングはMLlibや火花SQLのような他の火花コンポーネントとシームレスに統合することが可能となります。Sparkストリ，ミングは、ストリーミングのためだけに設計された処理エンジンを備えているシステムや、Sparkストリーミングと類似したバッチとストリーミングAPIを持ちながら、内部的には異なるエンジンにコンパイルされるシステムとは異なります。Sparkの単一実行エンジンと、バッチとストリーミングのための統合プログラミングモデルは、従来のストリーミングシステムにはないメリットをもたらします。

Sparkストリミングの4の特徴

• 障害時における迅速なリカバリ
• 優れた負荷分散とリソ，ス使用率
• ストリ，ミングデ，タと静的デ，タセット，対話型クエリの統合
• 高度な処理ラ▪▪ブラリ(sql，機械学習，グラフ処理)とのネ▪▪ティブ統合

このような異なるデータ処理機能の統合は,火花ストリーミングを急速に普及させる大きな理由になりました。この統合により，開発者は単一のフレ，ムワ，クを使用して，容易にあらゆる処理ニ，ズに対応できます。