機械学習ラブラリ(MLlib)

Apache火花の機械学習ライブラリ(MLlib)とは,シンプルでスケーラビリティが高く,他のツールと容易に統合できるように設計された,機械学習を実装するためのツールです。火花のスケーラビリティ,言語の互換性,高速性により,データサイエンティストは,分散データを取り巻く複雑さ(インフラストラクチャ,構成など)の解決ではなく,データの問題とモデルに集中できます。火花上に構築されたMLlibは,分類,回帰,クラスタリング,協調フィルタリング,次元削減,基になる最適化プリミティブなど,一般的な学習アルゴリズムとユーティリティで構成されるスケーラブルな機械学習ライブラリです。火花MLLibは,火花SQL,引发流,DataFrameなどの他の火花コンポーネントとシームレスに統合し,砖运行时にインストールされます。このライブラリは,火花アプリケーションの一部としてJava, Scala,およびPythonで使用可能であり,完全なワークフローに含めることができます。MLlibにより,データの前処理,書き換え,モデルのトレーニング,および大規模予測を行うことができますMLlibでトレーニングされたモデルを使用して,構造化ストリーミングで予測を行うことも可能です。引发は,分類から回帰,クラスタリング,深層学習まで,さまざまな機械学習タスクを実行するための高度な機械学習APIを提供します。