Sparklyr

Sparklyrとは

SparklyrとはR言語とApache火花間のインターフェースを提供するオープンソースのパッケージです。火花では,分散データを低レイテンシで扱えるため,火花の機能を最新のR環境で活用することができるようになりました。Sparklyrは,インタラクティブな環境にある大規模なデータセットと連動するための有効なツールです。これにより,火花でデータを分析するために,Rの使い慣れたツールを使用することが可能となり,Rと火花両方のメリットを享受できます。Sparklyrによりdplyr (Rユーザーに人気のデータ操作パッケージ)のバックエンドとして火花を利用することが可能です。Sparklyrには、データの変換または前処理用の Spark ツールにアクセスする機能があり、Spark の分散型機械学習アルゴリズム等のインターフェイスも提供します。また、Sparklyr には拡張機能があり、Spark API を呼び出すための Sparklyr に依存する R パッケージを作成することが可能です。その拡張機能の 1 つが H2O Rsparkling です。これは、H2O の機会学習アルゴリズムと互換性のある R パッケージです。

Sparklyrの主な特徴

• dplyrやSQL(DBI経由)を使用し，Sparkデ，タを
• Sparkデ，タセットのフィルタリングと集計を実行し，Rでその結果を分析することが可能
• 火花MLlibまたはH2O SparkingWaterを使用し,Rから分散型機械学習を統合することが可能
• 火花APIを呼び出し,火花パッケージへのインターフェースを提供する拡張機能の作成が,Sparklyrユーザーにより実行可能　
• Sparklyr，視覚化に有用な包括的なdplyrバックエンドの提供
• ローカルのRデータフレーム,蜂巢テーブル、CSV、JSON、镶花ファイルなど,さまざまなデータソースから火花DataFramesにデータを読み込むことが可能
• Sparkのロカルンスタンスおよびリモトクラスタへの接続が可能