火花Elasticsearch

数据库無料トラ电子词典アル
使ってみる

Spark Elasticsearchとは

火花Elasticsearchとは,ドキュメント指向および半構造化データを格納,取得,管理するNoSQL分散データベースです。GitHubオープンソースであるElasticsearchは,Apache Luceneをベースに構築され,Apacheライセンスの条件下でリリースされたRESTfulな検索エンジンでもあります。

ElasticsearchはJavaベースであるため,さまざまな形式のドキュメントファイルを検索およびインデックスできる多くのプラットフォームでの利用が可能です。Elasticsearchに格納されるデータは,スキーマレスのJSON (JavaScript对象表示法)ドキュメント形式です。これは，NoSQLデタベスと似ています。

Spark Elasticsearchのプロセスを表す画像です。“日志”と書かれているドキュメントから始まり,収集と変換を行い,Elasticsearchでの検索と分析を経て,最後にKibanaでの可視化と管理に進みます。

Elasticsearchの概要

Elasticsearchは,谷歌ブレインチームのエンジニアによって設計,開発された全文検索エンジンであり,オープンソースツール群“弹性堆栈”の重要な一角を担っています。Elasticsearchは,Reddit, YouTube, eBayといったさまざまな商用アプリケーションで広く使用されています。テキストベ，スの検索は，多くの企業のビジネスプロセスにおいて不可欠な要素になっています。この点において，Elasticsearchは他の検索エンジンと類似しています。

Elasticsearchと他の検索エンジンの大きな違いは,分散データを保存,管理できることです。サ▪▪ズが常に変化するようなデ▪▪タを扱うことを想定しているとも言えます。これにより，どんなに大きなデ，タセットに対しても，非常に複雑なクエリを実行することが可能です。しかし1台のデータベースサーバーで複数のユーザーからのデータを処理することによる潜在的な影響は,大幅に増大する可能性があります。

Elasticsearchのユ，ザ，

谷歌、甲骨文、微软などの大手テクノロジー企業や,その他の多くの有名企業を含む何千ものトップ企業が，オンラesc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc esc

しかし,構造化データのインデックスを作成する簡単な方法を知るために,テクノロジーの巨人になる必要はありません。Elasticsearchの存在を知り，どのように機能するかを理解すればいいのです。

Elasticsearchの用途

Elasticsearchは，次のような幅広いユ，スケ，スに対応します。

  • ロギングとログ解析:Elasticsearchを中心とした補完的なオープンソースソフトウェアやプラットフォームで構築されたエコシステムにより,ロギングソリューションの実装と拡張が最も容易なものの1つになりました。
  • パブリックデ，タの抽出と結合:Elasticsearchは,複数の異なるデータソースを取り込み,その全てを管理して検索が可能な状態に保つことができる柔軟性を備えています。
  • 全文検索：Elasticsearchはドキュメント指向のデータベースで,ドキュメントを格納してインデックスを作成します。▪▪▪▪ンデックス作成では，ドキュメントを作成，更新します。。この点で行指向のデ，タベ，スと異なります。
  • :Elasticsearchは,メトリクスやアプリケーションイベントなどの時系列データにも極めて有効であることが知られています。どの技術を使用していても,Elasticsearchは一般的なアプリケーションのデータを簡単に取得するために必要なコンポーネントが用意されています。まれにコンポ，ネントがないこともありますが，その機能の追加は非常に簡単です。

Elasticsearchのア，キテクチャの主要コンポ，ネント

火花Elasticsearchの仕組みや使用するタイミング,使用しないタイミングを理解するには,まず,Elasticsearchアーキテクチャの背後にあるインフラを理解する必要があります。Elasticsearchの主要コンポーネントには,Elasticsearchクラスタ,Elasticsearchノード,ポート番9200号および9300年Elasticsearchシャード,Elasticsearchレプリカ,Elasticsearchアナライザ,Elasticsearchドキュメントがあります。

Elasticsearchクラスタ

Elasticsearchクラスタは,相互に接続されたコンピューティングノードの集合であり,全てのノードがクラスタデータの異なる部分を保存します。ユーザーは,コンフィグレーションフォルダにある“elasticsearch.ymlファイルを変更することで,各クラスタの実行ノード数を調整できます。実行するクラスタの数はいくつでも良いですが,多くのユーザーは1ノードで十分な結果を得られると考えています。

Elasticsearchノ，ド

Elasticsearchノードは,データベースの検索,インデックス作成,スケーリングにあわせて調整されたコンピューティングリソースです。Elasticsearchは分散データベースであるため,信頼できる唯一の情報源(SSOT)として全てのデータを保持するElasticsearchデータノードを使用します。クラスタ内の各ノ，ドは，異なる名前を使用します。通常,Elasticsearchノードには,各インデックスに約1000年万から5000年万のドキュメントが格納されています。

ポト番号9200および9300

Elasticsearchシャ，ドでは，2種類のポ，トが利用可能です。2つのシャードポートのうち,1つ目は常に開かれており,2つ目はElasticsearchのインデックス作成時とクラスタ初期化時にのみ開かれます。9200年はプライマリシャードに使用するデフォルトのポートで,9300はそのレプリカに使用するデフォルトのポートです。

Elasticsearchシャ，ド

Elasticsearchシャードは1つのインデックスにKibanaインデックスを集めたものです。Elasticsearchには,Elasticsearchドキュメント(doc)とElasticsearchインデックスの2種類のインデックスがあります。ドキュメントは，識別子と。

Elasticsearchレプリカ

Elasticsearchレプリカは，シャ，ドのコピ，です。全ての変更はレプリカに反映されますが，クラ。レプリカは，新しいデ，タが追加されたときや，削除，更新，修正されたときに自動的に更新されます。

Elasticsearchアナラescザ

ElasticsearchアナライザはElasticsearchクラスタの一部で,データベースからデータをフェッチし,分析を行うものです。これにより，ユ，ザ，に返されたデ，タのフィルタリングやソ，トが可能になります。

Elasticsearchドキュメント

Elasticsearchドキュメントは,Elasticsearchの主要なインデックスタイプです。各ドキュメントはデータセット内のIDとして作成され,ドキュメントのタイプごとに1つの列を持ちます。ElasticsearchのドキュメントIDの簡単な例としては,{文档ID}があります。一般的に,Elasticsearchクラスタの各ドキュメントは,シャードID,名前,および全てのフィールドがシャード全体に係る識別子を持つインデックスの配列を持っています。

Elasticsearchの仕組み

簡潔に言うと,Elasticsearchは,データを取得してクラスタ内の全ノードに公開し,現在の保存データ量に基づいてデータをスケーリングするという仕組みです。Elasticsearchの利点は,インデックスを用いて全てのデータを1つのデータベースに格納できることです。

Elasticsearchはドキュメント指向のRESTfulな検索エンジンであるため,さまざまな便利なツールを備えており,大規模でそれ以外の方法では困難なデータでも扱うことができます。さらに，別のルに加えて補完的に使用することも可能です。例として，ElasticsearchとSparkの組み合わせが挙げられます。

Elasticsearchクエリの例

例えば,“电信”という単語を検索したい場合,次のような簡単な検索構文で動作します。

“电信”美元

Elasticsearchはドキュメントから動作するため,単純にドキュメントのリストを検索することはできません。そのため，“文档类型”を指定する必要があります。ここでは类型:电信“というフレーズを使って,検索条件を満たすドキュメントのみを取得するようにします。

このクエリを行うために，クエリパラメ，タとしてドキュメントidを渡します。

类型:电信“美元

これをさらにテストするために,次のように実行して簡単なサンプルドキュメントを作成することも可能です。

创建索引:type:telecommunications创建分区:type:telecommunications——data-urlencode /tasks——data-urlencode tasks/

Elasticsearchが使用するデ，タベ，スの種類

Luceneのインデックス構築と堅牢な分散データベースモデルを組み合わせることにより,Elasticsearchツールはデータセットをシャードと呼ばれる小さなコンポーネントに分割し,さまざまなノードに分散させることができます。

Elasticsearchのデ，タ保存場所

Elasticsearchに格納されるデ，タは，JSON形式またはCSV形式です。全ての@ @ンデックスには，格納されるドキュメント用の独自のテンプレ@ @トがあります。。ログファaapl . exeルは，Elasticsearchのaapl . exeンデックスとして書き込まれます。

これらのドキュメントは,键值ペアの配列としてmemcachedと组呼ばれるデータ構造に格納されます。memcached设置は軽量,低メモリ,スケーラブルなデータ構造で,大容量のメモリを持つデータを保持して処理する能力を備えています。

Elasticsearchのストレージは,取り込み,インデックス作成,検索操作に最適化されており,一定間隔でディスクにファイルが書き込まれます。インデックスのサイズを変更するには,最後に挿入されたドキュメントを削除し,新しいドキュメントに置き換えるしかありません。この作業は”データ移行“と呼ばれ,新しいインデックスから新しいドキュメントを作成して更新した後,再度挿入することを指します。

Elasticsearchアグリゲ，ション

Elasticsearchアグリゲーションとは,同じクラスタを複数のエンドポイントに割り当てることです。本番クラスタのパフォーマンスに影響を与えることなく,追加のデータや機能に同じElasticsearchクラスタを使用できる強力な機能です。

クラスタを集約する際，各ノドには3種類のワクロドのう，1が割り当てられます。ワ，クロ，ドの種類は，次のとおりです。

  1. 非リレ，ショナル
  2. オンライントランザクション処理(OLTP:联机事务处理)
  3. オンラaapl .ン分析処理(OLAP:在线分析处理)

非リレ，ショナル

Elasticsearchが生成する全てのネットワークリクエストは,Elasticsearchクラスタに対して実行されているクエリによって生成されます。

Elasticsearchノードがアイドル状態の場合,バックグラウンドスレッドでクエリを実行し,その結果を継続的にレポートするのはオペレーティングシステムが担います。Elasticsearchノ，ドが使用されている場合は、フェイルオーバーメカニズムに参加する（ノード故障の場合）か、クエリ要求を複数の他のノードに渡し（ノード過負荷の場合）、他のノードの 1 つが解放されるまで待機します。

Elasticsearchによって発生するネットワークトラフィックは,関連データのクエリが最も一般的ですが,Elasticsearchを活用できる場面は他にもたくさんあります。

OLTP

前述のとおり,Elasticsearchが生成する全てのネットワークリクエストは,Elasticsearchクラスタに対して実行されているクエリによって生成されます。

大規模なシステムでは全てのElasticsearchクラスタに対して実行されますが,Elasticsearchをリレーショナルデータソースと組み合わせることが望ましい場合もあります。この場合,Elasticsearchはセカンダリリレーショナルデータソースに対して処理を実行し,実行したクエリの一部のみを記録します。このシナリオでは,各ノードにはセカンダリソースが1つだけ割り当てられ,もう1つはアイドル状態のままです。

OLAP

Elasticsearchアグリゲーションと通常のアグリゲーションの主な違いは,他のアグリゲーションが同じElasticsearchクラスタを複数の目的で使用できるのに対し,Elasticsearchアグリゲーションではセカンダリデータソースを使用して集約データを保存・処理する点です。これにより,Elasticsearchアグリゲーションは,SQLやNoSQLデータセットのようなプライマリデータセットに追加のクエリを作成することなく,より多くのデータを格納できます。

Elasticsearchのaapl .ンスト.ル方法と使用方法

Elasticsearchのaapl .ンスト.ルは，とても簡単です。Elasticsearchのデフォルトリポジトリを使用し,Elasticsearchのデフォルト環境を設定することも可能です。

Elasticsearchは，Kibana。Ymlという設定ファ电子邮箱ルを使用します。必要に応じてファイルを変更でき,InfluxDBやLogstashなどの一般的なElasticsearchのプラグインを利用することも可能です。

Elasticsearchのaapl .ンスト.ル手順

  1. Elasticsearch開発バージョンとサーバーをインストールし,依存関係をインストールします。
  2. Java用のBOSH拡張機能をンストルします。波什拡張機能は,データ操作ツールとしてだけでなく,Elasticsearch用のHTMLテンプレートを作成して,人間がデータにアクセスしやすく,読みやすくするのに役立ちます。BOSH拡張機能には，Javaランタaaplムが必要です。操作系统のJava用デフォルトリポジトリを使用してンストルできます。
  3. Elasticsearchを起動します。
  4. BOSH用Javaプラグ。
  5. これで完了です。Elasticsearchはマシン上で稼働し,読みやすい方法で全てのデータにアクセスできるようになりました。

Elasticsearchのデ，タ可視化

Elasticsearchでは,シンプルなAPIを介してあらゆる種類のデータの検索,フィルタリングが可能です。RESTful APIであるため,データ分析だけでなく,Webベースのアプリケーションの運用環境でも使用できます。現在,Elasticsearchにはファセット検索というデータの集計を計算できる機能が含まれています。最も関連性の高い機能の一部を以下に示します。

  • スケ，ラブルな検索ソリュ，ションの提供
  • ニアリアルタ@ @ム検索の実行
  • マルチテナントのサポ，トの提供
  • バックアッププロセスを合理化し，デ，タの整合性を確保
  • サバクラッシュ時のンデックスのリカバリ
  • JSONおよびJavaアプリケ:(API)を使用
  • Jsonドキュメントのeconrンデックスを自動的に作成
  • ンデックス作成に一意の型レベル識別子を使用
  • 各@ @ンデックスに独自の設定が可能
  • Luceneベ，スのクエリ文字列を使用した検索が可能

SQLではなくElasticsearchを使用する理由

Elasticsearchサービスは,大量のデータを迅速かつ効率的に処理することにおいて,ほとんどのSQL対応サービスよりも格段に優れているため,最も広く採用されている強力かつ有用な検索技術です。

Elasticsearchはエンタープライズサーチのために開発され,データ分析に依存するビジネスに強力な機能と使いやすいツールを提供します。そのため,より少ないリソースでデータのバッチを保存,検索,分析するためのより実用的で柔軟な方法を提供します。

Elasticsearchのバ，ジョンの確認方法

実行中のElasticsearchのバジョンを確認するには，2の方法があります。1つ目は,Elasticsearchのコンソールを起動してログインし,ソフトウェアのバージョンを確認する方法です。2 .目は，Elasticsearchの公式ドキュメントを確認する方法です。

Elasticsearchの代替ソフトウェア

使用するソフトウェアを検討する際には,Elasticsearchの代替品として考慮すべき3つの選択肢があります。

AWS

亚马逊网络服务(AWS)はスタートアップ企業や最先端の研究機関,コンピューティングインフラの強化を目指す大企業にとって最高のコンピューティングプラットフォームです。AWSは、顧客が独自の仮想サーバーを構築して使用できる技術と、業界で最も幅広いクラウドコンピューティングサービスを提供し、Microsoft の Azure と Google の Google Cloud Platform（GCP）の間のいわゆる「クラウド戦争」の原動力となっています。

Solr

Apache Solrは,Javaで書かれたBSDライセンスを採用したオープンソースの検索・分析エンジンデーモンで,最も人気のあるオープンソース検索エンジンの1つです。実際,SolrはTwitter,雅虎、亚马逊,eBay易趣企业などの世界最大級のeコマースサイトやソーシャルメディアプラットフォームの多くで利用されています。

Solrは分散ア，キテクチャを採用しており，高速な検索を実現します。また,独自の统一存储APIを備えており,企業で使用されているほぼ全てのストレージ機構と検索エンジンをシームレスに統合することが可能です。

ArangoDB

ArangoDBは分散型のNoSQLドキュメント指向データベースで,強力なデータ分析処理と使いやすさで人気があります。ArangoDBの Key-Value ストア上で動作する SQL ライクな言語で、ユーザーはリレーショナルデータベースと同じようにテーブル、結合、クエリを作成できます。

ArangoDBは,全てのコードを最新の状態に保つことに優れており,サポートページも適切に設計されています。プロジェクトが成熟し,より多くの人々が貢献するようになれば,サポートページは常に最新の情報が更新されて見やすくなるでしょう。もちろん,PythonやJavascriptなどの主要なプログラミング言語にも対応しています。

Elasticsearchルのベスト

データを最大限に活用するためには,Elasticsearchを他のツールやソフトウェア,特にHevo数据,Logstash, Apache Nifiと組み合わせて使用することをお勧めします。

Hevo数据

Hevo数据Elasticsearchは,Elasticsearchのデータを取り込み,クエリに変換し,クラスタノード上でイベントログとして実行するように設計された,無料でオープンソースの分散型検索エンジンです。Hevo数据Elasticsearchでは,バックアップデータだけでなく,リアルタイムデータに対してもリアルタイムに分析クエリを実行できます。

Logstash

Logstashは，Elasticsearchのルです。Elasticsearchによって抽出されたデ，タをすぐに管理するためのル，ルを定義できます。取得したデータを即座に処理することで,Logstashはデータを最大限に活用するのに最適な分析・可視化ツールを提供します。

Apache NiFi

Apache Nifiは,Facebookの核心位置APIのやTwitter REST API,さらにはYelpの应用功能的APIといった人気の高いオープンソースAPIを含むライブラリセットで,複数のデータソース間の”ディープリンク”を可能にします。Apache NiFiを使用すると,ユーザーは独自のAPIをリンクさせ,データセットの全情報を他のさまざまなソフトウェアで利用できるようになります。

Elasticsearchを検討している方へ

Elasticsearchの機能，etc / etc / etc / etc / etc / etc / etc / etc / etc / etc / etc / etc / etc / etc / etc / etc / etc。そのうえで，ビジネスにとって理想的なルであるかどうかをご判断ください。

额外的资源

回到术语表