大数据分析:
ビッグデ，タ分析
用語集のトップペ，ジへ
デ，タ分析とビッグデ，タ分析の違い
Hadoopが開発される以前は,最新のストレージと計算システムの基盤となる技術には限りがあり,企業での分析はスモールデータに制限されていました。しかし,このような比較的簡易な形式でも,特に新しいデータソースの統合においては,分析が困難なケースが生じていました。従来のデータ分析は構造化データのテーブルで構成されたリレーショナルデータベース(SQLデータベースなど)の使用に依存しています。データを分析用のデータベースに取り込む前に,未加工データの各バイトを特定の方法でフォーマットする必要があります。フォ，マットとは一般的にetl(抽出，変換，ロ，ド)として知られるプロセスの実行ですが,この3段階あるETLプロセスの最大の問題点は,膨大な時間と新規データソースごとの処理などの労力を費やさなければならないことです。データサイエンティストやデータエンジニアによる実行または変更に最長18か月を要することもあります。
ETLが完了し,データがいったんデータベースに取り込まれた後は,ほとんどの場合,データアナリストは簡単にそのデータの照会や分析ができました。しかし,その後,インターネット,eコマース,ソーシャルメディア,モバイルデバイス,マーケティングオートメーション,モノのインターネット(物联网)デバイスなどの登場により,未加工データのサイズ,量,複雑さが増大し,ほとんどの企業では通常業務内のでデータ分析が困難になりました。ビッグデ，タ分析とは
ビッグデ，タ分析とはeコマース,モバイルデバイス,ソーシャルメディア,物联网などのさまざまなソースから生成された大規模で多様なデータセット,ビッグデータを検証することで,一般的に複雑なプロセスです。ビッグデ，タ分析には、さまざまなデータソースの統合、非構造化データの構造化データへの変換、ネットワーク全体にデータ処理を分散させる専用ツールや技術を用いたデータからの知見の生成が含まれます。デジタルデータの量は急増しており、2 年ごとに倍増しています。ビッグデータ分析とは、この増大するデータソースを管理・分析するために異なる手法を採用したソリューションです。従来のデータ分析の原則は今でも一般的に適用されますが、大規模で複雑なビッグデータ分析には、ペタバイト規模の構造化・非構造化データの保存および処理を可能にする新たな手法の開発が必要でした。高速化と大容量ストレージの必要性は、技術的な空白を生み出しましたが、データウェアハウス、デタレク, NoSQLのような非リレーショナルデータベースなどの新しいストレージ方法や,オープンソースのApache Hadoop,火花、蜂巢のようなデ，タ処理，デ，タ管理技術およびフレ，ムワ，クによってすぐに解決されました。ビッグデ，タ分析では、高度な分析技術を活用し、さまざまなソースからの構造化、半構造化、非構造化データ、テラバイトやゼタバイト級のサイズの膨大なビッグデータセットを分析します。ビッグデタ分析における主なデタタプ
- Webデ，タ:顧客レベルのWeb行動デタ(訪問，ペジビュ，検索，購買など)
- テキストデ，タ:最大かつ広範囲に使用されている非構造化データタイプで,電子メール,ニュース記事,Facebookのニュースフィード,词ドキュメントなどのテキストソースから生成されるデータ
- 時間および位置情報，地理空間デ，タ:GPS,携帯電話,wi - fi接続により,時間や位置情報は興味深いデータのソースとして増加しています。これには,地理情報システムから生成された道路,建物,住所,人物,職場,輸送ルートに関連する地理データなどが含まれます。
- リアルタ电子邮箱ムメディア:リアルタイムデータソースには,リアルタイムストリーミングデータやイベントベースデータが含まれます。
- スマ，トグリッドとセンサデ，タ:自動車，原油パプラン，風力タビンなどのセンサデタは，高頻度で収集されます。
- ソ，シャルネットワ，クデ，タ:Facebook、LinkedIn、Instagramなどのソーシャルネットワーキングサイトからの非構造化テキスト(コメント,いいね,など)で,急増しているデータタイプです。リンク分析により，特定ユ，ザ，のネットワ，クを探し出すことも可能です。
- リンクトデ，タ:このタイプのデータは,HTTP, RDF, SPARQL, URLなどの標準的なWebテクノロジを使用して収集されています。
- ネットワ，クデ，タ:FacebookやTwitterなどの巨大ソーシャルネットワークや,インターネット,電話網,輸送網などの技術ネットワークに関連するデータです。
ビッグデ，タ分析のメリット
- コスト削減:アマゾンウェブサービス(AWS),微软Azure, Apache Hadoop,火花,蜂巢などのクラウドコンピューティングやストレージ技術により,大規模なデータセットの保存や処理にかかるコストを削減し企業を支援します。
- 意思決定の改善:火花の高速性とインメモリ分析で,新しいデータソースを迅速に分析する機能を組み合わせることで,企業はリアルタイムでの意思決定に必要な即時性のある実用的な洞察を生成できます。
- 新製品とサ，ビス開発の促進:ビッグデータ分析のツールの活用により,企業は顧客ニーズの分析精度を高め,顧客が求める製品やサービスを提供しやすくなります。
- 不正検出：ビッグデータ分析は,すでに金融サービス業界で不正防止に活用されていますが,あらゆる業種でもその重要性と利活用度が高まっています。
関連リソ，ス
用語集のトップペ，ジへ
