Apache火花™
代理代理，Apache火花， le moteur d’analyses unifiées，一个不同部门的企业的迅速发展。Des actor essentiels du monde de l'internet telels que Netflix, Yahoo et eBay ont déployé Spark à très grande échelle, traant ensemble plusieurs peta-octets de données sur Des clusters de plus de 8 000 neure。Cette communauté开源est rapidement devenue la + important du monde du big data avec + 1 000个贡献者+ 250个组织。
Apache Spark est 100%开源，hébergé par la Fondation Apache, indépendante de tout fournisseur。Chez Databricks, nous nous engagement pleinement dans l'entretien de ce modèle de développement ouvert。主要丹斯拉主要avec la communauté Spark, Databricks继续à贡献者大规模au projet Apache Spark， à la fois par le développement et en faisant la promotion de la communauté。
De nombreux数据科学家，分析师等加上généralement utilisateurs De商业智能exploitent les requêtes SQL倒explorer des données。Spark SQL est un module Spark conçu pour le traitement de données structurées。Il apporte une couche d'abstract en programming appelée DataFrames et peut également faire office de moteur de requêtes SQL distribué。Il permet aux requêtes Hadoop Hive de s'exécuter 100 fois + vite sur les déploiements et données存在，无修改。Il apporte également un haut niveau d'intégration avec le reste de l'écosystème Spark (notamment en intégrant le traitement des requêtes SQL au机器学习)。
应用量变特性分析器données分批，新通量供应données临时réel。功能基于基础Spark, Spark流永久的应用程序分析等互动，travaillant à la fois sur des données en flux ou historiques tout en héritant de la simplicité d'utilisation et de la tolérance de panne de Spark。Il s'intègre parfaitement avec une大型游戏de资源de données bien connues, telles que HDFS, Flume, Kafka et Twitter。
Le机器学习est rapidement devenu une pièce maîtresse pour l'extraction d'information exploitables与大数据无关。Conçu sur une base Spark, MLlib est une bibliothèque de machine learning adaptive à toutes les échelles qui fournit des algorithmes de grande qualité (notamement avec plusieurs itérations pour gagner en précision) extrêmement rapides (jusqu'à 100 fois plus rapides que MapReduce)。Cette bibliothèque est utilable en java, Scala et Python sous formme d'applications Spark, si bien que vous pouvez l'inclure dans des workflow complete。
GraphX est un moteur de calculus de GraphX conçu sur la base de Spark。凸地利用设备，变压器和推理设备données structurées图形，manière交互设备à图échelle。Il est livré avec une bibliothèque d'algorithmes communs。
Spark Core est le moteur d'exécution Spark, sur -jacent de la plateforme, sur level toutes les aures fonctionnalités。Il apporte des capacités de compute en mémoire pour加上de rapidité， un modèle d'exécution généralisé capable de prendre en charge une vaste gamme d'applications, et des API Python, Scala et java pour un développement facilité。
Conçu de bout en bout dans une optique de performance, Spark peut s'avérer100 fois加上rapide que Hadoop pour le traitement de données à grande échelleEn explotant le calculation En mémoire et d'autres optimization。火花est également rapide sur les données stockées sur disque;Il détient à世界上真实的生命记录à大échelle de données sur disque。
Spark possède des API simples d'utilisation pour travailler sur de grands ensembles de données。cell -ci成分符号un ensemble de plus de 100 opérateurs pour la transformation de données et des API familières pour DataFrames permettant la manipulation de données semi-structurées。
Spark est livré avec des bibliothèques haut niveau qui prenent en charge les requêtes SQL, les données en flux, le机器学习et le tritement de。Ces bibliothèques标准渗透剂aux développeurs de gagner en productivité et peuvent se合成器设施pour créer des flux de travail complex。
Databricks bob体育亚洲版Unified Anbob体育客户端下载alytics Platform offre une performance 5 fois + élevée que la solution Spark开源，des notebooks collaboratifs, des workflow intégrés et et de la sécurité pour l' enterprise - le tout en une seule Platform de cloud entièrement managée。
尝试砖Le项目Apache Spark开源esttelechargeable ici．
