比较Apache火花TM和砖
Apache火花功能提供速度、易用性和广度的使用效益,包括api支持一系列的用例:
- 数据集成和ETL
- 互动分析
- 机器学习和先进的分析
- 实时数据处理
砖之上构建的火花和补充道:
- 高度可靠和高性能的数据管道
- 大规模生产数据科学
特征比较
砖运行时 |
运行多个版本的火花 | ||
内置的云存储文件系统优化访问(AWS S3,红移,Azure Blob) | ||
Serverless池为SQL和Python提供自动配置资源的工作负载 | ||
Spark-native细粒为最佳利用资源共享 | ||
故障隔离的计算资源 | ||
快写S3 | ||
计算优化在连接和过滤器 | ||
快速的发布周期 | ||
伸缩计算 | ||
伸缩本地存储 | ||
高可用性集群 | ||
多用户共享集群 | ||
自动迁移之间的位置和随需应变的实例 | ||
第二级计费 |
管理三角洲湖 |
ACID事务 | ||
模式管理 | ||
批处理/流读/写支持 | ||
数据版本控制 | ||
性能优化 |
集成工作区 |
交互式笔记本电脑支持多种语言(SQL、Python、R和Scala) | ||
实时协作 | ||
笔记本修订历史和GitHub集成 | ||
一键式可视化 | ||
发布笔记本作为交互式仪表板 |
生产工作和工作流程 |
火花工作监控警报 | ||
一键部署从笔记本电脑到火花工作 | ||
api来构建工作流笔记本 | ||
生产流监控 |
企业安全 |
访问控制为笔记本、集群、工作,结构化数据 | ||
审计日志 | ||
与SAML 2.0支持SSO | ||
数据加密(静止和运动) | ||
合规(HIPAA、SOC 2 2型) |
集成 |
通过身份验证的ODBC / JDBC连接其他BI工具(表、检查员等) | ||
REST API | ||
数据源连接 |
专家支持 |
帮助和支持的提交者工程师火花 | ||
SQL支持 |