跳转到主要内容
公司博客上

AutoML砖:增加数据科学与数据准备操作化

克莱门斯Mewald
通过克莱门斯Mewald

2019年8月20日 在公司博客上

分享这篇文章

成千上万的数据科学就业岗位空缺的今天,全球对人才的需求大大超过了供给。每一天,企业支付的价格数据科学家短缺错失良机而缓慢的创新。为组织实现全部潜能的机器学习,数据团队必须建立每年数以百计的预测模型。对于大多数企业来说,只有一小部分由于人手不足的数量实际上是实现数据科学团队。

砖可以帮助数据科学团队更有效率通过自动化数据科学工作流程的各个步骤,包括功能工程、hyperparameter调优模型搜索和部署——一个完全控制和透明的增强毫升经验。这远远超出自动搜索模型,这是通常被称为AutoML。

今天的博客总结新的和现有功能上可用统一的分析平台启用所有级别的专业知识,具体来说:bob体育亚洲版bob体育客户端下载

  1. AutoML工具包:端到端自动化机器学习管道,包括工程特点、模式搜索,和部署可通过砖公民实验室定制解决方案和专家数据科学家。AutoML MLflow工具包执行自动跟踪。
  2. HyperOpt、MLlib MLflow集成砖运行时的ML:数据科学家希望自动化hyperparameter调优或模型搜索现在可以受益于HyperOpt之间更深层次的集成,MLlib,和MLflow毫升砖运行时的一部分。这种集成使简化分布式条件hyperparameter调优,自动跟踪和增强可视化。
  3. 自定义AutoML解决方案:砖的统一分析平台提供数据工程师和数据科学家能够bob体育亚洲版运行所有分析过程在一bob体育客户端下载个地方,从ETL建模和推理。深度集成和优化与最流行的开源库提供专家数据科学家和ML工程师所需的灵活性和控制运行端到端毫升管道,在砖和自动选择步骤bob下载地址与生产工作。
  4. 集成Azure的机器学习:建立在开源MLflow砖之间的协作和微软宣布今年4月,该集成允许客户访问Azure机器学习提bob下载地址供的自动化的机器学习功能。看到这个文章要学习BOB低频彩更多的知识。

从功能工厂部署AutoML工具包

砖实验室是项目的集合由工程师在现场解决问题我们看到一次又一次与我们的客户。与AutoML工具包,目标是自动化建设毫升管道从功能转换到hyperparameter调优,模式搜索,最后推断,同时仍然提供细粒度控制。

这个砖实验室的项目是一个实验性的端到端自动化:监督学习解决方案

  • 功能清理
  • 功能向量化
  • 模型选择和培训
  • 超参数优化和选择
  • 批处理的预测
  • 日志记录模型的结果和培训(使用运行MLflow)

这个解决方案可以实现任何代码或细调的专家,因为他们认为合适的。

简化分布式Hyperparameter调优和模型搜索Hyperopt和MLflow砖运行时毫升

数据科学家观察加速他们的工作流程也可以受益于Hyperopt之间更深层次的集成,MLlib, MLflow砖运行时为毫升为优化和分布式hyperparameter和模式搜索。

  • 自动模式搜索:优化和分布式条件hyperparameter搜索MLflow增强Hyperopt和自动跟踪。
  • 自动化Hyperparameter优化:优化和分布式Hyperparameter搜索MLflow增强Hyperopt和自动跟踪。深度整合的PySpark MLlib的交叉验证允许自动跟踪在MLflow MLlib实验。

看到例如如何追踪的结果hyperparameter调优在砖和增强Hyperopt MLflow规模集成:

https://www.youtube.com/watch?v=b2KxgBjpe8M

这里有一些额外的资源了解更多:BOB低频彩

完全自定义AutoML解决方案的灵活性和性能

更高级的用户也有能力在砖上运行所有AutoML步骤,从ETL模式训练和推理,利用统一的分析平台的可扩展性和内置的优化与流行的开源库。bob体育亚洲版bob下载地址bob体育客户端下载

毫升的砖运行时还提供了一个可靠和安全的分布最流行的开放源码毫升框架(例如TensorFlow, Keras PyTorch, XGBoost, scikit-learn,…)的优化和集成与Horovbob下载地址od深度学习以及分布MLflow内置的实验和可视化跟踪hyperparameter调优。

下面是额外的资源来深入了解:

看自动化预测建模在Zynga熊猫udf例如基于自定义解决方案的运行在砖上。

下一个步骤

访问//www.neidfyre.com/product/automl了解更BOB低频彩多,开始砖的免费试用。

免费试着砖
开始
看到所有公司博客上的帖子