Arnoud de Munnik

作为荷兰领先的时尚电子商务公司，Wehkamp致力于为客户提供更好的购物体验。使用Spark，数据科学团队能够基于产品和客户的大规模数据开发各种机器学习项目。数据科学团队的一个主要主题是对产品进行排名。如果访问者输入一个搜索短语，那么符合搜索短语的最佳产品是什么?产品应该以什么顺序显示?如果访问者进入产品概览页面，其中显示了数百甚至数千种特定文章类型的产品，那么对产品进行排名也很重要。

在这个项目中，Spark被用于整个流程:检索和处理搜索短语及其结果，创建点击模型，创建特征集，训练和评估排名模型，使用ElasticSearch将模型推向生产，并创建Tableau仪表板。在这次演讲中，我们将演示如何使用Spark建立整个产品排名管道，以及我们在这一过程中面临的挑战。