如何构建一个使用Fivetran营销分析解决方案和印度生物技术部在砖Lakehouse吗

Tahir Fayyaz”>
</picture>
<noscript>
<picture>
<source type=

分享这篇文章

营销团队使用许多不同平台驱动营销和销售活动,它可以产生大量的有价值的但bob体育客户端下载断开连接的数据。一起把所有的数据可以帮助驱动一个大的投资回报,如图所示阳狮集团(Publicis Groupe那些能够增加活动收入高达50%。

砖Lakehouse,结合数据仓库和AI用例在一个平台,是理想的地方建立一个营销分析解决方案:我们维护真理的单一来源,解锁AI /毫升用例。bob体育客户端下载我们还利用两个砖合作伙伴解决方案,Fivetran和印度生物技术部,解锁一个广泛的市场营销分析用例包括生产和生命周期价值分析,客户细分,广告效果。

Fivetran允许您轻松摄取数据从50 +营销平台为三角洲湖不需要建立和维护复杂的管道。bob体育客户端下载如果任何营销平台的api改变或破坏,Fivetrbob体育客户端下载an会照顾的更新和修复集成你的营销数据不断流入。

印度生物技术部是一个流行的开源框架bob下载地址,它允许lakehouse用户使用简单的SQL构建的数据管道。一切都组织在目录,作为纯文本,进行版本控制,部署和可测试性简单。数据摄取到三角洲湖后,我们使用印度生物技术部变换,测试和文档数据。转换后的营销分析数据集市之上的摄入数据然后准备用来帮助推动新的营销活动和计划。

Fivetran和印度生物技术部都是砖的一部分合作伙伴联系,一站式门户发现和安全地连接数据,分析和人工智能工具直接在砖平台。bob体育客户端下载只需单击几下鼠标就可以配置和连接这些工具(以及更多)直接从砖工作区。

如何构建营销分析的解决方案

在这动手演示,我们将展示如何摄取Marketo并使用Fivetran Salesforce数据转换成砖,然后使用印度生物技术部变换,测试和文档你的营销分析数据模型。

所有的代码演示在Github是可用的workflows-examples库。

印度生物技术部谱系图显示数据来源和模型”src= — 印度生物技术部谱系图显示数据来源和模型

最后印度生物技术部模型谱系图是这样的。Fivetran源表在绿色左边和最终的营销分析模型是正确的。通过选择一个模型,你可以看到相应的依赖关系与不同模型强调了紫色。

数据摄取使用Fivetran

Fivetran有许多营销分析数据源连接器”src= — Fivetran有许多营销分析数据源连接器

创建新的Salesforce和其连接Fivetran开始摄取营销数据到三角洲湖。当创建Fivetran也将自动的连接创建和管理模式对于每个数据源在三角洲湖。我们将稍后使用印度生物技术部变换,清洁和聚合数据。

定义一个目的地模式在三角洲湖Salesforce数据来源”src= — 定义一个目的地模式在三角洲湖Salesforce数据来源

演示的名称的模式将被创建在三角洲湖marketing_salesforce marketing_marketo。如果模式不存在Fivetran将创建它们的初始摄入负载。

选择要同步的数据源对象作为三角洲湖表”src= — 选择要同步的数据源对象作为三角洲湖表

然后,您可以选择哪些对象同步三角洲湖,其中每个对象将被保存作为单独的表。Fivetran也使它简单的管理和视图列正在同步为每个表:

Fivetran监视仪表板监控每月活跃行同步”src= — Fivetran监视仪表板监控每月活跃行同步

此外,Fivetran提供了监视仪表板分析多少每月活跃行数据同步每日和每月为每个表,以及其他有用的统计数据及日志。

数据建模使用印度生物技术部

现在,所有的营销数据在三角洲湖,您可以使用印度生物技术部通过以下步骤来创建数据模型

设置本地印度生物技术部项目和连接到SQL数据砖

设置本地印度生物技术部开发环境后,在你选择的IDE印度生物技术部核心和dbt-databricks设置指令。

支架一个新的印度生物技术部项目和连接砖SQL的仓库使用印度生物技术部init,会询问以下信息。

印度生物技术部init美元输入一个名称为您的项目(字母、数字、下划线):你会哪个数据库就像来使用?(1)砖(2]火花输入一个数字:1主机(yourorg.www.neidfyre.com):http_path (HTTP路径):令牌(dapiXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX):模式(默认的印度生物技术部将建立对象的模式在):线程(1或(更多)1]:

一旦配置概要文件可以使用:测试连接

印度生物技术部美元调试

安装Fivetran印度生物技术部为分段模型包

使用Marketo和Salesforce数据的第一步是创建表作为我们的模型的来源。幸运的是,Fivetran使得这个与他们的预构建容易启动和运行Fivetran印度生物技术部模型包。这个演示,让我们使用marketo_source和salesforce_source包。

只是增加一个安装包packages.yml印度生物技术部项目文件的根和添加marketo-source,salesforce-source和fivetran-utils包:

包:- - - - - -包:dbt-labs / spark_utils版本:0.3比上年- - - - - -包:fivetran / marketo_source版本:[“> = 0.7.0”,“= 0.4.0”,”下载和使用的包

印度生物技术部deps美元

您现在应该看到Fivetran包安装包文件夹。

更新dbt_project。yml Fivetran印度生物技术部模型

有几款dbt_project.yml文件,您需要修改,以确保Fivetran包砖的正常工作。

的dbt_project.yml文件可以在您的印度生物技术部项目的根文件夹。

spark_utils覆盖dbt_utils宏

Fivetran印度生物技术部模型使用的宏dbt_utils包,但其中一些宏需要修改与砖容易使用spark_utils包中。

它通过提供垫片对某些dbt_utils宏,你可以设置使用调度配置dbt_project。yml文件和这印度生物技术部将首先搜索宏在spark_utils包解决dbt_utils宏的名称空间。

调度:- macro_namespace: dbt_utilssearch_order:【“spark_utils”,“dbt_utils”]

变量marketo_source和salesforce_source模式

要求您定义的Fivetran包目录在印度生物技术部(称为数据库)模式数据的土地,当被Fivetran摄取。

这些变量添加到dbt_project。yml文件使用正确的目录和模式名。默认的目录是hive_metastore这将使用如果_database留空。定义的模式名称将会在Fivetran创建连接时。

var:marketo_source:marketo_database:#保留为空白则使用默认hive_metastore目录marketo_schema: marketing_marketosalesforce_source:salesforce_database:#保留为空白则使用默认hive_metastore目录salesforce_schema: marketing_salesforce

Fivetran分段模型的目标模式

避免所有创建的临时表Fivetran源模型被创建在缺省目标模式可以是有用的定义一个单独的分期模式。

dbt_project。yml文件添加分期模式名称,这将是默认的模式名称后缀。

模型:marketo_source:+模式:your_staging_name#保留为空白则使用默认target_schemasalesforce_source:+模式:your_staging_name#保留为空白则使用默认target_schema

在此基础上,如果你的目标模式中定义的配置文件。yml是mkt_analytics,该模式用于marketo_source和salesforce_source表mkt_analytics_your_staging_name。

禁用丢失的表

在这个阶段您可以运行Fivetran模型包来测试他们正常工作。

印度生物技术部运行-选择marketo_source

印度生物技术部运行-选择salesforce_source

如果任何模型失败由于缺失的表,因为你没有选择同步Fivetran那些表,然后在你的源模式你可以禁用这些模型更新dbt_project.yml文件。

例如,如果电子邮件反弹和电子邮件模板表缺少Marketo源模式你可以禁用这些表的模型通过添加以下模型配置下:

模型:marketo_source:+模式:your_staging_nametmp:stg_marketo__activity_email_bounced_tmp:+启用:假stg_marketo__email_template_history_tmp:+启用:假stg_marketo__activity_email_bounced:+启用:假stg_marketo__email_template_history:+启用:假

发展中市场营销分析模型

印度生物技术部谱系图显示了星型模式和总表数据模型”src= — 印度生物技术部谱系图显示了星型模式和总表数据模型

现在Fivetran包已经照顾的创建和测试分段模型就可以开始为你的营销开发数据模型分析用例将星型模式数据模型以及物化总表。

第一营销分析仪表盘,例如,您可能想看到某些公司和销售区域是如何通过电子邮件活动的数量和点击打开。

要做到这一点,你可以加入Salesforce和Marketo表使用Salesforce用户邮件,Salesforce account_id Marketo lead_id。

下的模型将结构化集市文件夹以以下方式。

marketing_analytics_demo|——dbt_project.yml|——packages.yml|——模型|——集市|——核心|——中间|——marketing_analytics

你可以把所有的代码在Github的模型/模型/集市目录下面描述了每个文件夹是什么还有一个例子。

核心模型

核心模型是事实和维度表将被用于所有下游模型建立。

印度生物技术部dim_user SQL代码模型

与salesforce_users作为(选择account_id,电子邮件从{{裁判(“stg_salesforce__user”)}}在哪里电子邮件是不零和account_id是不零),marketo_users作为(选择lead_id,电子邮件从{{裁判(“stg_marketo__lead”)}}),加入作为(选择lead_id,account_id从salesforce_users左加入marketo_users在salesforce_users.email=marketo_users.email)选择*从加入

你也可以添加文档和测试模型使用yaml文件的文件夹。

有两个简单的测试core.yml添加了文件

版本:2模型:——名称:dim_account描述:“帐户维度表”列:——名称:account_id描述:“主键”测试:——not_null——名称:dim_user描述:“用户维度表”列:——名称:lead_id描述:“主键”测试:——not_null

中间模型

最后的一些下游模型可能依赖于相同的计算指标,以避免重复SQL可以创建中间模型,可以重用。

印度生物技术部的SQL代码int_email_open_clicks_joined模型:

与打开作为(select *从{{ref (“fct_email_opens”)}}),点击作为(select *从{{ref (“fct_email_clicks”)}}),opens_clicks_joined作为(
              选择o.lead_id作为lead_id,o.campaign_id作为campaign_id,o.email_send_id作为email_send_id,o.activity_timestamp作为open_ts,c.activity_timestamp作为click_ts从打开作为o左连接点击作为c在o。电子邮件_send_id = c.email_send_id和o。lead_id = c.lead_id
              )select *从opens_clicks_joined

营销分析模型

这些最后的营销分析模型将被用于电力使用的仪表板和报告市场和销售团队。

印度生物技术部的SQL代码country_email_engagement模型:

与账户作为(选择account_id,billing_country从{{裁判(“dim_account”)}}),用户作为(选择lead_id,account_id从{{裁判(“dim_user”)}}),opens_clicks_joined作为(选择*从{{裁判(“int_email_open_clicks_joined”)}}),加入作为(选择*从用户作为u左加入账户作为一个在u.account_id=a.account_id左加入opens_clicks_joined作为oc在u.lead_id=oc.lead_id
              )选择billing_country作为的国家,数(open_ts)作为打开时,数(click_ts)作为点击,数(click_ts)/数(open_ts)作为click_ratio从加入集团通过国家