使用Databricks的IDE

步骤1:创建Python虚拟环境

1. 在终端上创建一个空白文件夹，以包含此代码示例的虚拟环境。这些指令使用名为ide-demo．您可以给这个文件夹起任何名称。如果使用不同的名称，请在本文中替换该名称。创建文件夹后，切换到该文件夹，然后从该文件夹启动Visual Studio Code。一定要包括点(．)在代码命令。

   Linux和macOS:

   mkdir ide-democdide演示代码。

   提示

   如果你得到错误命令不发现:代码,请参阅从命令行启动在微软网站上。

   Windows:

   医学博士ide-democdide-demo代码．

2. 在Visual Studio Code中，在菜单栏上单击查看“>终端”．

3. 的词根ide-demo文件夹，运行pipenv命令，其中<版本>例如，您已经在本地安装的Python的目标版本(并且，理想情况下，该版本与您的目标集群的Python版本匹配)3.8.14．

   Pipenv——python <版本>

   注意Virtualenv位置属性的输出中的pipenv命令，因为您将在下一步中需要它。

4. 选择目标Python解释器，然后激活Python虚拟环境:

   1. 在菜单栏上，单击查看>命令面板、类型Python:选择，然后按Python:选择解释器．

   2. 在您刚刚创建的Python虚拟环境的路径中选择Python解释器。(该路径被列出为Virtualenv位置属性的输出中的pipenv命令。)

   3. 在菜单栏上，单击查看>命令面板、类型终端:创建，然后按终端:创建新终端．

   4. 确保命令提示符表明您处于pipenv壳。为了确认，你应该看到类似(<用户名>)在命令提示符之前。如果没有，执行以下命令:

      pipenv壳

      退出pipenvShell，执行该命令退出，括号消失。

   有关更多信息，请参见在VS Code中使用Python环境在Visual Studio Code文档中。

步骤2:从GitHub克隆代码样本

1. 在Visual Studio Code中，打开ide-demo文件夹(文件>打开文件夹)，如尚未打开。

2. 点击查看>命令面板、类型Git:克隆，然后按Git:克隆．

3. 为提供存储库URL或选择存储库源,输入https://github.com/databricks/ide-best-practices

4. 浏览到您的ide-demo文件夹，然后单击选择存储库位置．

步骤3:安装代码示例的依赖项

1. 安装dbx以及与您的Python版本兼容的Databricks CLI。要做到这一点，在Visual Studio Code中，从您的终端，从您的ide-demo带有pipenv外壳激活(pipenv壳牌)，执行以下命令:

   PIP安装DBX

2. 确认dbx安装。执行如下命令:

   dbx——版本

   如果返回版本号，dbx安装。

   如果版本号低于0.8.0，请升级dbx执行如下命令，检查版本号:

   PIP安装DBX—升级DBX—版本#或者…Python -m PIP install DBX——upgrade DBX——version

3. 当你安装时dbx，同时自动安装Databricks命令行。使用实例确认已安装Databricks命令行。

   砖,版本

   如果返回版本号，表示已安装Databricks命令行。

4. 如果您还没有设置Databricks CLI身份验证你必须现在就做。要确认已设置身份验证，请运行以下基本命令以获取有关Databricks工作空间的一些摘要信息。请确保包含正斜杠(/)在ls子命令:

   Databricks工作区ls /

   如果返回工作区的根文件夹名称列表，则设置身份验证。

5. 安装此代码示例所依赖的Python包。要执行此操作，请从ide-demo / ide-best-practices文件夹:

   PIP install -r unit-requirements.txt

6. 确认已安装代码示例的依赖包。执行如下命令:

   皮普列表

   中列出的包让而且unit-requirements.txt文件位于此列表中的某个位置，则安装依赖的包。

   请注意

   中列出的文件让是针对特定的包版本。为获得更好的兼容性，可以将这些版本与集群节点类型您希望Databricks工作区用于以后运行部署。的Databricks运行时版本，请参阅“系统环境”部分Databricks运行时发布．

步骤4:为Databricks工作区定制代码示例

1. 自定义回购dbx项目设置。要做到这一点，在.dbx / project.json文件，更改值配置文件对象从默认的到与您使用Databricks CLI设置的身份验证相匹配的配置文件的名称。如果您没有设置任何非默认配置文件，请离开默认的为是。例如:

   ｛“环境”：｛“默认”：｛“配置文件”：“默认”，“storage_type”：“mlflow”，“属性”：｛“workspace_directory”：“/共享/ dbx / covid_analysis”，“artifact_location”：“dbfs: /共享/ dbx /项目/ covid_analysis”｝｝}，“inplace_jinja_support”：假｝

2. 自定义dbx项目的部署设置。要做到这一点，在conf / deployment.yml文件，更改值spark_version而且node_type_id对象从10.4.x-scala2.12而且m6gd.large去数据库运行时版本字符串而且集群节点类型您希望Databricks工作空间用于在其上运行部署。

   例如，要指定Databricks Runtime 10.4 LTS和一个i3.xlarge节点类型:

   环境：默认的：工作流：-的名字：“covid_analysis_etl_integ”new_cluster：spark_version：“10.4.x-scala2.12”num_workers：1node_type_id：“i3.xlarge”spark_python_task：python_file：“文件:/ /工作/ covid_trends_job.py”-的名字：“covid_analysis_etl_prod”new_cluster：spark_version：“10.4.x-scala2.12”num_workers：1node_type_id：“i3.xlarge”spark_python_task：python_file：“文件:/ /工作/ covid_trends_job.py”参数：［”——刺激”］-的名字：“covid_analysis_etl_raw”new_cluster：spark_version：“10.4.x-scala2.12”num_workers：1node_type_id：“i3.xlarge”spark_python_task：python_file：“文件:/ /工作/ covid_trends_job_raw.py”

代码模块化

测试

包装

的setup . py文件提供要在控制台上运行的命令(控制台脚本)，例如皮普命令，用于打包Python项目setuptools．看到入口点在setuptools文档。

其他文件

在这个代码示例中，还有其他文件之前没有描述过:

• 的.github /工作流文件夹包含三个文件，databricks_pull_request_tests.yml，onpush.yml,onrelease.yaml，表示GitHub动作，稍后将在GitHub的行为部分。

• 的.gitignorefile包含一个本地文件夹和文件的列表，Git会忽略你的repo。

使用dbx运行

1. 的内容covid_analysis文件夹在Python中是一个包setuptools发展模式通过从您的根目录运行以下命令dbx项目(例如ide-demo / ide-best-practices文件夹)。一定要包括点(．)在命令的末尾:

   PIP install -e。

   该命令创建一个covid_analysis.egg-info的编译版本的信息covid_analysis / __init__ . py而且covid_analysis / transforms.py文件。

2. 运行以下命令运行测试:

   pytest测试/

   测试结果显示在终端中。所有四个测试都应显示为通过。

   提示

   有关其他测试方法，包括R和Scala笔记本的测试，请参见笔记本的单元测试．

3. 可选地，通过运行以下命令获取测试的测试覆盖率指标:

   覆盖范围运行-m pytest tests/

   请注意

   如果有消息显示报道找不到，运行皮普安装报道，再试一次。

   使用实例查看测试覆盖率结果。

   覆盖报告-m

4. 如果所有四个测试都通过，则发送dbx项目的内容到你的Databricks工作空间，通过运行以下命令:

   DBX部署——环境＝默认的

   类中指定的位置发送有关项目及其运行的信息workspace_directory对象中的.dbx / project.json文件。

   类中指定的位置发送项目的内容artifact_location对象中的.dbx / project.json文件。

5. 在您的工作空间中运行代码的预生产版本，通过运行以下命令:

   DBX启动covid_analysis_etl_integ

   到运行结果的链接将显示在终端中。它应该看起来像这样:

   https:// < your-workspace-instance-id > / ? o＝1234567890123456#工作/ 123456789012345 / / 12345运行

   在您的web浏览器中点击这个链接，在您的工作区中查看运行结果。

6. 运行生产版本的代码在您的工作空间，通过运行以下命令:

   DBX启动covid_analysis_etl_prod

   到运行结果的链接将显示在终端中。它应该看起来像这样:

   https:// < your-workspace-instance-id > / ? o＝1234567890123456#工作/ 123456789012345 / / 23456运行

   在您的web浏览器中点击这个链接，在您的工作区中查看运行结果。

使用GitHub操作运行

在项目的.github /工作流文件夹,onpush.yml而且onrelease.ymlGitHub Actions文件执行以下操作:

• 在每次推到以v,使用dbx要部署covid_analysis_etl_prod的工作。

• 在不是以。开始的标记的每次推v：

  1. 使用pytest运行单元测试。

  2. 使用dbx方法中指定的文件covid_analysis_etl_integ作业添加到远程工作空间。

  3. 使用dbx方法中指定的已部署文件covid_analysis_etl_integ作业，跟踪此运行直到它完成。

方法的设置和运行onpush.yml而且onrelease.ymlGitHub Actions文件。