检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果通过SQL节点分别执行导入脚本，需要开发大量脚本和节点，导致重复性工作。在这种情况下，我们可以使用For Each节点进行循环作业，节省开发工作量。 配置方法 准备源表和目的表。为了便于后续作业运行验证，需要先创建DLI源数据表和目的表，并给源数据表插入数据。 创建DLI表。您可以在DataArts
通过新建数据连接，您可以在数据开发模块中对相应服务进行更多数据操作，例如：管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下，可支持多个作业运行和多个脚本开发，当数据连接保存的信息发生变化时，您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接 数据开发模块的数据连接，是基于管理
项目名称可以参考如下步骤进行获取： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取： 在DataArts Studio控制台首页，选择对应工作空间，并单击任一模块，如“管理中心”。
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据，但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数据架构数据搬迁依赖于数据架构的导入导出功能。
数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查？章节进行排查。
项目名称可以参考如下步骤进行获取： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取： 在DataArts Studio控制台首页，选择对应工作空间，并单击任一模块，如“管理中心”。
业编排和作业调度功能。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个数据开发批处理作业，作业名称为“BI_analysis”。 图7 新建作业 图8 配置作业 然后进入到作业开发页面，拖动两个Dummy节点和两个DLI
生成一个新的Signer，填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例
导出导入脚本 导出脚本 您可以在脚本目录中导出一个或多个脚本文件，导出的为开发态最新的已保存内容。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 { "links": [ {
辑器上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。 本章节以可视化模式和DDL模式为例，介绍如何在数据开发模块新建数据表。 前提条件 已创建数据库及DWS数据库模式，请参见新建数据库和（可选）新建数据库模式。 已在数据开发模块中创建与数据表类型匹配的数据连接，请参见新建数据连接。
输入或选择集合名，单击输入框后面的按钮可进入集合的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts St
项目名称可以参考如下步骤进行获取： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取： 在DataArts Studio控制台首页，选择对应工作空间，并单击任一模块，如“管理中心”。
表。 在质量作业列表，单击“导入”。 图13 批量导入质量作业 在弹出的导入窗口中，选择从旧空间导出的质量作业文件，然后选择数据连接、集群和目录等的映射路径，“重名处理策略”默认选择“终止”，最后单击“导入”。 图14 质量作业导入 在导入记录中，可查看导入状态，显示为成功后即成功导入。
检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查？章节进行排查。
在DWS中创建数据库，以“gaussdb”数据库为例。创建数据库的详情请参考新建数据库进行操作。 创建数据表 在“gaussdb”数据库中创建数据表trade_log和trade_report。详情请参考如下建表脚本。 create schema store_sales; set current_schema=
CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和MRS集群网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和MRS集群处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： CDM集群作为管理中心数据
ync-bulk 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token
图1 批量导出 在弹出的窗口中，选择“全部作业和连接”，单击“确认”，导出所有作业和连接。 图2 全部导出 导出成功后，通过浏览器下载地址，获取到导出的JSON文件。 新空间导入作业和连接 请您登录控制台首页，选择并进入新工作空间的“数据集成”模块，然后执行如下操作进行批量导入。 在
2:3306:cdm:user:password 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JD
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
