检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据迁移连接 登录DataArts Studio控制台，单击相应工作空间后的“数据集成”。 在集群管理页面，单击所创建集群操作列“作业管理”，进入“作业管理”页面。 图1 作业管理页面 在连接管理页签中，单击“新建连接”，创建DWS数据连接，参数说明请参见配置DWS连接。 图2 配置DWS连接
入管理中心页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图2 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。 此处创建MapReduce服务 （MRS Hive）数据连接，参数配置如图3所示。 数据连接类型：MapReduce服务（MRS
（可选）获取认证信息 DataArts Studio使用过程中，例如在数据集成创建OBS连接、API调用或问题定位时，您可能需要获取访问密钥、项目ID、终端节点等信息，获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。
Hive数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接，若未创建请参考创建DataArts Studio数据连接新建连接。 集群名称 无需选择，自动匹配数据连接中的数据源集群。 权限目标端 *数据源类型 当前仅支持MRS Hetu数据源。 *数据连接 从下拉列表中选
其它参数可以自定义，或者保持默认。 创建CDH HDFS连接： 单击CDM集群操作列的“作业管理”，进入作业管理界面。 选择“连接管理 > 新建连接”，进入连接器类型的选择界面，选择“Apache HDFS”。 图1 选择连接器类型 单击“下一步”，配置连接参数，依次填写相关信息。URI格式为“hdfs://NameNode
创建Migration实时网络连接（对等连接）。 为了连通中转VPC和实时资源组VPC网络，可以通过DataArts Studio资源管理功能来创建两个VPC间的对等连接。 登录DataArts Studio控制台，进入实例，单击“资源管理”进入资源管理页面。 图5 新建网络连接 在“实时网络连接”页签
HTTP请求方式，表示请求什么类型的操作，包含GET、POST等，遵循resultful风格。 GET：请求服务器返回指定资源，推荐使用GET请求。 POST：请求服务器新增资源或执行特殊操作。POST请求当前不支持body体，而是直接透传。 描述 对API进行简要描述。 标签
Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafka中已创建的Topic，使用SDK或者命令行创建。具体操作请参见从零开始使用Kafka。
新建如表10所示的3个码表维度。 表10 码表维度 *所属主题 *维度名称 *维度英文名称 *维度类型 *资产责任人 描述 *数据连接类型 *数据连接 *数据库 选择码表 供应商 供应商 dim_vendor 码表维度 - 无 MRS_HIVE mrs_hive_link demo_dwr_db
数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。
创建Migration实时网络连接（对等连接）。 为了连通中转VPC和实时资源组VPC网络，可以通过DataArts Studio资源管理功能来创建两个VPC间的对等连接。 登录DataArts Studio控制台，进入实例，单击“资源管理”进入资源管理页面。 图3 新建网络连接 在“实时网络连接”页签
Y N N 操作资源迁移 Y Y Y N 查询资源迁移 Y Y Y Y 新建数据连接 Y Y N N 删除数据连接 Y Y N N 操作数据连接 Y Y Y N 查询数据连接 Y Y Y Y 编辑数据连接 Y Y N N 删除RDS驱动包 Y N N N 操作RDS驱动包 Y N N
移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业，又需要作为DataArts Studio管理中心连接代理时，建议各配置至少一个CDM集群。 待迁移任务库表较多，迁移量较大。此时可以使用多个CDM集群同时作业，提升迁移效率。 当前CDM集群
户，作业不会中断，继续运行。 实例超时是否忽略等待时间 配置实例超时是否忽略等待时间。 如果勾选上，表示实例运行时等待时间不会被计入超时时间，可前往默认项设置 > 实例超时是否忽略等待时间修改此策略。 如果未选上，表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。
户才可以查看审计记录，因此需要保证数据连接中的账号或当前用户账号拥有上述权限（未开启细粒度认证前，使用数据连接上的账号查看审计记录；如果开启了细粒度认证，则使用当前IAM用户身份查看审计记录）。 对于MRS数据源，查看审计数据依赖于数据连接中Agent的版本，请确保CDM集群为2
Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择需要上传数据的Topic，如果有多个partition，默认发送到partition 0。
String 源端连接类型，对应的连接参数如下： generic-jdbc-connector：关系数据库连接。 obs-connector：OBS连接。 hdfs-connector：HDFS连接。 hbase-connector：HBase连接、CloudTable连接。 hive-connector：Hive连接。
DLMRequestRecord getApisError 查询支持的数据源类型 DLMDataSourceType getDatasources 查询数据连接 DLMDataSourceConnection getDatasourceConnections 查询数据库 DLMDataSourceDatabase
是否写入脏数据 选择是否记录脏数据，默认不记录脏数据。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时，才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata
致，确保网络互通。 建立Hive的数据连接 开发Hive SQL前，我们需要在“管理中心 > 数据连接”模块中建立一个到MRS Hive的连接，数据连接名称为“hive1009”。创建MRS Hive连接的操作请参见MRS Hive数据连接参数说明。 关键参数说明： 集群名：已创建的MRS集群。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
