检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Schema名名和表名，其中表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图8 Hudi目的端配置项 表6 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径，每张
与源端的文件格式一致。 说明： 当源端为MRS Hive数据源时，仅支持配置CSV格式。 当源端为FTP/SFTP数据源时，仅支持配置二进制格式。 CSV格式 重复文件处理方式 当源端为HDFS数据源时配置。 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复，可选择如下处理方式：
配置DDS目的端参数 作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的
配置OpenTSDB目的端参数 作业中目的连接为CloudTable OpenTSDB连接时，目的端作业参数如表1所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数，输入指标名称，或选择OpenTSDB中已存在的指标。 city.temp
是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。
配置管理 配置 管理资源 父主题： 数据开发
图3 配置血缘输入 完成血缘的输入表配置后，单击确定，继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”，则血缘输出配置如图4所示。 图4 配置血缘输出 完成血缘的输出表配置后，单击确认，则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系
权限创建表/写入数据/删除表：read权限 配置权限后，在权限视角下支持您对所配置的权限进行编辑、同步或删除等操作。 图7 权限视角权限配置 用户配置：在权限集详情页面，单击“用户配置”进入用户配置页签。 用户配置的含义即为将权限配置中定义的数据权限，与此处的用户绑定起来。您可以
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
添加通知配置 通过添加通知配置，可以快速创建作业的通知配置信息。右键单击作业名称，单击“添加通知配置”，此通知配置为作业的新增配置，详细指导请参见配置通知。 如果要对作业已有通知配置进行修改，请进入通知管理页面，按照配置通知指导进行配置修改。单个作业跳转到通知管理页面后，会对该作
图3 配置血缘输入 完成血缘的输入表配置后，单击确定，继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”，则血缘输出配置如图4所示。 图4 配置血缘输出 完成血缘的输出表配置后，单击确认，则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系
才能生效。 驱动文件 是 “驱动文件来源”选择“本地文件”时配置。不同类型的关系数据库，需要适配不同类型的驱动。 单次请求行数 否 可选参数，指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。默认1000。 连接属性 否
查询权限集中配置的url信息 功能介绍 查询权限集中配置的url信息，例如obs、hdfs等组件中的url路径。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/urls 表1
空间。 可用区 选择数据服务专享集群所在的可用区。 支持单AZ和多AZ两种部署方式。推荐使用多AZ方式。 单AZ：仅可以选择1个AZ，集群节点部署在同一AZ上。 多AZ：可选择2-10个AZ，集群节点部署在不同AZ上，以提升集群的容灾能力。 详情请参见什么是可用区。 集群名称 -
写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度C
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时，源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and
清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
