检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作为key,通过配置@{column1}--@{column2}。 例如:目的端字段为id、name,需要使用这两个字段值,则配置成@{id}--@{name}。 schema:该参数会显示在写入的数据的消息体中,此处配置该参数时后续显示为设置的参数;如果没有配置,默认使用原表的schema值。
配置OBS源端参数 作业中源连接为OBS连接时,源端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 源端为OBS时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET_2 源目录或文件
配置RestApi源端参数 表1 RestApi作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据请求地址 数据请求地址。 是 /api/getUsers 请求方法 请求方法,支持GET/POST。 是 GET 请求体 请求方法为POST时显示该参数。
确。 图1 资源权限配置页面 单击待创建权限策略HDFS组件下“hacluster”的“配置” ,进入配置界面单击“创建”,新建权限策略。 图2 新建权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图3 配置权限策略 表2 配置HDFS权限策略参数说明
配置数据访问权限 数据权限简介 配置数据目录权限 配置数据表权限(待下线) 管理审批中心(待下线) 父主题: 数据目录
清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and
更新动态数据脱敏策略 功能介绍 更新动态数据脱敏策略。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/masking/dynamic/policies/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置作业源端参数 配置MySql源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数
配置DLI源端参数 作业中源连接为DLI连接时,源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。
into"或"on duplicate key update"。 1 stream load 配置参数 stream load 配置参数。 max_filter_ratio=0 父主题: 配置作业目的端参数
配置Rest Client源端参数 表1 Rest Client作为源端时的作业参数 参数 说明 取值样例 数据请求地址 数据请求的地址。 /data/query 请求方法 请求方法,GET/POST。 GET 请求体 请求方法为POST时显示该参数。 请求体,json格式。 是
update,当存在主键、唯一性索引冲突时,目的表中约束冲突的行除开唯一约束列的其他数据列将被更新。 insert into where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 (可选)修改作业日志存储路径 父主题: 购买并配置DataArts Studio
更新空间资源权限策略 功能介绍 更新空间资源权限策略 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/permission-resource/{policy_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
更新权限集的权限 功能介绍 更新权限集的权限。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/permission-sets/{permission_set_id}/permissions/{permission_id} 表1
由于文本文件中无法用字符串定义null值,此配置项定义将何种字符串标识为null。 例如:如果配置为null,则数据中如果存在某行某列值为“null”,则会被解析为null值。 - MD5文件名后缀 文件格式为二进制格式时支持此参数。 校验CDM抽取的文件,是否与源文件一致。 .md5 父主题: 配置作业源端参数
不创建:选择此项表示不创建定时索引。 从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 每小时 单行提交次数 配置需要单次提交的大小。 10000 重试次数 单次请求失败重试次数,最大限制重试次数10次。 3 父主题: 配置作业目的端参数
_index 分页大小 分页大小。 否 1000 ScrollId超时时间配置 ScrollId超时时间配置,默认5分钟。 否 5 重试次数 单次请求失败重试次数。最大限制重试次数10次。 否 3 父主题: 配置作业源端参数
择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间
单击左侧导航树中的“空间资源权限”,进入空间资源权限页面。 图1 进入空间资源权限页面 单击空间资源权限页面的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“保存”,策略配置完成。 表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。