检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String
API提交,编辑作业时建议不修改。 代理方式:通过用户名、密码访问的方式提交。新建作业建议选择代理提交,可以避免权限问题导致的作业提交失败。 数据质量当前不支持MRS hive组件的严格模式 。 数据库 选择配置的数据质量规则所应用到的数据库。 说明: 数据库基于已建立的数据连接。 当“规则类型”选择“自定
使用案例 案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便
使用案例 案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String
端所使用的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考下表进行赋权。 表2 数据库账号权限 类型名称 权限要求 源数据库连接账号 数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELEC
属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名 stand_row_id String 关联的数据标准的ID,ID字符串。 stand_row_name String 关联的数据标准名称,只读。
Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。
Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。
哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。 目标端配置 *数据源类型 选择存储脱敏后数据的数据源类型,支持的脱敏场景如表3所示。 *数据连接 选择已在管理中心组件创建的数据连接。若未创建请参考创建DataArts
源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user String 创建作业的用户。由系统生成,用户无需填写。 creation-date Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。
Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String
Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。
Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。
objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-val
属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名 stand_row_id String 关联的数据标准的ID,ID字符串。 stand_row_name String 关联的数据标准名称,只读。
Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。
partitions的值只能为正整数。 如果作业和脚本中同时配置了同名的参数,作业中配置的值会覆盖脚本中的值。 说明: 用户定义适用于此作业的配置参数。目前支持的配置项: dli.sql.autoBroadcastJoinThreshold(自动使用BroadcastJoin的数据量阈值)
large规格,8核CPU、16G内存的虚拟机。适合单张表规模≥1000万条的场景。 6ddb1072-c5d7-40e0-a874-8a032e81a698:表示cdm.xlarge规格,16核CPU、32G内存的虚拟机。需要10GE高速带宽进行TB以上的数据量迁移时使用。 type 是