检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行编辑。 单击“保存”。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
Elasticsearch分页查询,用来设置分页size的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id,超时或者scroll查询结束后会清除请求的srcoll_id,通过设置这个超时时间配置,来指定scroll_id超时时间。
资源名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选
是 HTTP消息的最长等待时间。若超时未收到消息,作业会被停止,节点状态置为取消。 最长等待时间的取值为1-24小时,默认为24小时。超过设置的最长等待时间,该节点及后续节点取消运行。 父主题: 节点参考
单击,在弹出的对话框中配置转储任务的参数(参数说明请见《数据接入服务用户指南》的管理转储任务)。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
创建DWS数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据仓库服务(DWS)”,输入数据连接名称,设置其他参数,如下图所示,单击“测试”,提示连接成功,单击“确定”。 创建对账作业。 在DataArts Studio数据质量模块,单击左侧导航菜单“对账作业”。
景下为自定义目录。 ${dateformat(yyyy/MM/dd, -1, DAY)} 文件名前缀 文件格式为CSV格式时显示该参数。 设置文件名前缀。 文件名格式:prefix-jobname-timestamp-index。 data 压缩格式 文件格式为CSV格式时显示该参数。
添加数据源,选择需要迁移的MySQL表。 图1 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 目标端配置。 图2 配置目标端参数 设置源表与Topic映射规则: 目标Topic名称规则:源端表名与目的端Topic名的映射规则,可以指定为单一Topic,也可使用内置字段做映射。
如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 脱敏 隐藏字符串中的关
topic列表,可以为多个topic,以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置: LATEST:最大偏移量,即最新的数据。 EARLIEST:最小偏移量,即最老的数据。 fromJobConfig.isPermanency
迁移。 否 键分隔符 用来分隔关系型数据库的表和列名。 _ 值分隔符 以STRING方式存储时,列之间的分隔符。 ; key值有效期 用于设置统一的生存时间,单位:秒。 300 父主题: 配置CDM作业目的端参数
如果指定了该参数,程序在抽取数据时将读取第一行作为标题行。 否 编码类型 文件格式为CSV格式或JSON格式时支持此参数。 文件编码类型。 只有文本文件可以设置编码类型,否则设置无效。 支持的文件编码类型有UTF-8 、 GBK。 UTF-8 压缩格式 压缩格式。 默认无。支持的压缩格式有GZIP,ZIP及TAR
resource_id。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 无 请求示例 DELETE
补数据名称 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 是 String
id&gid&name”。 toJobConfig.shouldClearTable 否 Boolean 导入前是否清空目标表的数据,如果设置为true,任务启动前会清除目标表中数据。 父主题: 目的端作业参数说明
数。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 无 请求示例 POST /
spel表达式。 固定值。 从接口中获取:data.pageCount。 说明: 如果接口不是分页接口,并且只想调用一次,则将数据总数的值设置的小于或者等于每次拉取的数据。 是 固定值时推荐1000 父主题: 配置作业源端参数
String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。
用户同步接口 查询用户同步列表 查询单个用户同步任务 父主题: 数据安全API
单击数据安全左侧导航树中的“数据密级”,进入数据密级页面。 图1 进入数据密级 单击“新建”,参考表1输入数据密级信息。 图2 新建数据密级 表1 参数设置 参数名 参数设置 *密级名称 密级名称只能包含中文、英文字母、数字和下划线,创建完成后不支持“编辑”操作。 密级描述 密级描述支持所有字符输入,创建完成后支持通过“编辑”操作修改。