检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2
不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特性后,可勾选数据集成组件,勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能
规则组包含一个或者多个规则,规则间是逻辑表达式。 定义规则A 支持从下拉框中选择已定义的规则。 单击,可插入多条规则。 订阅配置 通知状态 通过单击或来关闭或开启通知开关。 通知类型 包含如下类型: 触发告警 运行成功 选择主题 选择消息通知的主题。 说明: 当前仅支持“短信”、“邮件”这两种协议的订阅终端订阅主题。
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2
VPN购买和对接。 其他云数据库所在网络添加路由。 其他云数据库所属网络的路由表中需要添加路由,目的地址指向Migration资源组VPC网段,下一跳跳至步骤3中创建的云专线物理连接或VPN对端网关设备。 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migratio
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_id String 数据连接ID。 dw_name String 数据连接名,只读。
警。建议预警余量基于基线上任务的运行时长来配置。 基线任务开关 :开启基线任务,系统将会监控基线任务以及其依赖链上游的所有任务。 :关闭基线任务,系统不会监控基线任务以及其依赖链上游的所有任务。 报警开关 :开启报警开关,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出
表6 value 参数 参数类型 描述 total Integer 总量。 records Array of records objects RelationVO信息。 表7 records 参数 参数类型 描述 tables Array of TableModelVO objects
启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务,不指定时默认不启用该功能,例如:“ok.txt”。 fromJobConfig.waitTime 否 String 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识文件,作业挂机等待的时长,当超时后任务会失败。
集群配置/日志查看/数据监控。 监控指标配置。 创建集群 连接管理 连接管理实现的能力如下: 支持DLI、MRS Hive、Spark SQL、DWS、MySQL、主机等连接管理。 支持代理连接、直连、MRS API等连接方式。 创建连接 作业管理 作业管理可以实现在同构、异构数据源之间进行表或文
高级属性 加密方式 选择是否对上传的数据进行加密,以及加密方式: 无:不加密,直接写入数据。 KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 详细使用方法请参见迁移文件时加解密。 KMS KMS ID 写入文件时加密使用的密钥,“加密方式”
印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 动态水印 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指定的用户组或角色在数据开发组件中转储或下载敏感数据时,数据开发组件会为敏感数据注入暗水印,保护敏感数据不被泄露。
dw_type 是 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_name 否 String 数据连接名称,只读,创建和更新时无需填写。
符来区分各个文件,默认为“|”。 | 标识文件名 选择开启作业标识文件的功能时,需要指定启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识
因此权限申请前,请确保空间权限集已配置所选数据表中所有列的SELECT权限。 另外,导航树上的快速模式开启后,库表列的元数据会从数据目录获取,否则会从数据源获取元数据。推荐开启快速模式。 *已选择资源 在已选择资源列表中可查看所选的表、权限和审批人信息。 说明: 审批人默认来自权
响应Body参数 参数 参数类型 描述 count Integer 查询采集任务数量。 total_records Integer 同一projectId下已创建采集任务数量。 max_records Integer 同一projectId下允许创建采集任务数量。 resources Array
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_name String 数据连接名称,只读,创建和更新时无需填写。
DALONE模式。 选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群,只能使用EMBEDDED运行模式连接其中一个集群,其余需使用STANDALONE。 linkConfig