检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果作业测试运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 调度方式:本示例中选择“周期调度”。 调度属性:2022/02/09至2022/02/28,每天1点执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。 跨周期依赖:可以选择配置为自依赖或者
表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String 任务id。 name 是 String 任务名称。 description 否 String 任务描述。 user_id 是 String 用户id。 create_time 否 String 创建时间。
CDM可以通过批量导入的功能,实现批量创建作业,方法如下: 手动创建一个作业。 导出作业,将作业的JSON文件保存到本地。 编辑JSON文件,参考该作业的配置,在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群,实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业,配合For
度量对象。 owner 是 String 指标责任人。 owner_department 是 String 指标管理部门。 destination 是 String 设置目的。 definition 是 String 指标定义。 expression 是 String 计算公式。 remark
度量对象。 owner 是 String 指标责任人。 owner_department 是 String 指标管理部门。 destination 是 String 设置目的。 definition 是 String 指标定义。 expression 是 String 计算公式。 remark
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
用于查询指定的发布包详情信息。 100 10 设置作业标签 此设置作业标签。 100 10 查询告警通知记录 查询指定时间段内的告警通知记录。 100 10 发布任务包 目前支持发布包管理中相关包的发布,支持发布多个任务包。 100 10 撤销任务包 目前支持发布包管理中相关包的撤销,支持撤销多个任务包。
在创建CDM表/文件迁移的作业,源连接选择为MongoDB连接或者DDS连接时,高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量,例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss
状态码: 200 表3 响应Body参数 参数 参数类型 描述 id Long 作业ID。 name String 作业名称。 description String 作业描述。 category_id Long 所属目录ID。 level String 告警级别,SUGGEST表
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
BizCatalogVO object 流程架构目录。 表5 BizCatalogVO 参数 参数类型 描述 name String 流程名称。 description String 描述。 guid String 对应资产中ID。 owner String 责任人。 parent_id String
是否必选 参数类型 描述 action-id 是 LIST<STRING> 需要执行的动作。 枚举值: start-import: 开始导入 skip-exist 否 Boolean 是否需要覆盖更新已有的主题。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时,源端数据源选择HDFS、文件格式选择二进制格式后,在“源端作业配置”的“高级属性”中,配置如下参数。 加密方式:选择“AES-256-GCM”。 数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。
ID列表,ID字符串。 del_types 否 String 删除类型。 枚举值: PHYSICAL_TABLE: 是否删除数据库物理表,只针对能物化的表生效(配置此值则表示删除) 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。
ID列表,ID字符串。 del_types 否 String 删除类型。 枚举值: PHYSICAL_TABLE: 是否删除数据库物理表,只针对能物化的表生效(配置此值则表示删除) 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。
实时处理集成作业开发 实时处理集成作业概述 支持的数据源 新建实时处理集成作业 配置实时处理集成作业 管理并查看监控指标 配置源端和目标端参数 自动建表映射规则 性能调优参数配置 常见问题 父主题: 数据开发
"zonghe8830", "name_ch" : "zonghe8830(testweidu830)", "description" : "", "create_by" : "abc", "data_type" : "STRING"
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 而表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 图7 配置Kafka Client节点参数
作业关联的CDM集群删除后,如何快速修复? 可能原因 作业关联的CDM集群已删除。 解决方案 CDM集群被删除后,作业中的关联信息会保留原配置。用户只需在CDM中新建同名集群和作业,作业将使用新的同名CDM集群和作业,同时提示用户原CDM集群和作业将被替代。 限制条件: 该功能于1