检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Integer 分页列表的起始页，默认值为0。取值范围大于等于0。 size 否 Integer 分页返回结果，指定每页最大记录数。默认值：10 start_date 否 Long 查询作业的开始日期 13位时间戳 end_date 否 Long 查询作业的结束日期 13位时间戳 请求参数
如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 X-Auth-Token 是 String IAM Token 最小长度：0 最大长度：4096 Content-Type 是 String 发送的实体的MIME类型 表2
实时处理集成作业开发 实时处理集成作业概述 支持的数据源 新建实时处理集成作业 配置实时处理集成作业 管理并查看监控指标 配置源端和目标端参数 自动建表映射规则 性能调优参数配置 常见问题 父主题： 数据开发
原因分析 数据迁移，整表查询且该表数据量大，那么查询时间较长。 查询过程中，其他用户频繁进行commit操作。 Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。
关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行，会根据整库作业的配置重建子任务，不支持修改子任务后再重新运行主作业。 支持整库迁移的数据源请参见支持的数据源。 约束限制
ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时，源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。 dis
业务指标接口 查询业务指标信息 创建业务指标 更新业务指标 删除业务指标 查看指标详情 查看指标维度信息 查看指标责任人信息 获取指标关联信息 父主题： 数据架构API
1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量
String 替换后的资源名。 响应参数 表6 参数说明 参数名 是否必选 参数类型 说明 taskId 是 String 任务ID，请调用查询系统任务接口获取导入状态。 请求示例 从OBS路径上导入作业，如果有重名作业、脚本，则覆盖。所导入的作业定义文件在OBS上的路径为obs://aaaaa/job_batch
Flink作业执行的程序关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。
维度接口 查找维度 新建维度 更新维度 删除维度 查看维度详情 查看维度颗粒度 查看逆向维度表任务 父主题： 数据架构API
选择在前提条件中已创建的MRS Kafka类型数据连接。注意，Kafka应为第三方平台发布消息所在的Kafka，Kafka数据连接中的账户要具备kafkaadmin用户组的权限。 *topic主题 选择第三方平台的动态脱敏策略发布Kafka消息的Topic主题。同一个MRS集群的一个Topic主题只能对应一个订阅任务。
表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配
通知管理”中配置了作业异常/失败的SMN通知，但却收不到作业失败的告警通知。 图1 通知管理 解决方案 此时可按以下步骤依次排查： 确认失败作业为调度中的作业。测试运行的作业是不发通知的，只有调度中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。
步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种数据库的数据同步。您可以根据数据库所在网络环境，选择合适的同步解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网
分区 分区信息，表为分区表的时候，写数据的时候，可以选择需要写入的分区数据。 例如：year=2020,location=sun。 - 高级属性 入库时间字段 将一个字段标记为入库时间字段，自动建表时将此字段自动加到建表语句中，写入Hudi时将把此字段的值替换为当前时间。所选字段必须为timestamp类型。
授权：授权会给予APP在有效期内访问API的权利。 续约：续约会更新授权有效期，仅支持延长有效期，不能减少。 API解除授权： API审核人可发起，解除API对APP的授权关系。解除授权后，APP将不再能够调用该API。API解除已授权的APP关系，需要为APP预留至少2天的准备时间。 APP解除授权：
Where子句 配置定时任务：重复周期为1天，每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种时间宏变量，结合CDM定时任务的重复周期：分钟、小时、天、周、月，可以实现自动导出任意指定日期内的数据。 父主题： 增量迁移原理介绍
Where子句 配置定时任务：重复周期为1天，每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种时间宏变量，结合CDM定时任务的重复周期：分钟、小时、天、周、月，可以实现自动导出任意指定日期内的数据。 父主题： 增量迁移原理介绍
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
