检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手工停止当前执行的任务 功能介绍 手工停止当前执行的任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/ins
模型采集 > 采集任务”,单击“创建采集任务”,进入创建采集任务页面。 配置采集任务信息,见下表。 表1 采集任务配置 参数 配置说明 名称 用户自定义任务名称。 描述 对该任务的描述内容。 数据源 选择对应的数据源。 适配器 选择对应的适配器。 开始执行时间 选择采集任务开始执行的时间。
roma为2中创建的数据库连接用户名。 password为数据库连接用户的密码。 执行以下命令退出数据库连接。 exit; 父主题: 创建数据集成任务(组合任务)
参数 参数类型 描述 task_name String 任务名称。 最小长度:3 最大长度:100 total_num Integer 总任务数。 最小值:0 最大值:999999999 error_num Integer 失败任务数。 最小值:0 最大值:999999999 success_num
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
查询组合任务的映射列表 功能介绍 查询组合任务的映射列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/inst
每种状态任务的数量信息。 cdc_task_details TaskStatisticDetails object 每种状态任务的数量信息。 表4 TaskStatisticDetails 参数 参数类型 描述 running_tasks_count Integer 运行任务数量。
采集任务”。在任务列表中找到需要启动的任务,单击“操作”栏中的“启动”即可启动任务。 启动:表示启动采集任务的定时任务,即按照创建采集任务时配置的开始执行时间、周期类型以及执行周期启动采集任务。 执行:表示立即执行一次此采集任务。 任务启动后,“启动”按钮会变为“停止”按钮,单击“停止”即可停止任务。
选择查询时间的粒度,需要与任务计划中配置的“单位”一致,才能覆盖新产生的数据。例如:任务计划中“单位”设置为“日”,则此处设置为“日”,表示每次任务获取数据的时间区间为一天。 周期指定 仅当“周期设置”选择“自定义”时需要配置。 选择获取源端数据的时间周期区间。例如:任务为每天执行一次,“
a2映射到目标端字段b2。 完成Mapping信息配置后,若需要配置异常数据存储、任务完成后执行,请前往配置异常数据存储(可选)、配置任务完成后执行(可选);否则可直接单击“保存”,完成数据集成任务的配置。 MRS Hive分区字段映射配置说明 当目标端数据类型为MRS Hive
数据集成任务管理 查看数据集成任务 导入导出数据集成任务 附录:QuartZ Cron表达式配置说明 父主题: 数据集成指导
UUID以确保唯一性。 是否清空表 每次调度任务时是否先清空目标表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。 DM 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择DM作为目标端数据源。 在创建任务页面中配置目标端信息。 表7 目标端DM信息 参数
DWS变成只读状态导致FDI任务运行失败 原因分析 在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有
FDI任务只能采集单张表到单张表吗? 普通任务只能从源端的单个表采集到目标端单个表,组合任务可以配置多个表采集到多个表。 父主题: 数据集成普通任务
supplemental log data (all) columns; 执行以下命令退出数据库连接。 exit; 父主题: 创建数据集成任务(组合任务)
supports_net_changes @role_name = NULL -- role_name END 父主题: 创建数据集成任务(组合任务)
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。 父主题:
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
MQS实例管理 查询MQS实例列表 查询MQS实例详情 父主题: 消息集成API