检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
延时 “延时”处理器用于创建指定时间的延迟。其典型使用场景是若某步骤为耗时任务,且后续步骤依赖于该步骤的执行结果时,可在两步骤之间添加“延时”处理器,以保证后续步骤可正常执行。 配置参数 参数 说明 延迟时间(ms) 延迟的时长,单位为ms。 父主题: 处理器
数据同步验证 连接Mysql数据源,在源端数据表中插入一条数据。 连接Oracle数据源,根据定时器设置的同步时间间隔等待一分钟,在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题: 定时同步MySQL中的数据到Oracle
每页显示的条目数量,limit小于等于100。 start_time 区间开始时间,格式yyyy-MM-dd。开始时间和结束时间间隔不能超过30天。 end_time 区间结束时间,格式yyyy-MM-dd。开始时间和结束时间间隔不能超过30天。 表9 查看构建任务的构建历史列表 参数 说明
副本数,配置数据的可靠性。 partition Integer Topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。 sync_message_flush Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 sync_replication
HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 任务列表中的“开始调度时间”为已创建且未启动的定时任务调度计划的开始生效时间。 已启动的任务,如果需要进行其他操作,例如修改等,需要先停止任务才可进行相关操作。 启动任务 登录ROMA Co
配置说明 名称 用户自定义任务名称。 描述 对该任务的描述内容。 数据源 选择对应的数据源。 适配器 选择对应的适配器。 开始执行时间 选择采集任务开始执行的时间。 周期类型 选择任务执行的周期类型,与执行周期配合使用。 例如周期类型为“周”,执行周期为“2”,则表示每两周执行一次该采集任务。
使用已订阅的资产 用户可以基于已订阅的资产,快速完成应用和数据集成业务的构建,减少业务的部署时间。 使用已订阅的API资产 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产中心>我的资产”,切换到“我的订阅”页签。 单击需要使用的资产名称,并切换到“API资产”页签。
要查看的任务的状态、调度模式、调度周期以及最近执行时间等信息等。 组合任务还可以查看重置同步进度,读取表的全量数据时间及等信息。 单击任务上的“调度日志”,可查看该任务的详细调度日志。 您可以设置“查询调度时间范围”,查看指定时间段的调度日志。 您可以单击右侧的“”(详细模式)或
CDC已提交最新事务的时延 统计CDC任务(组合任务)当前已经提交的最新事务对应时间距离实时的时间差。此指标主要针对Oracle类型任务,MySQL类型可忽略。 CDC已经处理结束、成功同步到目标端的最新的那个事务时间与当前时间的时间差,此指标比较真实的反映了数据写入的实际延迟,根据项目实际业务数据量配置延迟,建议配置
id Integer 产品ID。 最小值:1 最大值:99999999999999999 product_serial String 产品唯一序列(系统唯一值,用于MQS的TOPIC中标记产品)。 最小长度:0 最大长度:64 app_id String 应用ID。 最小长度:0 最大长度:64
Topic名称。 asc 否 Boolean 是否按照时间排序。 start_time 否 String 开始时间。Unix毫秒时间戳。 查询消息偏移量时,为必选参数。 end_time 否 String 结束时间。Unix毫秒时间戳。 查询消息偏移量时,为必选参数。 limit 否
虚拟机:与之前机器相同规格且相同架构的Linux机器。 工具:需要安装Docker、NTP、Haveged服务,Docker安装请参考安装Docker,NTP配置请参考时间同步,Haveged的安装请参考安装Haveged。浏览器用于登录华为云控制台,要求Chrome 97及以上版本、Edge或Firefox
t。 message_offset、timestamp二者必选其一。 timestamp 否 Integer 重置消费进度到指定时间,格式为unix时间戳,单位为毫秒。 如果传入timestamp早于当前最早的timestamp,则重置到最早的timestamp。 如果晚于最晚的
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;
Integer 调度计划的执行间隔时间周期。 最小值:1 最大值:59 created_date Integer 调度计划的创建时间。 最小值:1 最大值:99999999999999999 last_modified_date Integer 调度计划最近一次的修改时间。 最小值:1 最大值:99999999999999999
查询方式:选择消息的查询方式。 按生产时间查询:按生产消息的时间查询。 按偏移量查询:按分区中记录消息的位置查询。 实例节点出现故障的情况下,若Topic中的数据量比较大,单副本Topic查询消息时会出现内部服务错误问题,建议根据数据量适当减小查询时间范围。 表1 消息内容说明 参数 说明
CDC(Binlog) 配置SQL Server CDC 源端数据源中CDC归档日志的保留时间需要大于集成任务解析的日志时间,否则会造成集成任务找不到归档日志而导致增量同步失败。因此,数据集成任务停止运行的时间不宜过长。建议最少保留2天以上的归档日志。 在首次执行数据同步期间,建议不要对源端数据库做DDL操作。
id Integer 产品ID 最小值:1 最大值:99999999999999999 product_serial String 产品唯一序列(系统唯一值,用于MQS的TOPIC中标记产品)。 最小长度:0 最大长度:64 app_id String 应用ID。 最小长度:0 最大长度:64
服务集成请求后端服务的超时时间。最大超时时间可通过实例特性backend_timeout配置修改,可修改的上限为600000 单位:毫秒。 最小值:1 authorizer_id String 后端自定义认证ID id String 编号 register_time String 注册时间 status
61M 186G 1% /opt/roma/logs 时间同步。 边缘节点时间需要与UTC+8时间保持一致,否则会导致边缘节点的监控数据、日志上传出现偏差。您可以选择合适的NTP服务器进行时间同步,从而保持时间一致。配置方法可参考如何同步NTP服务器中的操作步骤。 离线安