检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据同步验证 连接Mysql数据源,在源端数据表中插入一条数据。 连接Oracle数据源,根据定时器设置的同步时间间隔等待一分钟,在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题: 定时同步MySQL中的数据到Oracle
每页显示的条目数量,limit小于等于100。 start_time 区间开始时间,格式yyyy-MM-dd。开始时间和结束时间间隔不能超过30天。 end_time 区间结束时间,格式yyyy-MM-dd。开始时间和结束时间间隔不能超过30天。 表9 查看构建任务的构建历史列表 参数 说明
副本数,配置数据的可靠性。 partition Integer Topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。 sync_message_flush Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 sync_replication
HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 任务列表中的“开始调度时间”为已创建且未启动的定时任务调度计划的开始生效时间。 已启动的任务,如果需要进行其他操作,例如修改等,需要先停止任务才可进行相关操作。 启动任务 登录ROMA Co
配置说明 名称 用户自定义任务名称。 描述 对该任务的描述内容。 数据源 选择对应的数据源。 适配器 选择对应的适配器。 开始执行时间 选择采集任务开始执行的时间。 周期类型 选择任务执行的周期类型,与执行周期配合使用。 例如周期类型为“周”,执行周期为“2”,则表示每两周执行一次该采集任务。
要查看的任务的状态、调度模式、调度周期以及最近执行时间等信息等。 组合任务还可以查看重置同步进度,读取表的全量数据时间及等信息。 单击任务上的“调度日志”,可查看该任务的详细调度日志。 您可以设置“查询调度时间范围”,查看指定时间段的调度日志。 您可以单击右侧的“”(详细模式)或
CDC已提交最新事务的时延 统计CDC任务(组合任务)当前已经提交的最新事务对应时间距离实时的时间差。此指标主要针对Oracle类型任务,MySQL类型可忽略。 CDC已经处理结束、成功同步到目标端的最新的那个事务时间与当前时间的时间差,此指标比较真实的反映了数据写入的实际延迟,根据项目实际业务数据量配置延迟,建议配置
id Integer 产品ID。 最小值:1 最大值:99999999999999999 product_serial String 产品唯一序列(系统唯一值,用于MQS的TOPIC中标记产品)。 最小长度:0 最大长度:64 app_id String 应用ID。 最小长度:0 最大长度:64
Topic名称。 asc 否 Boolean 是否按照时间排序。 start_time 否 String 开始时间。Unix毫秒时间戳。 查询消息偏移量时,为必选参数。 end_time 否 String 结束时间。Unix毫秒时间戳。 查询消息偏移量时,为必选参数。 limit 否
虚拟机:与之前机器相同规格且相同架构的Linux机器。 工具:需要安装Docker、NTP、Haveged服务,Docker安装请参考安装Docker,NTP配置请参考时间同步,Haveged的安装请参考安装Haveged。浏览器用于登录华为云控制台,要求Google Chrome 97及以上版本、Microsoft
t。 message_offset、timestamp二者必选其一。 timestamp 否 Integer 重置消费进度到指定时间,格式为unix时间戳,单位为毫秒。 如果传入timestamp早于当前最早的timestamp,则重置到最早的timestamp。 如果晚于最晚的
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;
查询方式:选择消息的查询方式。 按生产时间查询:按生产消息的时间查询。 按偏移量查询:按分区中记录消息的位置查询。 实例节点出现故障的情况下,若Topic中的数据量比较大,单副本Topic查询消息时会出现内部服务错误问题,建议根据数据量适当减小查询时间范围。 表1 消息内容说明 参数 说明
61M 186G 1% /opt/roma/logs 时间同步。 边缘节点时间需要与UTC+8时间保持一致,否则会导致边缘节点的监控数据、日志上传出现偏差。您可以选择合适的NTP服务器进行时间同步,从而保持时间一致。配置方法可参考如何同步NTP服务器中的操作步骤。 离线安
id Integer 产品ID 最小值:1 最大值:99999999999999999 product_serial String 产品唯一序列(系统唯一值,用于MQS的TOPIC中标记产品)。 最小长度:0 最大长度:64 app_id String 应用ID。 最小长度:0 最大长度:64
CDC(Binlog) 配置SQL Server CDC 源端数据源中CDC归档日志的保留时间需要大于集成任务解析的日志时间,否则会造成集成任务找不到归档日志而导致增量同步失败。因此,数据集成任务停止运行的时间不宜过长。建议最少保留2天以上的归档日志。 在首次执行数据同步期间,建议不要对源端数据库做DDL操作。
Integer 调度计划的执行间隔时间周期。 最小值:1 最大值:59 created_date Integer 调度计划的创建时间。 最小值:1 最大值:99999999999999999 last_modified_date Integer 调度计划最近一次的修改时间。 最小值:1 最大值:99999999999999999
服务集成请求后端服务的超时时间。最大超时时间可通过实例特性backend_timeout配置修改,可修改的上限为600000 单位:毫秒。 最小值:1 authorizer_id String 后端自定义认证ID id String 编号 register_time String 注册时间 status
正整数。 type 否 Integer 流控策略的类型 1:基础,表示绑定到流控策略的单个API流控时间内能够被调用多少次。 2:共享,表示绑定到流控策略的所有API流控时间内能够被调用多少次。 enable_adaptive_control 否 String 是否开启动态流控:
和查找。 首次生效时间点 设置配额策略的生效起始时间点。例如,时长为1小时,首次生效时间点为2020/08/08 05:05:00,则表示客户端配额策略从2020/08/08 05:05:00开始生效,每个小时的05分开始到下一个小时的05分之间为一个单位时间,即05:05:00