检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
据不支持同步。 源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数intera
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
再次发送。 执行以下命令为log目录配置权限。 chmod 777 /filebeat/log 编辑filebeat.yml文件,在文件中增加如下配置。 filebeat.inputs: - type: filestream # id需要替换为数字,不同SHUBAO组
消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
Direct:若消息的路由关键字与队列完全匹配,则消息会转发到队列。 Topic:若消息的路由关键字与队列模糊匹配,则消息会转发到队列。 Fanout:所有消息都会转发到队列。 Headers:若消息的Headers属性与队列完全匹配,则消息会转发到队列。 交换机名称 仅当“是否创建新队列”选择“是”时需要配置。
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
查看该时间范围内的日志数据。 在页面左侧的字段列表中选择要查看的日志字段,筛选包含该字段的日志数据。 在页面右侧的“Break down by”处选择日志字段,可查看该字段的聚合统计数据。 父主题: 使用Filebeat+ELK实现Site协同版实例的API日志监控
使用Filebeat+ELK实现Site协同版实例的API日志监控 方案概述 资源规划 准备Docker环境和镜像 修改Filebeat和ELK配置 部署Filebeat和ELK 配置索引生命周期策略(可选) 使用Kibana查看日志
创建实例时为什么无法查看子网和安全组等信息? ROMA Connect对用户资源实现了严格的权限管理。 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户无Server Administrator和VPC Administrator权限。 增加权限的详细步骤请参考修改用户组权限。 父主题:
"lifecycle": { "name": "与索引生命周期策略的名称一致" }, "number_of_shards": "1", "refresh_interval": "5s" } } Mappings和Aliases配置保持默认,直接单击“Next”。
服务集成APIC的API监控分析能力依赖于云日志服务(LTS)的日志统计能力,由于ROMA Site协同版实例为边缘部署,需要将API的调用日志回传到华为云上才能实现API的监控分析。由于传输的数据量与API请求量相关,请求数据量过大,回传链路无法承载。因此ROMA Site协同版实例暂不支持查看API的调用日志和调用统计数据。
目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的
是否创建新队列”选择“是”,则配置新队列的Headers键值对;若“是否创建新队列”选择“否”,则配置已有目标队列一致的Headers键值对。 队列名称 仅当“是否创建新队列”选择“是”时需要配置。 填写新队列的名称,自定义。 自动删除 当没有客户端连接队列时,队列是否自动删除。