检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MysqlConfig mysqlConfig = getAndCheckMysqlConfig(readerRequestBody.getDatasource()); String jdbcUrl = buildMysqlUrl(mysqlConfig);
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
Connect的消息集成作为MQS数据源,则用户名为集成应用的Key。 SSL密码/应用Secret 仅当“是否SSL”选择“是”时需要配置。 SSL认证所使用的用户密码,如果使用ROMA Connect的消息集成作为MQS数据源,则密码为集成应用的Secret。 以开启SSL为例,数据源的接入配置示例如下图所示。
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
deviceId/nodeId、鉴权类型、密码签名类型、时间戳,通过下划线“_”分隔。 鉴权类型:长度1字节,当前支持2个类型: “0”,表示使用一机一密设备的deviceId接入。 “2”,表示使用一机一密设备的nodeId接入。 密码签名类型:长度1字节,当前支持2种类型。
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
单击“创建”,完成MQS数据源的接入。 接入MySQL数据源。 在“数据源管理”页面单击右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MySQL”数据源类型,然后单击“下一步”。 在页面中填写MySQL数据源的相关配置信息。 表2 数据源配置参数 参数
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
填写WebSocket的连接URL地址。 ws(WebSocket)代表明文连接,使用明文连接时,URL地址格式为“ws://example.com”或“IP:PORT”形式。 wss(WebSocket Secure)代表加密连接,使用加密连接时,URL地址格式为“wss://example.com”或“IP:PORT”形式。
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
脚本开发应基于内置推荐的加密算法,不建议用户自行实现。 公共配置引用 自定义后端支持添加变量、密码、证书等全局公共配置,并在函数脚本中引用。公共配置的添加操作请参考添加自定义后端公共配置。 假如配置名称为example,则引用格式如下: 模板变量:#{example} 密码:CipherUtils
String getPassword() 获取密码 返回信息 返回密码 public void setType(String type) 设置数据源类型,可以为"mysql","mssql","oracle","postgresql","hive","redis","mongodb"
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
添加SSL证书 如果API分组中的API支持HTTPS请求协议,则在绑定独立域名后,还需为独立域名添加SSL证书。SSL证书是进行数据传输加密和身份证明的证书,支持单向认证和双向认证两种认证方式。 单向认证:客户端与服务端连接时,客户端需要验证所连接的服务端是否正确。 双向认证:
config) RSA加密 输入参数 source:需要加密的内容 publicKey:公钥 config:加密选项,配置项可以为: transformation:指定加密的算法/模式/填充。例如:"RSA/ECB/OAEPPadding"。详见参数说明。 返回信息 加密后的数据内容的base64编码
plainText, java.lang.String secretKey) 使用密钥对明文进行AES加密 输入参数 plainText:待加密的明文,长度不超过4096 secretKey:密钥 返回信息 返回加密后的数据 public static java.lang.String decrypt(java