检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
MysqlConfig mysqlConfig = getAndCheckMysqlConfig(readerRequestBody.getDatasource()); String jdbcUrl = buildMysqlUrl(mysqlConfig);
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
传入数据源类型,连接字符串,用户名和密码,构造一个DataSourceConfig 方法列表 返回类型 方法和说明 String getType() 获取数据源的类型 String getUrl() 获取连接字符串。 String getUser() 获取用户名 String getPassword()
key”),将私钥复制到“私钥”中即可。 密码 仅当“配置类型”选择“证书”时可配置。 填写证书私钥的密码。 确认密码 仅当“配置类型”选择“证书”时可配置。 填写证书私钥的密码,需与“密码”保持一致。 描述 填写配置的描述信息。 在后端函数脚本中引用配置。 假如配置名称为example,则各类配置的引用格式如下:
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源
仅当“配置类型”选择“证书”时可配置。 填写pem编码格式的证书私钥。 密码 仅当“配置类型”选择“证书”时可配置。 填写证书私钥的密码。 确认密码 仅当“配置类型”选择“证书”时可配置。 填写证书私钥的密码,需与“密码”保持一致。 描述 填写配置的描述信息。 在后端函数脚本中引用配置。 假如配置名称为example,则各类配置的引用格式如下:
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
单击“创建”,完成MQS数据源的接入。 接入MySQL数据源。 在“数据源管理”页面单击右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MySQL”数据源类型,然后单击“下一步”。 在页面中填写MySQL数据源的相关配置信息。 表2 数据源配置参数 参数
空白模板”,在弹窗中单击“确定”,然后编写用于安全认证的函数脚本,完成后单击“保存”。 用于前端自定义认证的函数脚本应满足如下条件: 函数脚本支持获取的请求参数: Header参数:自定义认证中定义的Header位置的身份来源参数,参数值从使用该前端自定义认证的API请求中传入。函数脚本中调用参数的格式为:bod
获取项目ID 调用API获取项目ID 项目ID可以通过调用IAM的查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects/”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
数据源的连接信息包括地址、账号和密码,为非资产数据,在导入集成资产后需要重新配置。 前提条件 已完成集成资产的导入。 操作步骤 在实例控制台的“数据源管理”页面,单击数据源右侧的“编辑”。 在编辑数据源页面修改数据源的连接信息配置。 对于资产恢复场景,修改密码配置。 对于资产迁移场景,
上一个数据库节点执行查询操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL Server或DB2数据库。 updated_row_count 上一个数据库节点执行插入、更新和删除操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。 图1 获取账号ID 父主题: 附录