检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。 解决方案 将MRS Hive的服务端机器绑定EIP,在配置文件中将IP换成EIP,在hdfs-site.xml文件中添加“dfs.client.use
目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
访问的URL与API详情中的URL不相同。 API使用OPTIONS跨域请求,API中未开启CORS,未创建OPTIONS方式的API。 解决方案 发布API到环境。 修改URL,使访问的URL与API详情中的URL保持一致,注意URL后如果少一个“/”也会导致无法匹配上此API。
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使修改了任务配置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理: Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。 删除原任务并重建
在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务。如果已经超过6小时,通道内的数据已
定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL
一般情况下,中级机构颁发的证书文件包含多份证书,如包含服务器证书和证书链2个*.PEM格式的证书内容。在填写证书时,未把所有证书拼接在一起组成一份完整的证书。 解决方案 在填写证书时,需要将所有证书拼接在一起组成一份完整的证书后再填写。拼接时,须按照“服务器证书-证书链”的顺序进行拼接,具体方法如下: 通过记事本打开所有*
的数据不支持同步。 源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数inte
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题: 连接器
\"sourceDatasourceType\":\"MYSQL\",\"taskType\":2,\"sourceDatasource\":\"mysql\",\"targetDatasourceType\":\"MYSQL\",\"mappingSourceTextOrNot
动关联,无需配置。 目标端集成应用 选择目标端MySQL数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 目标端表 选择集成数据要写入MySQL数据库中的数据表。 选择数据表后,单击“选择表字段”,可以选择要写入数据的列字段。
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出:
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
* 支持 支持 不支持 不支持 MySQL 5.7、8.0 支持 支持 支持 支持 OBS 3 支持 支持 不支持 不支持 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c 支持 支持 支持 支持 PostgreSQL 11 支持 支持 支持 支持 RabbitMQ