检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MysqlConfig mysqlConfig = getAndCheckMysqlConfig(readerRequestBody.getDatasource()); String jdbcUrl = buildMysqlUrl(mysqlConfig);
策略。自定义策略中可以添加的授权项(Action)请参考细粒度策略支持的授权项。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
图1 自动Mapping 手动配置Mapping 如果两端的数据表字段不一致,可单击下方的“添加mapping映射”,配置源端数据字段到目标端数据字段的映射关系。 用户可以手动添加源端数据字段与目标端数据字段的映射规则,该方式适用于所有数据类型的集成场景。可以通过键值对输入或文
MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? 目标端MRS Hive和源端字段数据类型不匹配时,例如源端字段为datetime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
看映射字段,可根据实际情况修改源端和目标端字段名或删除多余字段,也可单击“手动添加字段映射”添加新的字段。单击右上角的按钮,可选择字段映射的配置项。 添加mapping映射配置项说明如下: 源端字段名:选择源端表对应的字段名,例如ID。 目标端字段名:选择目标表中对应的字段名。例如Name。
仅当“插入SQL”选择不开启时需要配置。 选择MySQL数据源中要获取数据的数据表。选择数据表后,单击“选择表字段”,可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序,则需要选择排序的参照字段,并选择“升序”或“降序”排序。
选择2中所配置的MySQL数据源。 目标端表 选择MySQL数据库中集成数据要写入的数据表。 选择数据表后,单击“选择表字段”,选择车位感应设备信息和车位状态信息要写入数据库的列字段。 批次号字段 此处不设置。 配置MQS到MySQL的数据映射规则。 单击“自动Mapping”,自动建
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
参数 参数类型 描述 field_name String 字段名称。 最小长度:0 最大长度:256 field_type String 字段类型。 最小长度:0 最大长度:256 field_length String 字段长度。 最小值:0 最大值:200 null_able String
字段,然后使用MySql添加记录的操作将桶名和对象名存储到MySql中。其中,对象存储服务 OBS产生的结果是数据映射的源端数据源,MySql是目的端数据源。可以通过使用Open API调用OBS连接器执行获取桶内对象列表的操作结果获得远端数据源的导入文件。也可以根据OBS连接器
目标表中配置的RowId字段类型不正确导致写入数据失败 原因分析 使用RowId的方式采集Oracle表数据时,由于设置表字段类型不正确,导致报错,如下图。 解决方案 修改表字段类型,RowId一般是使用字母、数字生成的18位字符串,采集到目标端需要为字符类型。 父主题: 数据集成组合任务
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
conf文件时设置。 在数据视图中查看日志数据和日志统计。 在页面右上角设置查询时间范围,然后单击“Refresh”,可查看该时间范围内的日志数据。 在页面左侧的字段列表中选择要查看的日志字段,筛选包含该字段的日志数据。 在页面右侧的“Break down by”处选择日志字段,可查看该字段的聚合统计数据。