检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
高级设置 高级设置保持默认设置。 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加如下执行语句,从数据库中获取当前空余车位数量。 假设MySQL数据库中存储车位信息和车位状态信息的数据表名为“ParkingData”,表中车位状态字段为“Status”。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
凭据管理”,在“凭据管理”页签中单击API所授权凭据的名称,进入凭据详情页面。 在页面的“AppCodes”下,单击“添加AppCode”。 在添加AppCode弹窗中配置AppCode。 表1 AppCode配置 参数 说明 生成方式 选择AppCode的生成方式。 自动生成:由系统随机生成AppCode。
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述
填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 填写要插入数据的数据表名。 插入数据 填写插入操作中目标字段的值。 表3 更新记录 参数 说明 表名 填写要更新数据的数据表名。 更新数据 填写更新操作中目标字段的值。 WHERE条件 填写要更新数据的条件。 表4 删除记录 参数
增量获取时间补偿。 表5 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表6 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。 表7 自定义SQL
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据
填写连接器实例名称。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库 填写要连接的数据库名。 密码 连接数据库的密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 有序集合基本操作 集合基本操作 哈希基本操作 列表基本操作 字符串基本操作 键的基本操作
填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 数据库中要插入数据的表名。 插入数据 填写插入操作中目标字段的值(注意值要用英文单引号包住)。 表3 更新记录 参数 说明 表名 数据库中要更新数据的表名。 更新数据 填写更新操作中目标字段的值(注意值要用英文单引号包住)。
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
添加SSL证书 如果API分组中的API支持HTTPS请求协议,则在绑定独立域名后,还需为独立域名添加SSL证书。SSL证书是进行数据传输加密和身份证明的证书,支持单向认证和双向认证两种认证方式。 单向认证:客户端与服务端连接时,客户端需要验证所连接的服务端是否正确。 双向认证:
台。 选择“出方向规则”页签,查看创建数据源配置的IP是否在目的地址中。 如果目的地址为0.0.0.0/0则表示所有IP都放通。如果没有可单击“添加规则”,将配置的IP添加到出方向规则中。 父主题: 数据源
目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的操
Connect接入该数据源时,需要配置此处定义的接入参数。ROMA Connect与连接器间交互的消息数据为JSON格式,参数以Key-Value形式传递。 单击“添加参数”,添加数据源的接入参数。 参数名称:参数在数据源接入配置界面的显示名称,仅用于识别参数,在实际数据集成任务中不产生作用。 参数键:数据源接入请求中传递的参数Key。
若选择相应父架构,“架构信息”页签会依据选择的父架构显示对应的类和关系详情,可以修改类名称,添加类中的属性和添加依赖关系。 若不选父架构,用户可以依据具体业务场景,构建对应的业务架构。 表1 配置模型 配置项 配置说明 架构名称 架构名称,用户自定义。 架构类型 选择业务架构/技术架构
仅当“连接模式”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串,例如:jdbc:postgresql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名
射规则自动建立。如果两端的数据表字段不一致,您可以单击映射关系右侧的“编辑”,更改源端或目标端数据字段,也可单击下方的“添加字段映射”,增加源端数据字段到目标端数据字段的映射关系。 图1 自动Mapping 手动配置Mapping 用户可以手动添加源端数据字段与目标端数据字段的映