检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端)
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度:0 最大长度:10 mysql_timeout Integer MYSQL连接超时时间(秒)。 最小值:1 最大值:20000
填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 编码格式 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的编码格式。 超时时间 仅当“连接与安全”选择“默认”时需要配置。 填写连接数据库的超时时间。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述
您可以按照业务场景创建简单易懂的业务架构和对应适配器,用于在模型目录中生成对应的业务模型管理页面,进行业务模型的录入。其次,您可以通过信息架构创建关系型数据库、非关系型数据库、开放API等底层技术架构,用于技术模型的采集工作。 前提条件 已准备好需要接入的数据源信息。 操作步骤 登录ROMA Conne
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写DB2数据库的JDBC格式连接串,例如jdbc:db2://hostname:port/dbname。 用户名 连接数据库的用户名。 密码
在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库 填写要连接的数据库名。 密码 连接数据库的密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 有序集合基本操作
选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型,此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加如下执行语句,从数据库中获取当前空余车位数量。
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下: 表1 表结构
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
端下载。 操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。
目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的
难以集成设备数据与环境数据 多品牌、多种类的生产设备要实现实时监控管理,则设备数据与环境数据需要采集和上传,不同品牌和种类的设备,使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上,任何一台机器出现故障,会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到