检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度:0 最大长度:10 mysql_timeout 否 Integer MYSQL连接超时时间(秒)。 最小值:1 最大值:20000
Connect接入业务系统的数据库,确保可以正常从数据库读取数据。不同类型数据源的接入配置不同,此处以MySQL数据库为例,其他类型数据库请参考接入数据源。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MySQL”数据源,然后单击“下一步”。
在创建采集任务之前,您需要先接入数据源,确保可以正常从数据源采集模型。根据数据源类型的不同,数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
制造业数字化转型中有几类典型问题: 难以集成设备数据与环境数据 多品牌、多种类的生产设备要实现实时监控管理,则设备数据与环境数据需要采集和上传,不同品牌和种类的设备,使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上,任何一台机器出现故障,会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策
填写数据库的连接IP地址。 端口 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写Gauss 100数据库的JDBC
填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 编码格式 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的编码格式。 超时时间 仅当“连接与安全”选择“默认”时需要配置。 填写连接数据库的超时时间。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。
连接与安全 选择数据库的连接模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接IP地址。 端口 仅当“连接与安全”选择“默认”时需要配置。 填写数据库的连接端口号。
消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。
填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写DB2数据库的JDBC格式连接串,例如jdbc:db2://hostname:port/dbname。 用户名 连接数据库的用户名。 密码
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度:0 最大长度:10 mysql_timeout Integer MYSQL连接超时时间(秒)。 最小值:1 最大值:20000
e}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。
参数 说明 连接名称 填写连接器实例名称。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库 填写要连接的数据库名。 密码 连接数据库的密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 有序集合基本操作 集合基本操作 哈希基本操作
e={dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
以上面JSON格式数据中不含数组的样例为例,源端为Kafka的配置示例如下图所示。 图5 Kafka配置示例 MySQL 返回页首 任务的“集成模式”为“定时”时,可以选择MySQL作为源端数据源,具体配置如下。 表7 源端MySQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启,表示ROMA
据数据源类型的不同,数据源的接入配置有所差异。 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时,可直接访问数据源。 若ROMA Connect实例与数据源在同一区域的不同VPC内时,可
用户创建的FDI任务,同一账号的其他用户可见吗? FDI任务是做的用户隔离,如果没有授权,同一账号的其他用户看不到,用户要看到其他用户的任务需要通过集成应用授权。 父主题: 数据集成普通任务
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型,此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加如下执行语句,从数据库中获取当前空余车位数量。