检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。 父主题: 触发器
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例: 图1 默认方式配置示例 专业方式的数据库连接配置示例: 图2 专业方式配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。
在数据库中执行以下命令创建ROMA Connect连接数据库的用户并配置权限。
图1 连接器参数定义示例 完成后单击“创建”,完成连接器的创建。 父主题: 连接器
其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最终查询到的结果为byte数组形式。此时可以使用函数工作流服务,对从数据库查询到的数据做进一步处理,如进行Base64编码等。 父主题: 华为云服务
解决方案 调整源端数据库的updatetime时间或任务配置时使用createtime作为时间戳字段。 父主题: 数据集成任务
数据源连接测试失败排查操作 请检查数据源相关配置是否正确,例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。
CDC创建好之后,系统会创建以下一系列的系统表、视图、存储过程和作业来实现CDC功能。 CDC配置完成后,需要新建一个用户并配置权限给FDI任务使用。 右键单击“安全性”,选择“新建 > 登录名”。 在“常规”栏中填写创建的用户名及密码。
填写数据库的端口。 连接字符串 仅当“是否使用JDBC字符串”选择“是”时需要配置。 填写DAMENG数据库的JDBC格式连接串,格式:jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。
对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。
图1 工业互联网集成 父主题: 应用场景
以MySQL为例,数据源定义中主要填写主机名、端口、数据库名、用户名以及密码。 图1 连接器配置1 读写参数定义中,填写自定义插件执行读写操作时需要获取的额外信息,如要读写的表名、可以进行增量读取的时间戳字段列名等。
可先压缩后存在数据库,下载后删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
其次,您可以通过信息架构创建关系型数据库、非关系型数据库、开放API等底层技术架构,用于技术模型的采集工作。 前提条件 已准备好需要接入的数据源信息。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
填写数据库的端口。 JDBC字符串 仅当“是否使用JDBC字符串”选择“是”时需要配置。 填写MYSQL数据库的JDBC格式连接串,格式:jdbc:mysql://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。
人脸识别 人脸识别连接器用于连接华为云人脸识别服务,基于人的脸部特征信息,利用计算机对人脸图像进行处理、分析和理解,进行身份识别。 前提条件 使用人脸识别连接器前,需要开通华为云人脸识别服务。 创建人脸识别连接 登录新版ROMA Connect控制台。
结果如图1所示。 图1 返回结果 使用方式: SQL语句由三个部分组成:Select语句、From语句和Where语句。JSON格式的数据分为两种:带有单引号或双引号的是常量数据,不带任何引号的是变量数据。
父主题: 华为云服务
连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。 若测试结果为“测试连接成功!”