检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据库中执行以下命令创建ROMA Connect连接数据库的用户并配置权限。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。
解决方案 调整源端数据库的updatetime时间或任务配置时使用createtime作为时间戳字段。 父主题: 数据集成任务
填写数据库的端口。 连接字符串 仅当“是否使用JDBC字符串”选择“是”时需要配置。 填写DAMENG数据库的JDBC格式连接串,格式:jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。
连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。 若测试结果为“测试连接成功!”
登录方式 选择连接数据库模式。 租户:即以华为云账户密码的方式进行连接。 ak/sk:即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 租户名称 仅当“登录方式”选择“租户”时需要配置。即华为云租户账号。
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题: 数据集成API
录入基础数据 概述 数据资产信息架构中的基础数据目录,每个命名空间存放的是基础对象,即数据资产信息架构中每个业务模型都可以依赖的公共业务模型。若模型架构某些类型和基础对象之间有构建依赖关系,则资产目录中对应类型的数据实例可以通过编辑高级属性的方式来依赖到具体的基础对象实例。 前提条件
自定义数据源开发示例(定时任务) 操作场景 FDI当前支持接入MySQL类型数据库,但因为MySQL是最常用的数据库类型,可以方便开发者参照理解,故本章节以MySQL类型自定义连接器为例进行开发,示例使用Java语言进行开发,Demo代码参考MysqlConnctor.rar。
最小长度:1 最大长度:65535 database_name String 数据库名称。 数据源为DWS、HANA、RABBITMQ、SAP、SNMP、IBMMQ,obs类型时需要配置。
填写数据库的端口。 JDBC字符串 仅当“是否使用JDBC字符串”选择“是”时需要配置。 填写MYSQL数据库的JDBC格式连接串,格式:jdbc:mysql://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。
可先压缩后存在数据库,下载后删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
其次,您可以通过信息架构创建关系型数据库、非关系型数据库、开放API等底层技术架构,用于技术模型的采集工作。 前提条件 已准备好需要接入的数据源信息。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
后端服务调用失败 原因分析 可能是以下三种原因导致,请逐一排查: 后端服务地址错误。 后端超时时间设置不合理。 当后端服务没有在设置的后端超时时间内返回时,API网关提示后端服务调用失败。 如果“后端服务地址”在ECS(Elastic Cloud Server),ECS的安全组无法被外部访问
解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
查看API调用统计 概述 ROMA Connect提供了API的可视化分析和统计能力,支持查看API的调用统计。 Site实例中不支持API分析。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“服务集成
当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名:选择源表中需要采集子元素的数据字段名称。 类型:JSON格式字段值中,要采集的数据元素的数据类型。
ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。
若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务