检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
sourceSchema 否 String 源端数据库模式,gauss100数据库使用。 sourceSelectedColumnList 否 List<Column> 源端选择的字段名列表,关系型数据库使用。
DIS数据库类型 源端进行数据采集时,一个通道只支持一个任务运行。 WebSocket数据库类型 创建数据集成任务时,“是否解析”选择“是”时,“元数据”中的“解析路径”必须配置,否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。
华为IAM认证:表示由IAM对API请求进行安全认证。用户调用API时,使用Token或AK/SK进行API请求的安全认证。 自定义认证:表示使用自定义的函数API对API请求进行安全认证。 无认证:表示API请求不需要认证。
模型管理 管理模型采集任务 同步数据库和缓存数据 父主题: 应用业务模型使用指导
目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
配置模型地图 配置标注 配置检索 创建模型主题 父主题: 应用业务模型使用指导
传统停车场管理系统数字化改造 方案概述 在ROMA Connect注册设备 配置设备数据转发MQS 创建MQS到数据库的集成任务 创建并开放数据API 设备接入ROMA Connect
若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
图1 API分页配置示例 增量迁移配置示例,startTime和endTime为API的时间参数,需要同时在请求参数中添加。 图2 API增量迁移配置示例 元数据配置示例,把a作为数据根字段。
ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。
在数据库中执行以下命令创建ROMA Connect连接数据库的用户并配置权限。
CDC任务当前仅支持采集数据库物理表,不支持视图。 前提条件 若Oracle数据库为主从模式,不支持使用Oracle从库。 不支持采集二进制类型的字段,例如:BINARY,VARBINARY,TINYBLOB,BLOB,MEDIUMBLOB,LONGBLOB。
CDC创建好之后,系统会创建以下一系列的系统表、视图、存储过程和作业来实现CDC功能。 CDC配置完成后,需要新建一个用户并配置权限给FDI任务使用。 右键单击“安全性”,选择“新建 > 登录名”。 在“常规”栏中填写创建的用户名及密码。
以接入ROMA Connect发布的一个API为例,API的认证方式为“APP认证”,该API数据源的接入配置示例如下图所示。
以开启SSL为例,数据源的接入配置示例如下图所示。 图1 MQS数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”
密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例: 图1 默认方式配置示例 专业方式的数据库连接配置示例: 图2 专业方式配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。
{port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 PostgreSQL数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。
{hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 SQL Server数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。
对于组合任务,以接入Oracle的非CDB数据库为例,CDC模式为LogMiner,该Oracle数据源的接入配置示例如下图所示。 图1 Oracle数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。