检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端)
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 数据库地址列表 仅当“连接模式”选择“多地址”时需要配置。 填写分布式数据库系统的连接地址和端口号,单击“添加地址”添加多个地址和端口号。
填写PostgreSQL数据库的JDBC格式连接串,例如:jdbc:postgresql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。
选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串
标识本次任务执行到哪一个阶段: ADAPTER(任务处于初始化阶段) READER(任务正在执行Reader读操作) WRITER(任务正在执行Writer写操作) 最小长度:3 最大长度:10 position_status String 任务本次执行当前阶段的状态: NORMAL(正在运行)
name(varchar) 数据源2 user02 user_id(int) user_age(int) user_sex(varchar) 数据源SQL设计如下: 数据源1,在表user01中查找name为“zhang”的数据记录id。假设数据源1的返回对象为“default1”。 select
址。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 认证源 填写用于接入认证的MongoDB数据库名,即使用MongoDB的哪个数据库对接入用户进行认证。不填写则默认使用当前要接入的数据库对用户进行认证。 数据库名 填写要接入的数据库名。 集群模式 要接入的MongoDB数据库是否为集群模式。
下载资产包 功能介绍 导出作业执行成功后,通过该接口获取导出作业产生的资产包,仅能下载一次。 可先压缩后存在数据库,下载后删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
连接模式 选择数据库的连接方式。 默认:使用系统默认方式连接数据库。 专业:使用JDBC连接字符串方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写DM数据库的JDBC格
创建API 功能介绍 添加一个API,API即一个服务接口,具体的服务能力。API分为两部分,第一部分为面向API使用者的API接口,定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 DWS数据源的接入配置示例如下图所示。 图1 DWS数据源配置示例
连接模式 选择数据库的连接方式。 默认:使用系统默认方式连接数据库。 专业:使用JDBC方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串
连接模式 选择数据库的连接方式。 默认:使用系统默认方式连接数据库。 专业:使用JDBC连接字符串方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串
col02 | equal | A”表示只集成列col02中,值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式,且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名:选择源表中需要采集子元素的数据字段名称。
Connect会认为是单机版Redis,会导致访问集群版Redis失败。 密码 填写Redis的连接密码。 数据库编号 填写Redis的数据库编号,不填写则默认连接编号0的数据库。 Redis数据源的接入配置示例如下图所示。 图1 Redis数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME,status
组合应用模板 提供丰富的预置组合应用集成模板,帮助用户快速便捷的创建组合应用。 引用变量 用户在编辑设计组合应用时,可以通过变量的方式快速引用流任务中的输入输出信息和配置信息,帮助用户便捷高效的设计组合应用。 在线调试 创建组合应用和工作流并配置完成后,可对工作流进行在线调试,实时查看各个
设备集成开发 操作场景 本文提供了通过设备集成实现设备的接入、消息收发功能的操作指导,主要分为配置设备连接信息、收发消息两部分。 设备集成支持标准的MQTT协议,您可以使用开源Eclipse paho MQTT Client与LINK进行对接,本例中Demo使用Java版本的SDK
创建组合应用模板 用户可以把设计好的组合应用生成模板,其他用户可通过模板快速创建组合应用。 操作步骤 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面找到要导出的组合应用。 单击组合应用上的“”,选择“编辑”,进入组合应用的编辑界面。 单击页面右上角的“保存>保存为模板”。