检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect发布的一个API为例,API的认证方式为“APP认证”,该API数据源的接入配置示例如下图所示。 其中,认证方式选择“APPKey Auth”,APP认证方式保持默认“Default”即可,AppKey和AppSecret为API所授权集成应用的Key和Secret。 图1
填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写MongoDB的连接地址和端口号,格式为:IP:PORT。 如果MongoDB有多个副本
接入DM数据源 概述 ROMA Connect支持把DM数据库作为一个数据源,并用于数据集成任务。在使用DM数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA
流量控制策略 300 支持 访问控制策略 100 支持 环境 10 支持 签名密钥 200 支持 负载通道 200 支持 单个负载通道内的弹性云服务器 10 支持 自定义认证 50 支持 自定义后端 入门版:50 基础版:125 专业版:400 企业版:1000 铂金版:4000 支持
上一个循环处理节点的循环总次数。 split_index 上一个数据拆分节点,在数据拆分时当前数据块的索引,从0开始。 split_size 上一个数据拆分节点的数据拆分数量。 split_complete 上一个数据拆分节点,数据拆分是否完成。 节点变量 上一个节点的执行结果,可以作为节点变量,被后续节点进行引用,如Open
应用ID。 最小长度:0 最大长度:64 name String 产品名称,创建产品时租户内唯一,长度最大64,仅支持中文、英文字母、数字、下划线和中划线。 最小长度:0 最大长度:64 manufacturer_id String 产品供应商ID。 最小长度:0 最大长度:64 manufacturer_name
且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMM
authorizer_version String 函数版本。 当函数别名URN和函数版本同时传入时,函数版本将被忽略,只会使用函数别名URN 最大长度:64 authorizer_alias_uri String 函数别名地址。 当函数别名URN和函数版本同时传入时,函数版本将被忽略,只会使用函数别名URN
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
isAlpha(string str) 返回一个布尔值,确定提供的字符串是否只包含英文字母。 isAlphanumeric(string str) 返回一个布尔值,确定提供的字符串是否只包含英文字母或数字。 isNumeric(string str) 返回一个布尔值,确定提供的字符串是否只包含数字。
Object> arguments) 构造一个队列配置。 参数: queueName表示队列名称。 durable表示是否持久化,true表示持久化,false表示非持久化。 exclusive表示是否排外,true表示排外,即一个队列只能有一个消费者来消费。 autoDelete表示是否自动删除,true表示自动删除。
实例场景下,两个ABM服务互相做为级联节点。如下图所示,假设存在节点A(非ABM服务),节点B(ABM服务),节点C(非ABM服务),节点D(ABM服务)。节点D和节点B通过集群管理相互注册地址。使用扩展采集器将节点A地址注册到节点B上。使用扩展采集器将节点C地址注册到节点D上。通过自定义数据源,节点B
是否使用VPC通道 1:使用VPC通道 2:不使用VPC通道 表8 VpcInfo 参数 参数类型 描述 ecs_id String 云服务器ID ecs_name String 云服务器名称 cascade_flag Boolean 是否使用级联方式 暂不支持 vpc_channel_proxy_host
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
C,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型
batchNumber 否 String 批次号字段。 选择目标端表中一个字段作为批次号字段,该字段将保存一个随机数,用于标识这一批次的数据。 目标端表中类型为string并且字段长度大于14的字段可以作为批次号字段,且该批次号字段不能和Mapping信息中的目标端字段(target_column)重复。
thorization头中携带的签名是否一致,来校验ROMA Connect发过来的请求是否合法。 约束与限制 同一个API在同一个环境中只能绑定一个签名密钥,一个签名密钥可以绑定多个API。 Site实例中签名密钥暂不支持AES认证类型。 创建签名密钥 登录ROMA Conne
将潜在的改变数据的顺序,如果这两个消息记录都是发送到同一个partition,则第一个消息失败第二个发送成功,则第二条消息会比第一条消息出现要早。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间,超过这个时间则会抛Timeout异常。
arguments) 构造一个交换器配置。 参数: exchange表示交换器名称。 type表示交换器类型。 durable表示是否持久化,true表示持久化,false表示非持久化。 autoDelete表示是否自动删除,true表示自动删除。自动删除的前提是至少有一个队列或者交换器与
是否使用VPC通道 1:使用VPC通道 2:不使用VPC通道 表8 VpcInfo 参数 参数类型 描述 ecs_id String 云服务器ID ecs_name String 云服务器名称 cascade_flag Boolean 是否使用级联方式 暂不支持 vpc_channel_proxy_host