检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 前提条件 若MySQL数据库为主从模式,不支持使用MySQL从库。 不支持采集二进制类
处理器 分支判断 并行处理 延时 EDI处理 变量赋值 变量修改 排序 数据转换 数据拆分 数据筛选 脚本处理 日志采集 数据映射 循环处理 异常监控 终止 对称加解密 非对称加解密 XML校验
-data、text/plain)。 对于简单请求,浏览器自动在头信息之中添加一个Origin字段,用于说明本次请求来自哪个源(协议+域名+端口)。服务器根据Origin字段,决定是否同意这次请求。服务器响应消息中包含“Access-Control-Allow-Origin”时,表示同意请求。
-data、text/plain)。 对于简单请求,浏览器自动在头信息之中添加一个Origin字段,用于说明本次请求来自哪个源(协议+域名+端口)。服务器根据Origin字段,决定是否同意这次请求。服务器响应消息中包含“Access-Control-Allow-Origin”时,表示同意请求。
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
JDBC字符串 填写HIVE的JDBC格式连接串,例如:jdbc:hive2:// host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的数据库名。 用户名 数据库的登录用户名。 上传认证文件 单击“上传文件”,上传FI
可选项,用户按提示填写相关路径和脚本获取对应的资源。若为Excel类型,可不填。 映射值 用户自定义,例如:id,name。 描述 填写对该映射值的描述内容。 脚本 用户依据适配器类型填写相应的脚本,能从数据源数据中解析映射值的数据,例如:若选择Excel类型适配器,Excel脚本为:‘schema
JDBC字符串 填写MRS HIVE的JDBC格式连接串,例如:jdbc:hive2:// host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的数据库名。 用户名 数据库的登录用户名。 上传认证文件 单击“上传文件”,上传MRS
JDBC字符串 填写MRS BASE的JDBC格式连接串,例如:jdbc:hbase:// host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的数据库名。 用户名 数据库的登录用户名。 上传认证文件 单击“上传文件”,上传MRS
type为instance时,为实例编码 project_id String 租户项目编号 common_name String 域名 san Array of strings san扩展域名 not_after String 有效期到 signature_algorithm String 签名算法 create_time
type为instance时,为实例编码 project_id String 租户项目编号 common_name String 域名 san Array of strings san扩展域名 not_after String 有效期到 signature_algorithm String 签名算法 create_time
JDBC字符串 填写FI HBSE的JDBC格式连接串,例如:jdbc:hbase:// host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的数据库名。 用户名 数据库的登录用户名。 上传认证文件 单击“上传文件”,上传FI
实时:实时将源端产生的数据集成到目标端。 两种集成模式分别所支持的数据源类型请参见接入数据源。 支持自定义数据映射规则 在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到目标端。 支持不同网络环境间的数据集成 源端数据与
后端服务器组名称。为后端服务地址选择服务器组,便于统一修改对应服务器组的后端地址。 status 否 Integer 后端服务器状态 1:可用 2:不可用 port 否 Integer 后端服务器端口 最小值:0 最大值:65535 ecs_id 否 String 后端云服务器的编号。 后端实例类型为ecs时必填,支持英文,数字,“-”
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 地址 填写要接入的OBS桶的Endpoint地址,您可以在OBS控制台上获取。 端口 固定填写443。 Access Key ID 填写OBS桶拥有者的AK,具体获取方式请参考什么是我的凭证。 Secret Access Key
编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写Redis的连接地址和端口号。如果有多个连接地址,可单击“添加地址”添加。 说明: 如果Redis数据源为集群版Redis,需要把全部节点地址都写上。如果只写一个节点地址,ROMA
当“连接类型”选择“Cloud”时,连接地址格式为https://your-domain.atlassian.net。 your-domain指组织或团队的域名,需要有有效的Jira Cloud订阅才能访问该地址。如果不确定您的Jira Cloud连接地址,可以从Atlassian账户或管理员处获取。
使用SASL_SSL协议访问ROMA Connect:确保DNS具有反向解析能力,或者在hosts文件配置ROMA Connect所有节点ip和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。 业务进程J
默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 DWS数据源的接入配置示例如下图所示。
rs,填入Body。 单击“Send request”,生成curl命令。将curl命令复制到命令行,访问API。 //若使用系统分配的子域名访问https请求的API时,需要忽略证书校验,在-d后添加“ -k” $ curl -X POST "https://c967a237-