检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Transfer Protocol,文件传输协议)是TCP/IP 协议组中的协议之一。FTP协议包括两个组成部分:FTP服务器和FTP客户端。其中FTP服务器用来存储文件,用户可以使用FTP客户端访问位于FTP服务器上的资源。 SFTP(SSH File Transfer Protoc
Transfer Protocol,文件传输协议)是TCP/IP 协议组中的协议之一。FTP协议包括两个组成部分:FTP服务器和FTP客户端。其中FTP服务器用来存储文件,用户可以使用FTP客户端访问位于FTP服务器上的资源。 SFTP(SSH File Transfer Protoc
信息、目标端信息、Mapping信息和异常数据存储(可选)、任务完成后执行(可选)几个部分,本节及接下来的几个小节将对这几部分分别进行介绍。本节主要提供数据集成任务基本信息和任务计划的配置说明。 前提条件 ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源。 ROMA
compareValue:过滤值,支持数字和字符串类型。其中运算符为like时,过滤值支持以%开头和结尾进行模糊匹配,例如'%ab',匹配以ab结尾的字符串,'ab%'匹配以ab开头的字符串,'%ab%',匹配包含ab的字符串。 arrayFilter()和arrayOperation()
责建立和维护应用程序和MySQL数据库之间的连接,并管理数据的传输。 MySQL是一个流行的开源关系型数据库,广泛用于Web应用程序的后端。它支持多种操作系统,包括Windows、Linux、Unix和macOS X。MySQL以其高性能、可靠性和灵活性而闻名,是许多企业和开发人员的首选数据库。
String 参数说明和描述。 不支持<,>字符 最大长度:255 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 app_quota_id String 客户端配额编号 name String 配额名称。支持汉字,英文,数字,下划线,且只能以英文和汉字开头,3-255字符
String 参数说明和描述。 不支持<,>字符 最大长度:255 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 app_quota_id String 客户端配额编号 name String 配额名称。支持汉字,英文,数字,下划线,且只能以英文和汉字开头,3-255字符
7版本,根据实际情况选择。 消息集成(MQS)容量阈值策略 实例中MQS消息存储达到容量阈值时(存储空间的95%)的处理策略,请根据您的业务需要选择。 生产受限:拒绝消息生产请求,直到有消息到达老化时间被删除,腾出存储空间后(剩余存储空间大于5%),才能接收新的消息生产请求。此策略适用于消息消费
7版本。 消息集成(MQS)容量阈值策略 实例中MQS消息存储达到容量阈值时(存储空间的95%)的处理策略,请根据您的业务需要选择。 生产受限:拒绝消息生产请求,直到有消息到达老化时间被删除,腾出存储空间后(剩余存储空间大于5%),才能接收新的消息生产请求。此策略适用于消息消费
、HDFS、HBase和Kafka作为数据集成任务的源端和目标端。 对象存储服务 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 ROMA
流任务的结束时间。 运行ID 流任务的运行ID。 运行时间 流任务的运行时间。 状态 流任务的运行状态。 (可选)配置访问日志,实现异常监控日志的存储。 如果组合应用未启动,请单击“启动并配置运行记录”,选择一个实例启动此组合应用。 如果组合应用已启动,单击“点击开启”弹出“运行记录配置”窗口,然后配置日志接入信息。
套餐包 套餐包一种预付费模式,即先付费再使用,套餐包是根据购买的套餐包规格提供对应的RCU时额度,新版ROMA Connect实例使用过程中优先抵扣套餐包中的RCU时额度,超过额度的使用量按需计费。如果有多个实例,则多个实例合并计算RCU数量。套餐包按月购买,当月生效的套餐包额度
责建立和维护应用程序和MySQL数据库之间的连接,并管理数据的传输。 MySQL是一个流行的开源关系型数据库,广泛用于Web应用程序的后端。它支持多种操作系统,包括Windows、Linux、Unix和macOS X。MySQL以其高性能、可靠性和灵活性而闻名,是许多企业和开发人员的首选数据库。
使用ROMA Connect进行数据集成,有如下优势: 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源,具体支持的数据源类型请参见数据集成任务支持的数据源。 若ROMA Connect默认支持的数据源类型无
是否必选 参数类型 描述 name 是 String 后端API名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头。 最小长度:3 最大长度:100 path 是 String 后端API请求路径。 支
Encoding响应头参数。 消息中的请求体字段和响应体字段大小受到kafka_log_plugin_options中request_body_size和response_body_size的限制,当超过对应限制值时,对应字段会被截断。 推送的日志信息中,请求Body和响应Body信息是按UTF-8编码方式计算字节长度。
是否必选 参数类型 描述 name 是 String 后端API名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头。 最小长度:3 最大长度:100 path 是 String 后端API请求路径。 支
是否必选 参数类型 描述 name 是 String 后端API名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头。 最小长度:3 最大长度:100 path 是 String 后端API请求路径。 支
是否必选 参数类型 描述 name 是 String 后端API名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头。 最小长度:3 最大长度:100 path 是 String 后端API请求路径。 支
方面进行处理。 消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),建议消费者数量和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。