检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持
MQS连接开发(开源客户端) Java客户端使用说明 Python客户端使用说明 Go客户端使用说明 C#客户端使用说明 其他语言客户端使用说明 附录:如何提高消息处理效率 附录:spring-kafka对接限制 父主题: 消息集成开发指导
使用MQTTBox客户端连接ROMA Connect失败 原因分析 可能是以下两种原因导致,请逐一排查: 连接配置信息MQTT Client Id、Host、Username和Password有误。 “Appendtimestamp to MQTT client id?”选项被勾选。 解决方案
Hive数据源测试连接失败 原因分析 可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。 解决方案
最大长度:64 ftp_connect_mode String 访问FTP服务的连接模式。 active (主动模式) passive (被动模式) 最小长度:4 最大长度:2147483647 ftp_protocol String 访问FTP服务协议类型。 sftp ftp 最小长度:4
ROMA Connect支持的数据源 数据集成任务支持的数据源 表1中为数据集成所支持的全量数据源类型,具体每种数据源所支持的任务模式和集成模式请参见接入数据源。 连接数据源的用户需要有创建连接数据库会话的权限。 表1 数据集成支持的数据源 数据源类型 支持的版本 API 无版本号 ActiveMQ
确认,该批消息会在后续的消费请求中再次被获取。 消息生产与消费的幂等传递 ROMA Connect设计了一系列可靠性保障措施,确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电,使用消息确认(ACK)机制解决消息传输过程中遇到的异常。 考虑到网络异常等
与“API流量限制”配合使用,表示单位时间内API被调用的次数上限。 与“用户流量限制”配合使用,表示单位时间内的单个用户调用API的次数上限。 与“凭据流量限制”配合使用,表示单位时间内的单个凭据调用API的次数上限。 与“源IP流量限制”配合使用,表示单位时间内的单个IP地址调用API的次数上限。 API流量限制
解除API与ACL策略的绑定 功能介绍 解除某条API与ACL策略的绑定关系 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
策略名称 填写访问控制策略的名称,根据规划自定义。建议您按照一定的命名规则填写访问控制策略名称,方便您快速识别和查找。 类型 选择访问控制策略的限制类型。 IP地址:限制可调用API的IP地址。 账号名:仅适用IAM认证类型的API,限制可用于调用API的账号。 仅支持配置账号名,
error_code String 解除绑定失败的错误码 error_msg String 解除绑定失败的错误信息 api_id String 解除绑定失败的API的ID api_name String 解除绑定失败的API的名称 状态码: 400 表7 响应Body参数 参数
Java客户端使用说明 操作场景 本文介绍Java版本的Kafka客户端连接指导,并完成客户端连接以及消息生产与消费的相关示例。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Java开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
与其他服务的关系 虚拟私有云 虚拟私有云(Virtual Private Cloud,简称VPC)是用户在云服务平台上申请的隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性IP搭建业务系统。 ROMA Connect
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
向指定队列发送消息,可同时发送多条消息。 每次最多发送10条。 每次发送的消息总负载不超过2MB。 endpoint为https://{rest_connect_address}:9292,通过指定实例接口查询rest_connect_address的IP地址。 URI POST /v1/topic/
最大长度:64 ftp_connect_mode String 访问FTP服务的连接模式。 active (主动模式) passive (被动模式) 最小长度:4 最大长度:2147483647 ftp_protocol String 访问FTP服务协议类型。 sftp ftp 最小长度:4
调用开放的API 概述 API在发布到环境后,即支持被其他用户调用。根据API所使用的安全认证方式不同,调用API的操作有所差异。 前提条件 在调用API前,确保您的业务系统所在网络与API的访问域名或地址互通。 若业务系统与ROMA Connect实例在相同VPC内时,可直接访问API。
配置API的凭据配额控制 凭据配额可限制单位时间内凭据调用API的总次数,保护后端服务。您可以创建凭据配额策略,对绑定策略的凭据进行调用次数限制。 凭据配额策略和凭据本身是相互独立的,只有将凭据绑定凭据配额策略后,凭据配额策略才对凭据生效。 约束与限制 同一个凭据只能绑定一个凭据
与“API流量限制”配合使用,表示单位时间内API被调用的次数上限。 与“用户流量限制”配合使用,表示单位时间内的单个用户调用API的次数上限。 与“凭据流量限制”配合使用,表示单位时间内的单个凭据调用API的次数上限。 与“源IP流量限制”配合使用,表示单位时间内的单个IP地址调用API的次数上限。 基础流控