检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
构造器详情 public KafkaConsumer(Map configs) 构造一个Kafka消息消费者 参数:configs表示Kafka的配置信息 方法列表 返回类型 方法和说明 List<String> consume(String topic, long timeout, long
Connect实例的消息集成规格不能低于原业务使用的Kafka规格。消息集成规格请参考产品规格。 在ROMA Connect实例上创建与原Kafka相同配置的Topic,包括Topic名称、副本数、分区数、消息老化时间,以及是否同步复制和落盘等。 方案一:先迁生产,再迁消费 方案介绍 本方案中,先将生产消息的业务迁移到ROMA
仅当“可见范围”选择“集成应用”时需要配置。 选择插件所属的集成应用。若没有可用的集成应用,可单击右侧的“新建集成应用”,创建一个集成应用。 描述 填写插件的描述信息。 插件内容 插件的配置内容,支持表单配置和脚本配置两种方式。 根据不同的插件类型,插件内容的配置不同: 跨域资源共享插件 Kafka日志推送插件
保持默认设置,不开启。 配置API的请求参数。为简单起见,此处不定义请求参数,直接单击“下一步”。 选择“后端服务类型”,为简单起见,本配置样例中选择“Mock”类型后端服务,固定返回指定响应结果。 配置API的后端配置信息。 图3 后端配置信息 表3 后端配置信息 参数 配置说明 Mock自定义返回码
虚拟机:与之前机器相同规格且相同架构的Linux机器。 工具:需要安装Docker、NTP、Haveged服务,Docker安装请参考安装Docker,NTP配置请参考时间同步,Haveged的安装请参考安装Haveged。浏览器用于登录华为云控制台,要求Google Chrome
API管理”,在“API列表”页签中单击API右侧的“更多 > 调试”。 在调试页面中,左侧为API请求参数配置区域,根据API的定义配置API的请求信息。 表1 请求参数配置 参数 配置说明 Protocol 仅当API的请求协议为“HTTP&HTTPS”时,支持选择请求协议。 Method
构造器详情 public KafkaProducer(Map configs) 构造一个Kafka消息生产者 参数:configs表示Kafka的配置信息 方法列表 返回类型 方法和说明 org.apache.kafka.clients.producer.RecordMetadata produce(String
阅消息。 配置Topic授权(可选) 若ROMA Connect实例开启了MQS的SASL_SSL,客户端向Topic发布和订阅消息时,需要使用授权集成应用的Key和Secret进行安全认证。 连接Topic 在系统中集成开源的Kafka客户端,然后通过客户端提供的命令行向Topic生产和消费消息。
Hive配置文件。配置文件获取请参考获取FI Hive配置文件。 获取FI Hive配置文件: 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件,即FI Hive配置文件。 完成数据源接入配置后,单击
“integer”、“number”。 是否必填:配置此参数是否为必填参数。 描述:输入参数描述。 单击“操作”栏下的,可以新增参数。 请求体 配置请求体参数。当动作类型配置为“POST”、“PUT”、“DELETE”时,需要配置请求体参数。 参数名:输入参数名。 参数展示名:输入参数展示名。
单击“上传文件”,上传MRS Hive配置文件。配置文件获取请参考获取MRS Hive配置文件。 获取MRS Hive配置文件: 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件,即MRS Hive配置文件。 文件名只能
单击“上传文件”,上传MRS HBase配置文件。配置文件获取请参考获取MRS HBase配置文件。 获取MRS HBase配置文件: 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件,即MRS HBase配置文件。 文件名
单击“上传文件”,上传FI HBase配置文件。配置文件获取请参考获取FI HBase配置文件。 获取FI HBase配置文件: 参考下载用户认证文件,在FI Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件,即FI HBase配置文件。 文件名只能
填写数据源的描述信息。 机机交互用户名 填写连接MRS Kafka的机机类型用户名。 上传配置文件 单击“上传文件”,上传MRS Kafka配置文件。配置文件获取请参考获取MRS Kafka配置文件。 获取MRS Kafka配置文件 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS
该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配置,启动任务后会跳过这些数据,等任务执行成功后,再将表配置回来重新采集。 父主题: 数据集成组合任务
实例创建后,支持修改VPC和子网吗? 不同的ROMA Connect实例可以复用相同的VPC和子网,也可以使用不同的VPC和子网,请根据实际需要进行配置。 ROMA Connect实例创建后,不能修改VPC和子网。 如果要修改实例的VPC和子网,建议删除实例后重新创建实例。 父主题: 实例管理
“并行处理”是用于创建多个并行处理分支的处理器,以便同时执行多个分支任务。后续步骤如果要使用合并的各分支执行结果,可使用“ROMA表达式”${body}引用合并结果。 配置参数 参数 说明 输出格式 合并结果的格式,当前仅支持“Json”,表示合并结果以JSON字符串的格式输出。 可通过如下两种方法获取某一分支的结果:
企业项目 选择任务所属的企业项目,保持默认设置“default”。 配置任务计划信息。 为简单起见,任务计划信息保持默认设置。 配置源端API数据源信息。 图1 源端配置信息 表4 源端配置信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用
单击页面右上角的“创建连接器”,并参考创建连接器章节配置连接器信息。 以MySQL为例,数据源定义中主要填写主机名、端口、数据库名、用户名以及密码。 图1 连接器配置1 读写参数定义中,填写自定义插件执行读写操作时需要获取的额外信息,如要读写的表名、可以进行增量读取的时间戳字段列名等。 图2 连接器配置2 发布连接器
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。