检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/ELK/docker-compose.yml 其中,log目录用于挂载Logstash的数据目录,存储Logstash处理后的数据和元数据信息,即使容器Logstash被删除,日志数据也不会丢失,并且可以轻松的备份和恢复数据。 执行以下命令为log目录配置权限。 chmod 777 /ELK/logstash/log
conf文件中user和password的值,修改为与步骤4.c中设置的用户名密码一致。 vim /ELK/logstash/logstash.conf 执行以下命令修改kibana.yml文件中elasticsearch.username和elasticsearch.password的值,修改为与步骤4
ct-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 配额名称。支持汉字,英文,数字,下划线,且只能以英文和汉字开头 最小长度:3 最大长度:255 call_limits 是 Integer 客户端配额的访问次数限制 最小长度:1
ct-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 配额名称。支持汉字,英文,数字,下划线,且只能以英文和汉字开头 最小长度:3 最大长度:255 call_limits 是 Integer 客户端配额的访问次数限制 最小长度:1
成任务支持的数据源。 若ROMA Connect默认支持的数据源类型无法满足您的数据集成场景,您还可以自定义数据源,具体请参见接入自定义数据源。 支持灵活的集成模式 ROMA Connect支持定时和实时两种集成模式: 定时:根据制定的任务计划,定时获取源端数据并集成到目标端。
、kibana_image_id和python_image_id为4中查询到的对应组件的镜像ID。 把导出的镜像文件上传到服务器中。 把镜像文件filebeat_image.tar上传到SHUBAO组件所在节点,步骤1查询到的所有SHUBAO所在的节点都要上传。 把镜像文件logstash_image
Connect实例页面中填写实例配置信息,系统会根据您选择的“实例规格”和“购买时长”自动计算费用,然后单击“立即购买”。 表1 实例配置参数 参数 配置说明 计费模式 选择实例的计费模式,可选择“包年/包月”。 区域 选择实例所在的区域,不同区域的实例之间内网互不相通,请选择您的业务就近区域购买实例,以减少网络时延,提高访问速度。
到数据源所在子网的路由配置。 接入数据源 根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业
登录新版ROMA Connect控制台。 在左侧导航栏选择“资源管理”,鼠标悬停于需要调整RCU的实例上,左下角单击“RCU调控”。 在RCU调控页面调整实例的RCU分配方案,系统会根据您配置的RCU值重新计算配置费用。 仅当“RCU分配”中首次为消息集成分配了RCU时,需参考表2配置MQS相关信息。完成后单击“下一步”。
“x86计算”。 实例名称 填写实例的名称,根据规划自定义。 描述 填写实例的描述信息。 规格配置 为实例的集成能力分配RCU,仅分配到RCU的集成能力可以使用。 RCU(ROMA Compute Unit)为ROMA计算单元,可分配到不同的集成能力上。集成能力分配到的RCU越多
DC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型
需填写账号名,账号支持除英文半角逗号以外的任意ASCII字符,账号名长度限制在1-64个字符,不支持纯数字。多账号名字符的总长度不超过1024。 entity_type为DOMAIN_ID时,策略值需填写账号ID,获取方式请参见API参考的“附录 > 获取账号ID”章节。 entity_type
购买套餐包 ROMA Connect提供了套餐包的计费方式,使用ROMA Connect的过程中优先抵扣套餐包中的RCU时额度,超过额度的使用量按需计费。您可以根据业务需求购买RCU时套餐包。 约束与限制 套餐包按月购买,当月生效的套餐包额度仅当月有效,额度余量过期失效,不可结转
Kafka业务迁移指将连接其他Kafka的生产与消费消息的客户端切换成连接ROMA Connect,部分还涉及将持久化的消息文件迁移到ROMA Connect上。 在业务迁移过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 迁移准备 确保消息生产与消费客户端与ROMA Connect实例的消息集成
填写MySQL数据库的访问端口,MySQL的默认访问端口为3306,以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式 数据库所使用的编码格式。 超时时间(秒) 连接数据库的超时时间,单位为秒。 用户名 访问数据库的用户名,且该用户具备数据库的读写权限。 密码
在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不
A Connect实例的RCU数量与实际使用时长计费。 套餐包是一种预付费模式,即先付费再使用,根据购买的套餐包规格提供对应的RCU时额度,新版ROMA Connect实例使用过程中优先抵扣套餐包中的RCU时额度,超过额度的使用量按需计费。 关于计费模式的详细介绍请参见计费模式。
API指标统计值查询-最近一段时间 功能介绍 根据API的ID和最近的一段时间查询API被调用的次数,统计周期为1分钟。查询范围一小时以内,一分钟一个样本,其样本值为一分钟内的累计值。 为了安全起见,在服务器上使用curl命令调用接口查询信息后,需要清理历史操作记录,包括但不限于“~/
进入“费用中心 > 流水和明细账单”页面。 选择“明细账单”,在筛选条件中选择“资源ID”,并输入2中复制的实例ID,单击图标即可查找到该资源的账单。 可以看到该实例扣除的费用,这取决于ROMA Connect的计费模式和计费项,具体请参见计费概述。 关于查询账单的详细参数介绍请参见流水与明细账单。
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完整,