检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建负载通道(可选) 概述 ROMA Connect通过创建负载通道,可访问指定服务器中已部署的后端服务,并实现后端服务访问的负载均衡功能。ROMA Connect的负载通道可直接访问同一VPC内的弹性云服务器(ECS),也可以通过IP访问其他VPC内的ECS和私有服务器。 例如,VPC中包含6台ECS,ROMA
创建负载通道(可选) ROMA Connect通过创建负载通道,可访问指定服务器中已部署的后端服务,并实现后端服务访问的负载均衡功能。ROMA Connect的负载通道可直接访问同一VPC内的弹性云服务器(ECS),也可以通过IP访问其他VPC内的ECS和私有服务器。 例如,VPC中包含6台ECS,ROMA
量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久
量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;
本,对传入“脚本处理”组件的数据进行处理,生成新的数据供后续步骤使用。 配置参数 参数 说明 语言 选择编写脚本使用的编程语言,当前只支持ES5版本的JavaScript语言。 内容 编写脚本内容。 可通过变量的形式引用前序步骤中的数据,请参考引用变量。 当需要解析JSON格式的内容数据时,可通过“JSON
响应Body参数 参数 参数类型 描述 [数组元素] Array of ListInstanceGroupResp objects 查询实例集群的所有消费组成功。 表4 ListInstanceGroupResp 参数 参数类型 描述 groups Array of ListGroupEntity
_log_*”,表示匹配以site_access_log_开头的所有日志索引文件。 日志索引的名称格式为site_access_log_{es_index_name}_{current_date (YYYY-MM-dd)},在编辑logstash.conf文件时设置。 在数据视图中查看日志数据和日志统计。
datanode(s) running and 2 node(s) are excluded in this operation”错误 原因分析 HDFS集群节点都绑定了EIP,在创建MRS Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上
每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 MRS Kafka数据源所在的MRS集群已开启Kerberos认证,并已为机机交互用户配置执行权限,具体请参考准备开发用户。 操作步骤 登录ROMA Connect控制台,在“实
控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 集群管理”,单击“注册集群实例”,分别填写扩展采集器名称,描述,ak/sk认证基本信息,远端ABM服务节点D的Url地址,新增集群实例。 集群实例创建完成后,在左侧的导航栏选择“应用业务模型ABM > 模型采集 >
DWS变成只读状态导致FDI任务运行失败 原因分析 在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的
支持多种数据结构,包括字符串、哈希表、列表、集合和有序集合等。Redis还提供了一些高级功能,如事务、发布/订阅、Lua脚本执行、持久化和集群等。 Redis默认端口为6379,但是管理员可以根据需要将其更改为其他端口。 创建Redis连接 登录新版ROMA Connect控制台。
elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.7.1 restart: always container_name: elasticsearch #
填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中数据库的连接IP地址和端口号。
填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中数据库的连接IP地址和端口号。
步。 truncate方式删除的数据不支持同步,整表方式删除的数据不支持同步。 源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连
证。 数据库名 填写要接入的数据库名。 集群模式 要接入的MongoDB数据库是否为集群模式。 若接入的MongoDB数据库为集群模式,则选择“是”。 若接入的MongoDB数据库为副本集模式或单节点模式,则选择“否”。 副本集 仅当“集群模式”选择“否”时需要配置。 若接入的M
Connect通过创建负载通道,可访问同一VPC内的弹性云服务器(ECS),并把弹性云服务器中已部署的后端服务用于API开放。另外负载通道还可以实现后端服务访问的负载均衡功能。 生产者 生产者为向消息主题(Topic)发布消息的一方,发布消息的最终目的在于将消息内容传递给其他系统,使对方能按照约定处理该消息。
200 表2 响应Body参数 参数 参数类型 描述 [数组元素] Array of ShowGroupResp objects 查询实例集群的消费组信息成功。 表3 ShowGroupResp 参数 参数类型 描述 group Array of ShowGroupEntity objects