检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换MRS集群VPC子网 MRS支持当子网IP不足时,切换子网到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考如何配置网络ACL出规则?。 未关联网络ACL时切换子网 登录MRS管理控制台。
MRS集群内节点是否支持更换网段? 答: MRS集群内节点支持更换网段。 在集群详情页“默认生效子网”右侧单击“切换子网”。 选择当前集群所在VPC下的其他子网,即可实现可用子网IP的扩充。 新增子网不会影响当前已有节点的IP地址和子网。 父主题: 产品咨询类
subnet_id 否 String 参数解释: 子网ID。通过VPC管理控制台获取子网ID: 登录VPC管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 单击对应虚拟私有云所在行的“子网个数”查看子网。 单击对应子网名称,获取“网络ID”。 约束限制: “subne
场景描述 本章节指导用户通过API创建一个MRS分析集群。API的调用方法请参见如何调用API。 约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC,子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区域的区域和可用区信息,具体请参考终端节点。
不涉及 subnet_id 是 String 参数解释: 子网ID。通过VPC管理控制台获取子网ID。 登录管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 单击对应虚拟私有云所在行的“子网个数”查看子网。 单击对应子网名称,获取“网络ID”。 约束限制: “subnet_
subnet_id 否 String 参数解释: 子网ID。通过VPC管理控制台获取子网ID: 登录VPC管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 单击对应虚拟私有云所在行的“子网个数”查看子网。 单击对应子网名称,获取“网络ID”。 约束限制: “subne
er”后的 , “访问方式”选择“专线访问”,记录集群浮动IP。查看“默认生效子网”后的子网,并记录。 登录VPC管理控制台,选择“虚拟私有云 > 子网”,搜索MRS集群的子网。 单击子网名称,进入子网详情页面,单击“IP地址管理”,搜索MRS集群浮动IP。 MRS集群浮动IP“
MRS集群所在VPC部署了VPCEP后集群补丁安装失败 问题现象 通过MRS管理控制台为MRS集群在线安装补丁,补丁安装失败,报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中,部署并配置了VPC终端节点(VPCEP)。相关的终端节点策略中,未允许MRS
使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在,会自动创建。但如果存在,则必须为空。目录路径不能包含空格。
如何解除网络ACL的关联子网 操作场景 用户可根据自身网络需求,解除网络ACL与子网的关联关系。 操作步骤 登录管理控制台。 在服务列表中单击“网络 > 虚拟私有云”。 在左侧导航栏单击“访问控制 > 网络ACL”。 在右侧在“网络ACL”列表区域,选择网络ACL的名称列,单击您需要修改的网络ACL名称进入详情页面。
使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x及之后版本。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在,会自动创建。但如果存在,则必须为空。目录路径不能包含空格。
lume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 操作步骤 根据前提条件,创建一个满足要求的弹性云服务器。
访问Manager页面报错“请求VPC错误” 用户问题 通过管理控制台前往Manager,报错“请求VPC错误”。 原因分析 当前用户没有VPC的访问权限。 IAM子用户所在的组有互斥权限导致访问Manager异常。 当前用户没有添加安全组中IP的权限,或安全组中添加的IP发生变化。
MRS集群节点所归属的虚拟私有云网络(VPC),如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云(VPC)网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。 通过子网提供与其他网络隔离的、可以独享
选择集群工作区域下关联的可用区。 虚拟私有云 vpc-default 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子
同步Kafka数据至ClickHouse 您可以通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群,具体操作详见本章节描述。 前提条件 已创建Kafka集群。已安装Kafka客户端,详细可以参考安装客户端。 已创建ClickHouse集群,并且ClickH
集群使用相同安全组、VPC、子网网络,从而保证网络连通。 图2 线上同Region同VPC迁移 客户在华为云上自建大数据集群(或老版本的MRS集群)需要迁移到华为云MRS集群,且在同一个Region区域,但是使用不同VPC子网。需要使用VPC对等连接方式配置网络连通。 图3 线上同Region不同VPC迁移
据不丢失,有较多限制,无法进行弹性伸缩。 Task节点:仅用于计算的节点,可扩容、缩容。因只承载计算任务,因此可以进行弹性伸缩。 MRS购买集群方式支持自定义购买集群和快速购买集群两种。 自定义购买集群:自定义购买可以灵活地选择计费模式、配置项,针对不同的应用场景,可以选择不同规
配置Hive元数据存储至RDS 本章节指导用户将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Hive元数据的迁移。 创建并配置RDS实例 登录RDS管理控制台
<batchTime> <windowTime> <topics> <brokers> 在没有Kafka数据输入的情况下,日志中显示的RDD的DAG结构会在一个Batch中打印两次,相关日志如下所示: ------------------------------------------- Time: