检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于上述定制化的场景,可以选择登录到每个节点上手动操作,之后每扩容一个新节点,再执行一次同样的操作,操作相对繁琐,也容易出错。同时手动执行记录不便追溯,不能实现“按需创建、创建成功后即处理数据”的目标。 因此,MRS提供了自定义引导操作,在启动集群组件前(或后)可以在指定的节点上执行脚本。用户可以通
155:40214 [Receiving block BP-1287143557-192.168.199.6-1500707719940:blk_1074269754_528941 with io weight 10] | opWriteBlock BP-1287143557-192.168.199
方法二:使用本机访问MRS集群操作Hive。在安装开发环境后并完成以下步骤后再运行样例代码。 为MRS集群中要使用Hive服务的HiveServer节点或ZooKeeper节点绑定弹性公网IP,绑定弹性公网IP步骤如下。 在虚拟私有云管理控制台,申请一个弹性IP地址,并与弹性云服务器绑定。 具体请参见“虚拟私有云
155:40214 [Receiving block BP-1287143557-192.168.199.6-1500707719940:blk_1074269754_528941 with io weight 10] | opWriteBlock BP-1287143557-192.168.199
为任意一个Core节点绑定弹性公网IP,完成后将该IP地址配置在开发样例的client.properties下的impala-server配置项中,用于访问Impala服务、提交SQL语句。 在弹性公网IP页面申请一个弹性公网IP,并为集群的任一Core节点绑定该弹性公网IP,具体请参考申请并绑定弹性公网IP。
集群基本信息收集 表1 集群基本信息 参数 说明 集群名称 - 集群版本 MRS、CDM等集群的版本信息。 节点数及规格 调研现有集群节点数和节点规格。 如果集群硬件异构,请收集多种规格和对应节点数,参见表2。 例如: 2台32U64G机器部署NameNode + ResourceManager
为任意一个Core节点绑定弹性公网IP,完成后将该IP地址配置在开发样例的client.properties下的impala-server配置项中,用于访问Impala服务、提交SQL语句。 在弹性公网IP页面申请一个弹性公网IP,并为集群的任一Core节点绑定该弹性公网IP,具体请参考申请并绑定弹性公网IP。
优势: 提供内存级I/O吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息,请参见:https://docs.alluxio.io/os/user/stable/cn/Overview
具体请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 为MRS集群开放安全组规则。 在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群,若集群为安全集群则需要同时将UDP的21731、21732端口,TCP的21730
是否支持Keytab认证方式 是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是 确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通 适用于双平面的网络场景 只需对外开放HSFabric固定的IP,端口 支持范围:MRS 3.1.3及之后版本 HSBroker 是
NameNode失效,不会影响DataNode为集群中其他NameNode提供服务。 DataNode HDFS集群的工作节点。根据客户端或者是元数据节点的调度存储和检索数据,定期向元数据及客户端发送所存储的文件块的列表。 文件块 HDFS中存储的最小逻辑单元。每个HDFS文件由
使用root用户登录主备OMS节点,切换至omm用户,执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。 MRS 1.9.2.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和
配置存算分离集群(AKSK方式) 弹性云服务器(Elastic Cloud Server) MRS服务使用弹性云服务器(ECS)作为集群的节点,每个弹性云服务器是集群中的一个节点。 准备运行环境 创建集群 云数据库(Relational Database Service) 云数据库(RDS)用于存储
是否支持Keytab认证方式 是否支持客户端跨网段访问 使用前提 HSFabric 是 是 是 确保业务侧和HetuServer服务端HSFabric所在业务节点网络互通 适用于双平面的网络场景 只需对外开放HSFabric固定的IP,端口 支持范围:MRS 3.1.3及之后版本 HSBroker 是
oad_record=true参数启用记录。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Man
不断服。 MRS 2.1.0.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
aExample 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。 StructuredStreamingStateScalaExample
安装补丁后需要重启服务才能生效,重启服务期间引起服务暂不可用。 安装补丁后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
不断服。 MRS 2.1.0.3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,“协议”