检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“现有集群”,单击集群名,进入集群基本信息页面。 在“节点管理”页签单击任一节点名称,登录到弹性云服务器管理控制台。 参见申请弹性公网IP为集群的节点绑定一个弹性IP地址。 参考上传文件到云服务器方式概览,将本地文件上传到集群节点。 父主题: 集群管理类
6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “源端路径”:填写备份文件在NAS服务器中保存的完
其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群。 如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
禁用部分未使用的HTTP方法,防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令,避免被黑客捕获利用关闭服务器,降低对服务器和应用的威胁。 出于安全考虑,更改“maxHttpHeaderSize”的取值,给服务器管理员更大的可控性,以控制客户端不正常的请求行为。 安装
例如,用户可以选择操作系统为Euler的弹性云服务器准备操作。 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 如果不同,请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许MRS集群所有安全组的访问。
在Hue WebUI使用元数据浏览器 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据,可以通过Hue完成任务。 Metastore管理器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 选择“Data Browsers > Metastore Tables”,进入“Metastore
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问“Job Browser” 访问Hue WebUI,请参考访问Hue WebUI界面。 单击“Job Browser”。 默认显示当前集群的所有作业。 “Job
MRS服务提供了基于ELB的HA部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。如图3所示,客户端应用请求集群时,使用ELB(Elastic Load Balance)来进行流量分发,通过ELB的轮询机制,写不同节点上的本地表(Local
方法一:申请一台Windows的ECS访问MRS集群操作Impala,在安装开发环境后可直接运行样例代码。 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用
max-lifetime 该参数为服务器端参数,设置Token的最大存活时间,单位为毫秒。取值范围:10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数,设置Token
max-lifetime 该参数为服务器端参数,设置Token的最大存活时间,单位为毫秒。取值范围:10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数,设置Token
配置MRS集群作业消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
配置自定义调度器的WebUI 配置场景 如果用户在ResourceManager中配置了自定义的调度器,可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 表1 配置自定义调度器的WebUI
主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的备Manager服务器地址。 登录主管理节点。 执行以命令,检查备Manager服务器是否可达。 ping 备Manager心跳IP地址
取值范围 描述 备注 服务级别内存资源限额 0~1 表示当前ClickHouseServer在服务器上可用内存的比例。 如服务器物理内存为10G,该值设置为0.9,则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G 租户级别内存资源限制 0%~100% 表示当前
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持切换操作系统。 父主题: 节点管理类
用于开发Kafka应用程序的工具。 网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题: 准备Kafka应用开发环境
YARN开源增强特性 任务优先级调度 在原生的YARN资源调度机制中,如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源,会使得后提交的Job一直处于等待状态,直到Running中的Job执行完并释放资源。 MRS集群提供了任务优先级调度机制。此机制允许