检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎么通过客户端设置Map/Reduce内存? 问题现象 客户端怎么设置Map/Reduce内存? 处理步骤 Hive在执行SQL语句前,可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数: set mapreduce.map.memory
为什么IAM子账号添加了MRS权限却无法在控制台提交作业? 问: IAM子账号添加了MRS ReadOnlyAccess、MRS FullAccess权限,无法在控制台提交作业,怎么办? 答: 用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess
shell客户端在使用中有INFO信息打印在控制台导致显示混乱 用户问题 在使用HBase shell中会有INFO信息打印在控制台,导致显示混乱,用户在输入命令前需要按回车符清理控制台。如下图所示: 原因分析 HBase客户端中默认日志打印设置为“INFO,console”,所以在使
MRS管理控制台和集群Manager页面功能区别有哪些? 问: MRS管理控制台和集群Manager页面有什么区别与联系? 答: 用户可以通过MRS管理控制台页面登录到MRS的Manager页面。 Manager分为MRS Manager和FusionInsight Manager,其中:
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
MRS管理控制台上提交作业异常处理 用户问题 MRS控制台作业管理提交作业“状态”为“已接受”,“执行结果”为“未定”,作业未成功提交到Yarn上,如下图所示: 原因分析 由于管理控制台的作业管理功能是由集群管理模块Executor来负责调度执行,因此作业未提交到Yarn上,根因
MRS集群指标监控采用周期性监控,历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。 查看MRS集群资源监控指标前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
MRS租户管理中的动态资源计划页面无法刷新怎么办? 问: MRS租户管理中的动态资源计划页面无法刷新怎么办? 答: 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
Manager MRS Manager支持监控、配置和管理MRS集群,用户可以在MRS控制台页面打开Manager管理页面。 本章节介绍如何打开MRS Manager方法。 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 单击“点击管理”,打开“访问MRS
Presto如何配置其他数据源? 本指导以连接MySQL数据源为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”,进入Presto配置界面修改参数配置。 搜索“connector-customize”配置。
executor.memory=2G --driver-memory 设置driver的运行内存。 2G --num-executors 设置executor启动数量。 5 --executor-cores 设置executor核数。 2 --jars 上传任务额外依赖包,用于给任务添加任务的外部依赖包。
如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台查看集群事件 登录MRS管理控制台。
服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true,表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
Flink作业运行程序参数 参数 描述 示例 -ytm 设置每个TaskManager容器的内存(单位可选,默认单位MB)。 1024 -yjm 设置JobManager容器内存(单位可选,默认单位MB)。 1024 -ys 设置TaskManager的核数。 2 -ynm 自定义Yarn上应用程序名称。
该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看
Hive常用常用配置参数 参数入口 对于MRS 3.x之前版本,登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 对于MRS 3.x之后版本,登录FusionInsight Manager,选择“集群
创建ClickHouse角色 该任务指导MRS集群管理员在Manager创建并设置ClickHouse的角色。ClickHouse角色可设置ClickHouse管理员权限以及ClickHouse表和数据库的读写权限。 前提条件 ClickHouse服务运行正常,Zookeeper服务运行正常。
码为创建集群时设置的admin密码。 通过ECS访问MRS集群Manager 进入MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。
单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 Yarn权限: “集群管理操作权限”:Yarn管理员权限。 “调度队列”:队列资源管理。 表1 设置角色 任务场景 角色授权操作 设置Yarn管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
MRS集群管理概述 MRS管理平台概述 用户可以在集群创建完成后,通过MRS管理控制台或MRS集群Manager查看集群基本信息并对集群进行管理和运维。 MRS管理控制台:用户可以通过MRS管理控制台的集群管理页面,进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理等操作。