检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IAM用户权限策略及同步MRS后权限对比请参考表1,Manager对应默认权限说明请参考MRS集群默认权限信息说明。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess
Consumer初始化成功但是无法从Kafka中获取指定Topic消息 问题背景与现象 使用MRS安装集群,主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定T
"Dprocess.name=nodeagent" | grep -v grep 检查查询结果是否为空。 是,执行19。 否,执行21。 查看Agent启动与运行日志排查故障原因,待故障解决后执行20。 Agent运行日志:/var/log/Bigdata/nodeagent/agentlog/agent
以更新、删除本策略,它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类型,拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 表2 设置权限 任务场景
查看Storm应用调测结果 操作场景 Storm应用程序运行完成后,可通过登录Storm WebUI查看应用程序的运行情况。 操作步骤 登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://FusionInsight Ma
查看Storm应用调测结果 操作场景 Storm应用程序运行完成后,可通过登录Storm WebUI查看应用程序的运行情况。 操作步骤 登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://FusionInsight Ma
Hue故障排除 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue
登录CDLService WebUI界面 操作场景 MRS集群安装CDL组件后,用户可以通过CDL的图形化界面进行数据连接管理和可视化作业编排等。 本任务指导用户在MRS集群中访问CDL WebUI。 Internet Explorer浏览器可能存在兼容性问题,建议使用Google
通过Hue执行SparkSQL 操作场景 用户需要使用图形化界面在集群中执行SparkSql语句时,可以通过Hue完成任务。 配置Spark2x 使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面,具体操作请参考修改集群服务配置参数。
以更新、删除本策略,它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”相同。 表2 设置权限 任务场景 角色授权操作 授予访问表所在的Catalog策略 在“Policy Name”填写策略名称。
ffix”参数还需要在Yarn的客户端进行配置,且在ResourceManager、NodeManager和JobHistory节点的配置与在Yarn的客户端的配置必须一致。 周期性收集日志功能目前仅支持MapReduce应用,且MapReduce应用必须进行相应的日志文件滚动输
调测Kafka SpringBoot样例程序 开启Kafka Plain认证。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索参数“sasl.enabled.mechanisms”,将参数值改为“GSSAPI
访问MRS组件Web UI界面常见异常问题 使用admin用户访问组件的WebUI界面报错或部分功能不可用 访问组件WebUI页面报500异常 【HBase WebUI】无法从HBase WebUI界面跳转到RegionServer WebUI 【HDFS WebUI】访问HDFS
无法访问MRS集群Manager页面如何处理? 问题现象 MRS集群创建完成后,无法通过管理控制台访问集群Manager管理页面。 排查思路 检查集群状态:Manager页面无法正常访问,请首先确认MRS集群状态是否正常,如果集群已关闭或者正在创建中,或集群正在发生主备倒换,将无法访问Manager。
在Hue WebUI使用HBase 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式,即设置“spark.eventLog.enabled”为“true”时,就会往配置的一个日志文件中写事件,记录程序的运行过程。当程序运行很久,job很多,task很多时就会造成日志文件很大,如JDBCServer、Spark
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式,即设置“spark.eventLog.enabled”为“true”时,就会往配置的一个日志文件中写事件,记录程序的运行过程。当程序运行很久,job很多,task很多时就会造成日志文件很大,如JDBCServer、Spark
使用sqoop-shell工具导入数据到HBase 操作场景 本文将以从Oracle导入数据到HBase的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。
开源sqoop-shell工具使用示例(Oracle - HBase) 操作场景 本文将以“从Oracle导入数据到HBase”的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 本章节适用于MRS 3.x及后续版本。 前提条件
通过Hue管理HBase表 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户