检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明: 如果涉及到的PORT值和配置的mapreduce.shuffle.port值不一样时,mapreduce.shuffle.port将不会生效。 - 父主题: 使用MapReduce
全部配置”页面。需将NodeManager的“yarn.nodemanager.recovery.enabled”配置项为“true”后才生效,默认为“true”,这样在YARN重启的异常场景时会定时删除多余的本地日志,避免问题的出现。 父主题: Yarn常见问题
若Hive启用了Ranger鉴权,也可以参考添加Yarn的Ranger访问权限策略章节设置当前用户在指定Yarn队列提交任务的权限。 权限配置生效后,重新执行命令。 父主题: 使用Hive
操作。 卸载失败或者重试后仍然失败,不能直接再点安装,请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。
不能超过20条。 取值范围: 不涉及 默认取值: 不涉及 表5 ResourcesPlan 参数 参数类型 描述 period_type String 参数解释: 资源计划的周期类型,当前只允许以下类型:daily。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 start_time
_OPTS”的“-Xmx”参数,将该参数的默认值改大,比如改为512m。然后执行source component_env命令,使修改的参数生效。 父主题: 使用Yarn
说明: 如果涉及到的PORT值和配置的mapreduce.shuffle.port值不一样时,mapreduce.shuffle.port将不会生效。 - 父主题: 使用Mapreduce
Submit Topology:提交拓扑。 说明: Submit Topology权限只有在Storm Topology为*的情况下可以赋权生效。 File Upload:文件上传。 File Download:文件下载。 Kill Topology:删除拓扑。 Rebalance:Rebalance操作权限。
JDBC产生空指针报错。 Spark JDBCServer任务并发长稳运行出现端口冲突,导致连接失败。 Spark Streaming写HBase换盘场景中,加入黑名单中的Executor会残留。 MRS集群Spark2x的“listing.ldb”文件夹不自动清理,导致根目录写满。 S
_administrator角色,则该账号拥有租户管理的查看和操作权限。 修改用户的用户组,或者修改用户的角色权限,最长可能需要3分钟时间生效。 单击“确定”完成修改操作。 父主题: 用户认证及权限类
参数列表 参数 默认值 修改结果 spark.shuffle.service.enabled false true 重启Spark2x服务,配置生效。 如果需要在Spark2x客户端用External Shuffle Service功能,需要重新下载并安装Spark2x客户端。 父主题:
单击“保存配置”,并在确认对话框中单击“是”。 等待界面提示“操作成功”,单击“完成”,配置已修改。 查看集群是否存在配置过期的服务,如果存在,需重启对应服务或角色实例使配置生效,也可在保存配置时直接勾选提示框进行重启。 父主题: 附录
efaults.conf”配置文件中,重启JDBCServer实例。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight
max_bytes_per_broker_scanner:值为待导入文件大小/BE节点个数。 配置项仅在Leader FE的“fe.conf”中修改才会生效。 单击“保存”保存配置,并重启配置过期的实例。 父主题: Doirs故障排除
使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参
面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示: 表3 日志格式 日志类型 组件 格式 示例 运行日志 zookeeper
/opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,修改kadmin/admin密码。此操作对所有服务器生效。如果密码丢失将不可找回,请妥善保管。 kpasswd kadmin/admin 输入用户密码后(默认密码为Admin@123),设置新密码。新密码的默认复杂度要求:
在左侧导航栏选择需修改的角色所对应的“日志”菜单。 在右侧选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。 日志格式 Hue的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <dd-MM-yy HH:mm:ss
使用Flume服务端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传
are/lib”路径下各组件有没有报错的类的Jar包,如果没有,添加Jar包并执行HDFS上更新了Oozie的share lib目录但没有生效。如果执行了更新“share lib”目录依然报找不到类,那么可以查看执行更新“share lib”的命令打印出来的路径“sharelibDirNew”是否是“