检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 进入Kafka服务页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Kafka”。
备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全,或者系统管理员需要对HDFS进行重大操作(如升级或迁移等),需要对HDFS数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
获取MRS集群信息 MRS服务支持的组件 MRS 3.2.0-LTS.1支持的组件信息如下: 分析集群包含的组件有:Hadoop,Spark2x,HBase,Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Guardian
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
com/MRS_Common_Script/MRS_1.9_Patch_UpdateRangerJks_All_20210203.tar.gz 上海一区域下载地址:https://mrs-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/M
配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的
查看Ranger审计信息 Ranger管理员可通过Ranger界面查看Ranger运行审计日志及组件使用Ranger鉴权后权限管控审计日志信息。 查看Ranger审计信息内容 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
修改MRS集群用户信息 管理员可以在Manager修改已创建的用户信息,包括修改用户组、主组、角色分配权限和描述。 修改用户信息(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在要修改信息的用户所在行,单击“修改”。
补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决
补丁基本信息 表1 补丁基本信息 补丁号 MRS_3.1.0_TROS_Tools_patch_20240430 发布时间 2024-07-15 解决的问题 MRS_3.1.0_TROS_Tools_patch_20240430修复问题列表: 支持Manager运维通道 支持运维巡检特性
查看作业历史信息 操作场景 该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作: 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志:查看作业在MapReduce执行的日志信息。
查看Ranger审计信息 Ranger管理员可通过Ranger界面查看Ranger运行审计日志及组件使用Ranger鉴权后权限管控审计日志信息。 查看Ranger审计信息内容 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
查看历史MRS集群信息 用户可以通过MRS管理控制台查看当前账号下已删除或者退订的MRS集群,了解云服务集群创建情况。 查看历史集群信息 登录MRS管理控制台。 选择“历史集群”,可查看已删除的历史集群信息。 单击集群名称,进入集群基本信息页面,可查看集群的配置信息、部署的节点信
查看MRS集群补丁信息 查看集群组件的补丁信息。如果集群组件,如Hadoop或Spark等出现了异常,可下载补丁版本,修复问题。 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,可查看当前MRS集群补丁信息。 补丁版本信息如下:
查询可用区信息 功能介绍 在创建集群时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”,不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成,如果需要修改为特定域名,系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高
ALM-12040 系统熵值不足 告警解释 MRS 3.2.0及之后版本: 系统每五分钟执行一次告警检查,首先检查是否启用并正确配置了rng-tools或者haveged工具,如果没有配置,则发送故障告警。否则继续检查熵值,如果连续五次检测结果均小于100,则上报故障告警。 当检
2.0-LTS.1.9_RootPatch_20240605.tar.gz补丁,以支持密钥方式的root补丁特性。 软件包获取地址: 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。
YARN HA方案介绍 YARN HA原理与实现方案 YARN中的ResourceManager负责整个集群的资源管理和任务调度,在Hadoop2.4版本之前,ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceMa