检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在MRS集群中手动添加组件? 问:如何在已创建好的MRS集群中手动添加服务? 答: 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件,则需要重新创建一个集群,并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群
其他用户库表操作 参照表格上述相关操作添加对应权限。 给用户添加其他用户库表的HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。 如果用户在执行命令时指定了HDFS路径,需要给该用户添加HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策
MRS的Storm集群提交任务时如何指定日志路径? 问: MRS的Storm集群提交任务时如何指定日志路径? 答: 用户可以根据自己的需求,修改MRS的流式Core节点上的“/opt/Bigdata/MRS_XXX /1_XX _Supervisor/etc/worker.xml
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 H
HBase 客户端安装路径/HBase/hbase/conf HDFS 客户端安装路径/HDFS/hadoop/etc/hadoop Hive 客户端安装路径/Hive/config Hudi 客户端安装路径/Hudi/hudi/conf Kafka 客户端安装路径/Kafka/kafka/config
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 H
Tez或者Spark库路径不存在 告警解释 系统每180秒周期性检测Tez和Spark库路径,不存在则产生该告警。 告警属性 告警ID 告警级别 是否自动清除 16048 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
添加MRS租户 当租户需要根据业务需求指定资源使用情况时,可以在MRS创建租户。 添加MRS租户前提条件 根据业务需求规划租户的名称,不得与当前集群中已有的角色或者Yarn队列重名。 如果租户需要使用存储资源,则提前根据业务需要规划好存储路径,分配的完整存储路径在HDFS目录中不存在。
配置读取HIVE分区表时,是否过滤掉分区表分区路径不存在的分区。 “true”:过滤掉分区路径不存在的分区; “false”:不进行过滤。 false 在spark-submit命令提交应用时,通过“--conf”参数配置是否过滤掉分区表分区路径不存在的分区。 示例: spark-submit
配置读取Hive分区表时,是否过滤掉分区表分区路径不存在的分区。 “true”:过滤掉分区路径不存在的分区; “false”:不进行过滤。 false 在spark-submit命令提交应用时,通过“--conf”参数配置是否过滤掉分区表分区路径不存在的分区。 示例: spark-submit
其他用户库表操作 参照表格上述相关操作添加对应权限。 给用户添加其他用户库表的HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。 如果用户在执行命令时指定了HDFS路径,需要给该用户添加HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策
"; 需要添加组件操作用户到Ranger策略中的URL策略,URL填写对象在OBS上的完整路径,权限选择Read, Write 权限,其他权限不涉及URL策略。详细操作MRS 3.x之前版本请参考在Ranger中配置Hive的访问权限,MRS 3.x及之后版本请参考添加Hive的Ranger访问权限策略。
通过该接口可查找指定文件在HDFS集群上块的位置,其中file为文件的完整路径,start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f) 通过该接口可以打开HDFS上指定文件的输出流,并可通过FSDataInputStream类提供接口进行文件的读出,其中f为文件的完整路径。
通过该接口可查找指定文件在HDFS集群上块的位置,其中file为文件的完整路径,start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f) 通过该接口可以打开HDFS上指定文件的输出流,并可通过FSDataInputStream类提供接口进行文件的读出,其中f为文件的完整路径。
通过该接口可为指定的HDFS文件重命名,其中“src”和“dst”均为文件的完整路径。 public abstract boolean delete(Path f, boolean recursive) 通过该接口可删除指定的HDFS文件,其中“f”为需要删除文件的完整路径,recuresive用来确定是否进行递归删除。
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示
通过该接口可查找指定文件在HDFS集群上块的位置,其中file为文件的完整路径,start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f) 通过该接口可以打开HDFS上指定文件的输出流,并可通过FSDataInputStream类提供接口进行文件的读出,其中f为文件的完整路径。
通过该接口可为指定的HDFS文件重命名,其“src”和“dst”均为文件的完整路径。 public abstract boolean delete(Path f, boolean recursive) 通过该接口可删除指定的HDFS文件,其中“f”为需要删除文件的完整路径,recuresive用来确定是否进行递归删除。
择本集群中的主机。资源池中的主机列表可以为空。 单击“确定”保存。 完成资源池创建后,用户可以在资源池的列表中查看资源池的“名称”、“成员”、“类型”、“虚拟核数”与“内存”。已加入自定义资源池的主机,不再是“default”资源池的成员。 通过Manager添加资源池 登录Manager。选择“租户资源”。
添加MRS子租户 根据业务对资源消耗以及隔离的规划与需求,用户可以通过MRS创建子租户,将当前租户的资源进一步分配以满足实际使用场景。 如果在添加租户时,租户资源类型选择“非叶子租户”,则支持添加子租户;如果选择“叶子租户”则不支持添加子租户。 前提条件 已参考添加MRS租户添加“非叶子租户”。