检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x之前版本,在集群详情页选择“组件管理 > HDFS > 服务配置”,将“基础配置”切换为“全部配置”,搜索hadoop.rpc.protection查看。 操作步骤 进入Yarn服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数。 若集群详情页面没有“组件管理”页签,请先完成IAM
修改Manager用户 功能简介 通过访问Manager接口完成修改用户。 代码样例 以下代码片段是修改用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成修改用户 operationName
将处于“亚健康”状态。 此时并不会影响基于Hive服务的上层业务,手动重启HBase服务后,Hive服务运行状态恢复正常。 父主题: 组件管理类
DAGScheduler: Final stage: Stage 0(reduce at SparkPi.scala:35) 父主题: Spark运维管理
Manager登录认证 功能介绍 实现Basic认证登录,并返回登录后的httpClient。 前提条件 配置用户的集群信息和登录账号信息: 配置文件:“样例工程文件夹\conf\UserInfo.properties”。 参数说明: userName:登录Manager系统的用户名。
外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间复制功能,该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop
配置MapReduce集群管理员列表 配置场景 该功能主要用于指定MapReduce集群管理员。 其中,集群管理员列表由参数“mapreduce.cluster.administrators”指定,集群管理员admin具有所有可以操作的权限。 配置描述 进入Mapreduce服务
${newhostname}:表示新的hostname取值。 修改完成后,重新登录修改的节点,查看修改后的hostname是否生效。 父主题: 集群管理类
为二分之一或四分之一的值),但不要超过“yarn.scheduler.maximum-allocation-mb”参数值。 父主题: 集群管理类
进入HDFS服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
erlogs/”目录内。 Spark Job完成的任务日志保存在HDFS的“/tmp/logs/用户名/logs”目录内。 父主题: 作业管理类
已创建的MRS集群支持修改Master节点。 目前系统支持2个及以上Master节点的集群升级Master节点规格 ,具体操作请参考升级Master节点规格。 父主题: 节点管理类
单击左侧导航栏的“Configuration”,在右上角搜索“hive.query.string”参数,即可查询出对应的HiveSQL。 父主题: 作业管理类
写入到输出源的行数(文件数)。 行/文件 跳过数 转换过程中记录的坏行数(文件数):输入格式不正确,无法进行转换。 转换过程中配置过滤条件后跳过的行数。 父主题: 管理Loader作业
DataNode停止提供服务前允许失败的卷数。默认情况下,必须至少有一个有效卷。值-1表示有效卷的最小值是1。大于等于0的值表示允许失败的卷数。 -1 父主题: HDFS运维管理
具体执行的SQL语句信息。 reserve1 string 保留字段1。 reserve2 string 保留字段2。 父主题: Doris运维管理
house/orc_test 如果不带类似“hdfs://hacluster”的文件存储前缀 ,默认读取本地文件。 父主题: Hive运维管理
down.enabled 用于配置是否开启Hive表的分区谓词下推增强功能。 true [true,false] 父主题: Spark运维管理
Master仅仅向YARN请求Executor,Client会和请求的Container通信来调度工作,也就是说Client不能离开。 父主题: 作业管理类
是否将executor metrics的每个stage峰值(针对每个executor)写入event log。 false 父主题: Spark运维管理