检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
及支持多个用户任务提交、运行,用户之间是不可见,需要有一个权限控制机制,使用户的任务信息不被其他用户获取。 例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。 配置描述 查看Yarn服务配置参数 参考修改集群服务配置参数进入Ya
删除HDFS上某个指定文件或者文件夹。 被删除的文件或文件夹,会被放在当前用户目录下的.Trash/Current文件夹中。若发生误删除,可从该文件夹中恢复。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
r2x进程Full GC次数小于或等于阈值时,告警恢复。 MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性
资源滥用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
可能原因 ZooKeeper服务异常。 HBase服务异常。 当前HBase服务中,与主HMaster实例共节点的MetricController实例未启动。 网络异常。 处理步骤 检查ZooKeeper服务状态。 在FusionInsight Manager的服务列表中,查看ZooKeeper运行状态是否为“良好”。
如何查看MRS服务的操作日志信息? “操作日志”页面记录了用户对集群和作业的操作的日志信息。目前,MRS界面记录的日志信息分为以下几类: 集群操作 创建集群、删除集群、扩容集群和缩容集群等操作 创建目录、删除目录和删除文件等操作 作业操作:创建作业、停止作业和删除作业等操作 数据
NONE”,开启自适应查询执行功能。 单击“确定”保存修改。 重启HetuEngine服务。 返回Manager,在“概览”选择“更多 > 重启服务”,根据界面提示重启HetuEngine服务。 若存在运行中的计算实例需重启HetuEngine计算实例。 返回HSConsole界
划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。 一般来说当所有Map任务都启动运行以后,退出BulkLoad客户端也不会导致已提交的作业失败。但由于Map任务存在重试机制和推测执行机制;Reduce任务下载一个已运行完成的Map任务的数据失败次数过多时,Map任务也会被重新执行。
组件重启参考信息。 通过Manager管理角色实例 登录Manager页面。 进入服务实例页面。 MRS 3.x及之后版本:选择“集群 > 服务 > 实例”。 MRS 2.x及之前版本:选择“服务管理 > 实例”。 勾选待操作角色实例前的复选框。 选择“更多 > 启动实例”、“停
输入正确的HiveQL语句,观察命令是否正确执行。 是,执行4.e。 否,执行2.a。 检查HBase服务是否异常。 检查是否执行Hive on HBase任务。 是,执行2.b。 否,执行3.a。 在服务列表查看HBase服务是否正常。 是,执行3.a。 否,执行2.c。 查看告警界面的相关告警,参照对应告警帮助进行处理。
当HA检测到knox资源正常后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12104 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 上层服务通过knox下发的请求无法正常处理响应。
划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。 一般来说当所有Map任务都启动运行以后,退出BulkLoad客户端也不会导致已提交的作业失败。但由于Map任务存在重试机制和推测执行机制;Reduce任务下载一个已运行完成的Map任务的数据失败次
Server2x进程GC时间小于或等于阈值时,告警恢复。 MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性
testFileAppend Welcome back to webhdfs! MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当ClickHouse与Zookeeper断连,将无法正常使用ClickHouse服务。 可能原因 ZooKeeper状态异常。 ClickHouse业务压力过大。
系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端,执行以下命令适当调大“query_timeout”参数值,默认为300秒。 SET GLOBAL query_timeout = xxx; 登录FusionInsight Manager,选择“集群 > 服务 > Doris
on不存在。 HetuEngine服务处于正常运行状态。 创建HetuEngine计算实例步骤 使用hetu_user登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域单击“HSConsole
是新添加的,无保存的旧状态,因此无状态恢复,从0开始运行。 如果用户在升级作业时从作业中删除一个有状态的算子有什么影响? 默认情况下,savepoint会尝试将所有保存的状态恢复。如果用户使用的savepoint中包含已经删除算子的状态,恢复将会失败。 用户可以通过--allow
在MRS的告警列表中查看是否有“ALM-14000 HDFS服务不可用”告警产生,服务列表中HDFS服务是否已停止。 是,如果有告警参考ALM-14000 HDFS服务不可用(2.x及以前版本)的处理步骤处理该故障;如果HDFS服务已停止,启动HDFS服务,执行1.g。 否,执行1.g。 确认Flume
随着业务的快速增长,面对集群存储容量或者CPU计算资源接近极限等场景,MRS服务提供了ClickHouse数据迁移工具,该工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中,以便保