检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
件或目录已存在或被清除,具体报错如下: 原因分析 根据HiveServer的审计日志,确认该任务的开始时间和结束时间。 在上述时间区间内,查找是否有对同一张表或分区进行插入数据的操作。 Hive不支持对同一张表或分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个
在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题: 调测Spark应用
管理Loader作业 批量迁移Loader作业 批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看Loader作业历史信息 清理Loader作业残留历史数据 管理Loader数据连接 父主题: 使用Loader
创建Hue操作任务 通过Hue执行HiveQL 通过Hue执行SparkSQL 通过Hue查看Hive元数据 通过Hue管理HDFS文件 通过Hue管理Oozie作业 通过Hue管理HBase表 通过Hue执行HetuEngine SQL 父主题: 使用Hue
开发MapReduce应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测MapReduce应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测MapReduce应用 父主题: MapReduce开发指南(安全模式)
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题: 管理MRS集群
指导用户将开发好的程序编译并打包,上传到VPC的Linux节点运行。 调测Kafka应用 查看程序运行结果 程序运行结果可以输出到Linux命令行页面。也可通过Linux客户端进行Topic数据消费的方式查看数据是否写入成功。 调测Kafka应用 父主题: Kafka应用开发概述
支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 Oozie应用开发常见概念 流程定义文件 描述业务逻辑的XML文件,包括“workflow.xml”、“coordinator
Tserver进程内存占用率超过阈值”告警,查看告警来源。 在“运维 > 告警 > 阈值设置 > Kudu”,找到该告警的阈值,再对比集群Kudu实例的内存监控项,看是否超过阈值,处理内存使用率过高的问题,或修改阈值。 在“运维 > 告警”页签,查看该告警是否恢复。 是,处理完毕。 否,执行4。
实例”,在Presto实例列表中,查看所有Coordinator或Worker“运行状态”是否都呈现“未知”状态。 是,执行2。 否,执行4。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325 Presto服务不可用”告警是否清除。
实例”,在Presto实例列表中,查看所有Coordinator或Worker实例状态是否都呈现未知状态。 是,执行2。 否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325 Presto服务不可用”告警是否清除。
> 待操作集群的名称 > 服务 > Hive > 资源”,查看“HQL的Map数”图表,找出Map数过大的HQL语句(Map数>=5000)。 找到对应的HQL语句,优化在监控上显示map数过大的HQL语句,再尝试执行。 查看本告警是否恢复。 是,操作结束。 否,执行4。 收集故障信息。
如果执行作业任务长时间处于pending状态,执行2。 登录MRS Console页面,在现有集群中,选择集群名称,在“节点信息”页面,查看当前集群的节点规格。 提高nodemanager进程所持有的集群资源。 MRS Manager界面操作: 登录MRS Manager页面,选择“服务管理
KrbServer > 其他 > KerberosServer所有请求数”,查看告警的平滑次数和告警阈值是否设置合理。 是,执行7。 否,执行5。 根据实际请求数情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight
检查Kafka实例直接内存使用率。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Kafka直接内存使用率超过阈值 > 定位信息”。查看告警上报的实例的主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka >
Manager首页,选择“运维 > 告警 > 告警 > ALM-45282 UserSync直接内存使用率超过阈值”,检查该告警的“定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警
Manager首页,选择“运维 > 告警 > 告警 > ALM-45290 PolicySync直接内存使用率超过阈值”,检查该告警的“定位信息”,查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警
Manager首页,选择“运维 > 告警 > 告警 > ALM-45292 PolicySync进程垃圾回收(GC)时间超过阈值”,检查该告警的“定位信息”,查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警
配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力 配置HetuEngine智能物化视图能力 查看HetuEngine物化视图自动化任务 父主题: 使用HetuEngine
%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。 若Coordinator线程数过多,考虑升级Coordinator节点规格,提升CPU核数;若Worker线程数过多,考虑扩容Worker节点组。 查看本告警是否恢复。