检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
Privileges异常? 为什么在Spark Shell中不能执行更新命令? 如何在CarbonData中配置非安全内存? 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 开启防误删下,为什么Carbon表没有执行drop table命令,回收站中也会存在该表的文件?
在FusionInsight Manager首页,单击“主机”。 在“磁盘”列,检查ZooKeeper实例所在的各节点数据磁盘空间是否不足(使用率超过百分之80)。 是,执行21。 否,执行23。 参考ALM-12017 磁盘容量不足进行处理,对磁盘进行扩容。 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 deploymentId String 参数解释: 集群部署ID。本集群的任务部署所对应的ID,用于云服务查询集群部署任务详情。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 remark String 参数解释: 集群备注信息。当前默认都为空。
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Broker的存储目录 迁移Kafka节点内数据 均衡Kafka扩容节点后数据 父主题: 使用Kafka
是,操作结束。 否,执行3。 如阈值已超过80%,请检查告警出现时刻是否有突发的大量并发查询任务,突发大量任务将会导致内存占用飙升,待任务执行完成后检查告警是否消失,期间可能有因内存不足而执行失败或取消的任务,请重试。 如内存占用超过阈值为常态化状态,需要考虑集群扩容。 是,操作结束。
、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述操作,MRS会自动识别并直接删除发生变更的集群节点。 您可以登录MRS管理控制台,通过扩容恢复已经删除的节点。请勿在扩容过程中对正在扩容的节点进行操作。 父主题: 节点管理类
beeline客户端报错“OutOfMemoryError” 输入文件数超出设置限制导致任务执行失败 Hive任务执行中报栈内存溢出导致任务执行失败 对同一张表或分区并发写数据导致任务失败 Hive任务失败,报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败
”表示执行完成。 执行完之后,重新下载的客户端就已经是安装补丁的客户端。 该步骤耗时比较长,且执行完之后不需要重启组件。 补丁安装完成后,不能删除补丁目录相关文件,否则会响补丁的卸载功能。 扩容节点安装补丁 扩容操作时关闭“启动组件”开关。 将“MRS_Log4j_Patch.tar.
“OPERATERESULT”表示操作结果,“0”表示成功,“1”表示失败。 配置审计日志转储至OBS(MRS 3.x之前版本) MRS的审计日志长期保留在系统中,可能引起数据目录的磁盘空间不足问题,故通过设置导出参数及时将审计日志自动导出到OBS服务器的指定目录下,便于管理审计日志信息。
tgreSQL或Opengauss数据库磁盘空间耗尽,最终导致PostgreSQL或Opengauss数据库无法提供服务。 可能原因 CDL任务异常,数据停止处理;或源端数据库更新快,CDL数据处理较慢。 处理步骤 使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
启停MRS集群节点上所有角色 隔离MRS集群节点 修改MRS集群节点机架信息 升级MRS集群Master节点规格 同步MRS集群节点磁盘信息 添加MRS集群节点标签 配置MRS集群节点引导操作 父主题: 管理MRS集群
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 deploymentId String 参数解释: 集群部署ID。本集群的任务部署所对应的ID,用于云服务查询集群部署任务详情。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 remark String 参数解释: 集群备注信息。当前默认都为空。
MRS集群内节点的操作系统是什么? 升级Master节点规格需要关机吗? MRS是否支持变更MRS集群节点? 如何查询MRS节点的启动时间? MRS集群内节点互信异常如何处理? MRS集群是否支持调整Master节点规格? MRS集群内节点的sudo log能否清理? MRS集群磁盘如何分区的?
查看,Hive已经使用HDFS的空间大小可在Hive的监控界面查看。 检查该告警是否恢复。 是,操作结束。 否,执行2.a 对系统进行扩容。 添加节点。 检查该告警是否恢复。 是,操作结束。 否,执行3.a。 检查数据节点是否正常。 登录MRS集群详情页面,选择“告警管理”。 查看是否有“ALM-12006
整。例如:默认三副本的情况下启用多路读,组件内存至少需要设置为已有的三倍。 磁盘IO负载高的情况下(业务高峰期磁盘整体IO使用率大于50%以上),开启多路读可能导致磁盘处理能力不足而性能劣化。 操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 >
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
非HDFS数据残留导致数据分布不均衡 HDFS客户端安装在数据节点导致数据分布不均衡 节点内DataNode磁盘使用率不均衡 执行balance常见问题定位方法 HDFS显示磁盘空间不足,其实还有10%磁盘空间 使用普通集群Core节点上安装的HDFS客户端时报错“error creating DomainSocket”