检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交Flink作业时报错slot request timeout如何处理? 问题现象 Flink作业提交时,jobmanager启动成功,但taskmanager一直是启动中直到超时,报错如下: org.apache.flink.runtime.jobmanager.scheduler
如何为ClickHouse用户赋予数据库级别的Select权限 操作步骤 登录到MRS集群装有ClickHouse客户端的节点,执行如下命令: su - omm source {客户端安装目录}/bigdata_env kinit 组件用户(普通集群无需执行kinit命令) clickhouse
ZooKeeper客户端刷新TGT失败如何处理 问题 ZooKeeper客户端刷新TGT失败,无法连接ZooKeeper。报错内容如下: Login: Could not renew TGT due to problem running shell command: '***/kinit
单NameNode长期故障时如何使用客户端手动checkpoint 问题背景与现象 在备NameNode长期异常的情况下,会积攒大量的editlog,此时如果重启HDFS或者主NameNode,主NameNode会读取大量的未合并的editlog,导致耗时启动较长,甚至启动失败。
如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录,配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,
如何为ClickHouse用户赋予数据库级别的Select权限 操作步骤 登录到MRS集群装有ClickHouse客户端的节点,执行如下命令: su - omm source {客户端安装目录}/bigdata_env kinit 组件用户(普通集群无需执行kinit命令) clickhouse
当选择保留作业日志到OBS或HDFS时,系统在作业执行结束后,将日志压缩并存储到对应路径。因此,此类作业运行结束后,作业状态仍然为“运行中”,需等日志存储成功后,状态变更为“已完成”。日志存储花费时间依赖于日志大小,需要数分钟以上。 父主题: 提交MRS作业
购买MRS集群时,找不到ZooKeeper组件如何处理? 问: 购买MRS集群时,为什么找不到ZooKeeper组件? 答: 创建MRS 3.x之前版本集群时,ZooKeeper组件为默认安装的组件,不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。
使用调整集群节点接口时参数node_id如何配置? 问: 使用调整集群节点接口时(/v1.1/{project_id}/cluster_infos/{cluster_id}),请求参数“node_id”如何配置? 答: 使用调整集群节点接口时,请求参数“node_id”的值固定为“node_orderadd”。
在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。 “私有IP地址”选择“现在创建”,填写1中查询对应节点的IP。 切换成功后,单击节点名称,需要在节点的“弹性网卡”中重启“源/目的检查”。
警。 MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43007 重要
提交Flink任务时launcher-job被Yarn终止如何处理? 问题现象 管控面提交Flink任务时launcher-job因heap size不足被Yarn终止如何处理? 解决方法 调大launcher-job的heap size值。 使用omm用户登录主OMS节点。 修
执行Spark任务报内存不足告警如何处理? 问题现象 执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数,限制executor的核数和内存。 例如设置如下: set hive.execution.engine=spark;
消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理? 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制,且集群的Kafka服务也开启Ranger鉴权控制时
spark.yarn.executor.memoryOverhead设置不生效如何处理? 问题现象 Spark任务需要调整executor的overhead内存,设置了参数spark.yarn.executor.memoryOverhead=4096,但实际计算的时候依旧按照默认值1024申请资源。
如何提高集群Core节点的资源使用率? 进入 Yarn服务配置页面: MRS 1.8.10及之前版本,登录MRS Manager页面,然后选择“服务管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理
如何使用IBM JDK连接ZooKeeper 问题 使用IBM的JDK的情况下客户端连接ZooKeeper失败。 回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时,建议使用如下jaas.conf文件模板,其中“useKeyta
如何查看MRS集群各组件配置文件路径? 常用组件配置文件路径如下所示: 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安
FusionInsight Manager支持将集群、服务、主机或者OMS配置为维护模式,进入维护模式的对象将不再上报告警,避免在升级等维护变更期间系统产生大量无意义的告警,影响运维人员对集群状态的判断。 集群维护模式 集群未正式上线或暂时离线进行运维操作时(例如非滚动方式的升级),可将整个集群配置为维护模式。
Spark2x服务恢复时,告警清除。 MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43001 紧急