检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Master节点可以访问对接服务器的IP地址和指定端口。 配置MRS集群对接SNMP网管平台上报告警 登录Manager,进入SNMP配置界面。
选择“集群 > 服务 > ClickHouse”,单击“配置 > 全部配置”,在“ClickHouse(服务)”下选择“备份”。 在“remote_connect_core_config_file”参数单击“上传文件”,选择5中准备的“core-site.xml”文件上传。
操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件,并保存到“${Flume客户端安装目录}/conf”下,jaas.conf文件内容如下: KafkaClient { com.sun.security.auth.module.Krb5LoginModule
告警属性 告警ID 告警级别 是否可自动清除 45435 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 表名 产生告警的库名.表名 对系统的影响 ClickHouse业务中若存在元数据不一致的表,则后续针对该表的
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Detail 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程响应缓慢或不可用。 可能原因 租户查询数据过大,且未开启内存软隔离。
表1 Kafka服务端传输加密参数 配置项 描述 默认值 ssl.mode.enable 是否开启SSL对应服务。如果设置为“true”,那么Broker启动过程中会启动SSL的相关服务。
参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。 配置后应重启对应服务使参数生效。
选择“集群 > 服务 > ClickHouse”,单击“配置 > 全部配置”,在“ClickHouse(服务)”下选择“备份”。 在“remote_connect_core_config_file”参数单击“上传文件”,选择5中准备的“core-site.xml”文件上传。
告警属性 告警ID 告警级别 可自动清除 24001 一般 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。
保存配置,并重启ZooKeeper服务。 服务在重启过程中将不可用。另外,依赖该服务的上层服务也将受到影响。 观察界面告警是否清除? 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行4。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“HDFS”。
为什么在off heap时数据加载失败? 问题 为什么在off heap时数据加载失败? 回答 YARN Resource Manager将(Java堆内存 + “spark.yarn.am.memoryOverhead”)作为内存限制。 因此在off heap时,内存可能会超出此限制
“Netty offheapmemory required”说明:当“spark.shuffle.io.preferDirectBufs”设为true时,Spark中netty 传输服务从"spark.yarn.executor.memoryOverhead"中拿掉部分堆内存[~
查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例,需手动安装并重启Hue服务。 父主题: Hue常见问题
Spark服务多实例默认数据库路径为“/user/hive/warehouse”,例如“/user/hive1/warehouse”。
使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000(map个数)*100000(reduce个数)的任务,运行日志中出现大量的消息发送失败和Executor心跳超时,从而导致任务失败。 回答 对于Hash shuffle,在shuffle
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf
获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如“10.1.130.11”。
操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。