检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight
ALM-12089 节点间网络互通异常 告警解释 告警模块按10s周期检测集群间节点的网络健康状态。当检测到某两台节点之间网络不可达或者网络状态不稳定,产生该告警。 当网络恢复正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12089 重要 是 告警参数 参数名称 参数含义
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
重启YARN,本地日志不被删除 问题 在以下两种情况下重启YARN,本地日志不会被定时删除,将被永久保留。 在任务运行过程中,重启YARN,本地日志不被删除。 在任务完成,日志归集失败后定时清除日志前,重启YARN,本地日志不被删除。 回答 NodeManager有重启恢复机制,详情请参见:
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
配置Kafka后进先出 配置场景 当Spark Streaming应用与Kafka对接,Spark Streaming应用异常终止并从checkpoint恢复重启后,对于进入Kafka数据的任务,系统默认优先处理应用终止前(A段时间)未完成的任务和应用终止到重启完成这段时间内(B
efaults.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数:"-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
agency-MRS-to-OBS 保存服务配置,然后在FusionInsight Manager主页中选择“更多 > 重启配置过期的实例”,根据界面提示重启所有配置过期的服务实例。 如果需要通过MRS管理控制台提交作业,使用omm用户登录主OMS节点,执行以下命令刷新内置客户端配置: sh /opt/
2版本,由于系统内核修改了网络读包丢包数的计数机制,在该系统下,即使网络正常运行,也可能会导致该告警出现,对业务无影响,建议优先按照“检查系统环境”进行排查。 可能原因 操作系统问题。 网卡配置了主备bond模式。 告警阈值配置不合理。 网络环境异常。 处理步骤 查看网络丢包率 使用PuT
主机 > 网络写信息 > 网络写包率信息 > 写包丢包率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网络是否异常。 联系系统管理员,检查网络是否存在异常。 是,恢复网络故障,执行5。 否,执行6 等待5分钟,检查该告警是否恢复。 是,处理完毕。
否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行6。 联系硬件管理员查看是否节点硬件故障(CPU或者内存等)。 是,执行7。 否,执行12。 维修或者更换故障部件,并重启节点。查看告警列表中,该告警是否已清除。
主机 > 网络写信息 > 网络写包错误率 > 写包错误率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网络是否异常。 联系系统管理员,检查网络是否存在异常。 是,恢复网络故障,执行5。 否,执行6 等待5分钟,检查该告警是否恢复。 是,处理完毕。
用户在“组件管理”页面修改任意组件的配置并重启服务后,连接impala-shell,会出现连接失败,报错no such file/directory。 原因分析 修改服务配置并重启服务后,部分服务的目录结构会删除并重新创建,如服务的etc目录等。如果重启服务前所在的目录为etc或者其子目录,由于重启后目录重
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS,这需要与基础文件系统块大小保持一致,以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
主机 > 网络读信息 > 网络读包率信息 > 读包错误率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网络是否异常。 联系系统管理员,检查网络是否存在异常。 是,恢复网络故障,执行5。 否,执行6 等待5分钟,检查该告警是否恢复。 是,处理完毕。
x及之前版本,请单击“保存配置”,勾选“重启角色实例”并单击“确定”,重启角色实例。 等待界面提示“操作成功”,单击“完成”,配置已修改。 角色实例配置参数修改后,如果实例状态为“配置过期”则需要重启此实例,可在“实例”页面勾选“配置过期”的实例,选择“更多 > 重启实例”。 配置参数前包含图
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则,根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
配置Hadoop数据传输加密 设置安全通道加密 默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道是加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。
ullify”脱敏策略处理。 配置Spark动态脱敏 修改JDBCServer实例配置,登录FusionInsight Manager页面,选择“集群 > 服务 > Spark > 配置 > 全部配置 > JDBCServer(角色)”: 使用Ranger鉴权场景,在参数“custom”中添加如下自定义参数:
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上将