检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark读写Hudi资源配置建议 Spark读写Hudi任务资源配置规则,内存和CPU核心的比例2:1,堆外内存和CPU核心比例0.5:1;即一个核心,需要2G堆内存,0.5G堆外内存 Spark初始化入库场景,由于处理的数据量比较大,上述资源配比需要调整,内存和Core的比例
表运维 TTL变更 父主题: ClickHouse数据库运维
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 路径名 异常的文件路径或者名称。 对系统的影响 导致文件所属服务功能不正常。 okerberos、oldap关键文件配置异常,会导致认证失败,可能会导致作业运行失败。
3.3.1之前版本) 重要(MRS 3.3.1及之后版本) 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
告警属性 告警ID 告警级别 是否自动清除 12082 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期,OMS数据库无法管理,数据不能被访问。
告警属性 告警ID 告警级别 是否可自动清除 12091 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 触发Manager主备倒换。 如果倒换后disas
产生告警的集群或者系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 监控指标上报CES失败,在CES中无法看到MRS云服务的监控指标。 可能原因 权限问题请求CES接口失败。 网络问题上报CES数据失败。 服务内部问题导致上报CES数据失败。
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞,无法提交新的调度任务。 可能原因 HDFS服务重启、故障或网
登录FusionInsight Manager。 选择“集群 > 服务”。 单击服务视图中指定的服务名称。 在服务详情页面单击“更多”,选择“启用Ranger鉴权”。 输入当前登录的用户密码确认身份,单击“确定”。 在服务列表,重启配置过期的服务。 停用Ranger鉴权 登录FusionInsight
单击“主机管理”,看所有主机状态。 单击列表中指定的主机名称,查看单个主机状态及指标。 定制、导出监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 单击“导出”,导出当前查看的指标数据。 查看主机资源概况 该操作仅适用于MRS
配置MRS集群审计日志本地备份数 集群组件的审计日志按名称分类,保存在集群各节点“/var/log/Bigdata/audit”,OMS每天凌晨3点自动备份这些审计日志目录。 各节点审计日志目录会按<节点IP>.tar.gz的文件名压缩,所有压缩文件再按<yyyy-MM-dd_HH-mm-ss>
解锁MRS集群LDAP管理账户 管理员在LDAP用户和管理账户被锁定时,需要在管理节点解锁集群LDAP用户“cn=pg_search_dn,ou=Users,dc=hadoop,dc=com”以及LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin
理”,选择需要重启的服务,进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面,选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.2.0-LTS.1.9补丁说明
能从中间某次进行还原。 部分配置项在修改参数值后需重启对应服务才会生效,在保存配置后请及时重启配置过期的服务或实例。 查看角色实例配置文件 登录集群Manager界面。 选择“集群 > 服务”。 单击服务视图中指定的服务名称,并选择“实例”页签。 单击需要查看配置的实例名称,在概
清除MRS租户队列配置 当队列不再需要某个资源池的资源,或资源池需要与队列取消关联关系时,用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: Loader算子帮助
Loader输出类算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题: Loader算子帮助
性能。 本章节适用于MRS 3.x及后续版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”。在搜索框中输入参数名称。 表1 HDFS写性能优化配置 参数 描述 默认值 dfs.datanode
使用Hive输入use database语句失效 问题 使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库