检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置quota的目录Znode使用率超出阈值”左侧下拉菜单,在“定位信息”的“服务目录”中获取告警的Znode路径。 以集群用户登录ZooKeeper客户端,删除告警对应Znode下的无用数据。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > 告警对应的
enable”,修改该参数值为“true”。 单击“保存”,保存配置。 配置保存成功后,单击“实例”,勾选所有RangerAdmin实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启所有RangerAdmin实例。 对接HDFS存储源 HDFS存储源无需进行配置。 对接OBS存储源
产生告警的详细信息。 对系统的影响 KerberosServer实例请求数过高,可能导致KerberosServer响应缓慢,引起Kerberos认证超时,进而导致组件业务故障。 可能原因 KerberosServer实例请求数过高。 告警阈值配置或者平滑次数配置不合理。 处理步骤
ALM-38007 Kafka默认用户状态异常 告警解释 系统每60秒周期性检测Kafka服务默认用户,当检测到该用户异常时发送此告警。 平滑次数为1,当用户状态恢复后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38007 紧急 是 告警参数 参数名称 参数含义 来源
的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,但如果用户执行的I/O操作较多,相比I/O操作较少的用户,将获得更多的服务。在这种情况下,FIFO有失公平并且会导致延迟增加。 图1 基于FIFO调用队列的NameNode请求处理
/flink”。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 请确保Jar包和配置文件的用户权限与Flink客户端一致,例如都是omm用户,且权限为755。 MRS 3.2.1及以后
registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如果工程中存在未被序列化的类,则会发生异常。如果设置为false(默认值),Kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为true时,用户需手动注册类,针对未序列化
registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如果工程中存在未被序列化的类,则会抛出异常。如果设置为false(默认值),Kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为true时,用户需手动注册类,针对未序列化
topic中的角色称为Producer。 Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题: Kafka开发指南(普通模式)
业务中断。 可能原因 Flume实例全部故障。 处理步骤 以omm用户登录Flume实例所在节点,执行ps -ef|grep "flume.role=server"命令查看当前节点是否存在flume进程。 是,执行3。 否,重启Flume故障实例或Flume服务,执行2。 在告警
是,处理完毕。 否,执行5。 检查CDL实例是否故障。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > CDL > 实例”。 查看是否全部CDLService实例和CDLConnector实例故障。 是,重启CDL服务,选择“集群 >
本地盘不支持扩容。 系统盘不支持扩容。 仅支持集群节点创建时默认挂载的数据盘完整扩容云硬盘(EVS)容量、磁盘分区和文件系统。 云硬盘所挂载的云服务器状态必须为“运行中”、云硬盘状态必须为“正在使用中”或“可用”才支持扩容。 数据盘扩容(一键扩容) 当集群版本为MRS 3.1.0(须安装3
的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表,如果CPU使用率较高;查看FE审计日志“/var/log/Bigdata/audit/doris/fe/fe.audit.
*/examples”。 如下通过一个Mapreduce工作流的示例演示如何配置,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题:
property_name = property_value, …] ); TBLPROPERTIES允许用户通过键值对的方式(属性名和属性都必须是单引号或双引号包裹的字符串),添加或修改连接器支持的表属性,以Hive连接器为例: TBLPROPERTIES ("transactional"="true")
registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如果工程中存在未被序列化的类,则会发生异常。如果设置为false(默认值),Kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为true时,用户需手动注册类,针对未序列化
<subscribe-type> <topic> <checkpointLocation> 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,当前版本用户除了这一步外还需要将$SPARK_HOME/jars/streamingClient010目录中的kafka-clients
数据被完整迁移到其他节点,即完成各个组件的退服之后,才会执行缩容的后续操作(节点退出Manager和删除ECS等)。在选择Core节点时,会优先选择存储数据量较小,且可退服实例健康状态良好的节点,避免节点退服失败。例如在分析集群上,Core节点安装了DataNode,缩容时会优先
jar flux-wrappers-<version>.jar 获取业务相关其他jar包,如访问HDFS时需要获取的jar包请参见5,其他场景类似。 Flux配置文件样例 下面是一个完整的访问Kafka业务的yaml文件样例: name: "simple_kafka" components:
Spark Core样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志,基于某些业务要求,要求开发Spark应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“