检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件:作业日志和任务日志。 作业日志由MRApplicationMaster产生,详细记录了作业启动时间、运行时间,每个任务启动时间、运行时间、Counter值等信息。此日志内
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件:作业日志和任务日志。 作业日志由MRApplicationMaster产生,详细记录了作业启动时间、运行时间,每个任务启动时间、运行时间、Counter值等信息。此日志内
setProperty("HADOOP_USER_NAME", "root");设置了用户为root,请确保场景说明中上传的数据的用户为root,或者在代码中将root修改为上传数据的用户名。 在IntelliJ IDEA开发环境中,选中“MultiComponentLocalRunner.j
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败:文件系统无法正常写入时,如果需要修改或使用该磁盘上的数据,可能会导致作业运行失败。 可能原因 磁盘写入的小文件过多。 处理步骤 磁盘写入的小文件过多。 打开FusionInsight Manager页面,选择“运维
默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
{客户端安装目录} 例如: sh upgrade_client.sh upgrade /opt/client/ 更新客户端配置 当前补丁Spark组件优化了数据库和表的location的黑名单目录列表,在{客户端安装目录}/Spark/spark/conf/spark-defaults.conf文件的参数spark
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 IoTDBServer进程的垃圾回收(GC)时间过长,可能影响该IoTDBServer进程无法正常提供数据读写服务。 可能原因 该节点IoTDBServer实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ConfigNode进程的垃圾回收(GC)时间过长,可能导致该ConfigNode进程数据读写性能下降。 可能原因 该节点配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查堆内存配置。 在FusionInsight Manager首页,选择“运维
文件系统”。 定位到指定目录或文件在HDFS中保存的位置。 在指定目录或文件的“权限”列,勾选“读”和“执行”。 设置用户在其他用户的文件写入数据的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统”。 定位到指定文件在HDFS中保存的位置。 在指定文件的“权限”列,勾选“写”和“执行”。
<Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 shkafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
<Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 shkafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
Agent的sink名称。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。
全部配置”,搜索“FE_GC_OPTS”参数,将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前Doris实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上查看“Doris堆内存资源状况”监控图表,观察该监控图表中“Doris使用的堆内存大小”的
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 直接内存溢出可能导致IoTDB实例不可用,可能影响该ConfigNode进程无法正常提供数据读写服务。 可能原因 节点配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存配置。 在FusionInsight Manager首页,选择“运维
> 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“每个读操作平均所需时间”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“每个读操作平均所需时间”图表,可单击右侧下拉
载点。 图1 注释旧磁盘的挂载点 如果旧磁盘仍可访问,迁移旧磁盘上(例如:/srv/BigData/hadoop/data1/)的用户自有数据。 登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。
LdapServer > 实例”,单击4中的主机名对应的SlapdServer实例。 在实例界面观察“SlapdServer CPU使用率”图表的实时数据5分钟左右,查看CPU使用率是否多次超过设置的阈值(默认为75%)。 是,执行7。 否,执行9。 参考5~6请检查其他SlapdServer实例状态是否正常。
> 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“每个写操作平均所需时间”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“每个写操作平均所需时间”图表,可单击右侧下拉
IoTDB进程启动日志。 prestart.log IoTDB进程启动异常日志。 service-healthcheck.log IoTDB数据库初始化日志。 start.log IoTDBServer服务启动日志。 stop.log IoTDBServer服务停止日志。 IoTD
> 告警 > 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“磁盘IO利用率”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“磁盘IO利用率”图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。