检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置秒级监控 DDS默认支持的监控周期为1分钟,为了提高监控指标的瞬时精确值,您也可以将监控周期设置为5秒。 使用须知 目前仅部分监控指标支持秒级监控,具体请参见监控指标列表。 如需开通高级运维权限,您可以在管理控制台右上角,选择“工单 > 新建工单”,提交开通秒级监控权限的申请。
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ
数据库监控 进入数据库监控页面 登录GaussDB(DWS) 管理控制台。 在“专属集群 > 集群列表”页面,找到需要查看监控的集群。 在指定集群所在行的“操作”列,单击“监控面板”。系统将显示数据库监控页面。 在左侧导航栏选择“监控 > 数据库监控”,进入数据库监控页面。 在数
创建事件监控的告警通知 操作场景 当您需要关注核心事件时,通过为指定的事件创建告警规则及告警通知,可以及时收到告警信息,进行异常处理或业务切换。本章节指导用户针对事件监控创建告警规则。 操作步骤 登录管理控制台。 单击“服务列表 > 云监控服务”。 单击页面左侧的“事件监控”。 在
调测HDFS应用 在本地Windows环境中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(安全模式)
管理站点监控 操作场景 当业务变化或者当之前配置的站点监控规则不符合您的业务需求时,您可参考本章节修改、停用、启用或删除站点监控。 修改站点监控 登录管理控制台。 单击“服务列表 > 云监控服务 > 站点监控”。 单击监控站点所在行的“更多 > 修改站点监控”,或者则勾选多个监控站点,单击列表上方的“修改”。
namenode.edits.dir dfs.namenode.name.dir dfs.journalnode.edits.dir 父主题: HDFS常见问题
从NameNode Web UI中获取已损坏的文件列表,或者通过下面的命令获取。 hdfs fsck <filepath> -list-corruptfileblocks 对于不需要的文件,请使用以下命令删除文件。 hdfs fsck <corrupt file path> - delete
从NameNode Web UI中获取已损坏的文件列表,或者通过下面的命令获取。 hdfs fsck <filepath> -list-corruptfileblocks 对于不需要的文件,请使用以下命令删除文件。 hdfs fsck <corrupt file path> - delete
配置GeminiDB Redis监控看板 监控看板为您提供自定义查看监控数据的功能,将您关注的监控指标集中呈现在一张监控看板里,为您定制一个立体化的监控平台。 本章节主要介绍如何为GeminiDB Redis配置监控看板的方法。 操作步骤 登录管理控制台。 在服务列表中,单击“云监控服务 CES”,进入云监控服务页面。
问题 当多个data.dir被配置在一个磁盘分区内,DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的,类似于Linux里面的df命令。理想状态下,用户不会在同一个磁盘内配置多个data.dir,否则所有的数据都将写入一个磁盘,在性能上会有很大的影响。 因此配置如下:
218:9866 size 10249 does not belong to any file | org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.processReport(BlockManager.java:1854)
如何修改HDFS的副本数? 进入HDFS服务配置页面: MRS 1.8.10及之前版本,登录MRS Manager页面,具体请参见访问MRS Manager,然后选择“服务管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2
客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn,Spark访问HDFS的RPC通道。
当用户在distcp命令中使用webhdfs://时,会发生上述异常,是由于集群所使用的HTTP政策为HTTPS,即配置在“hdfs-site.xml”(文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”)的“dfs.http.policy”值为“HTTPS_ONLY”。所
由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的“dfs.datanode.synconclose”设置为“true”。 默认情况下,“dfs
由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的“dfs.datanode.synconclose”设置为“true”。 默认情况下,“dfs
Node。 如此把所有的不连续的edits文件全部都修复。 重启NameNode,观察是否成功。如还是失败,请联系技术支持。 父主题: HDFS故障排除
gion的存量资源属于手工专线。 约束与限制 同一虚拟接口不能配置多台监控虚拟机,否则可能会导致监控数据上报异常。 请勿对已经安装云专线监控插件的虚拟机配置镜像,否则可能会导致监控数据上报异常。 安装云专线监控插件的虚拟机必须和虚拟接口归属于同一账号下的相同区域。 操作步骤 配置云专线插件。