检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击左侧导航栏的“站点监控”。 在“站点监控”界面,单击右上角“创建站点监控”,进入“创建站点监控”界面。 在弹出的“创建站点监控”对话框中根据界面提示配置参数,如图1所示。 图1 创建站点监控 监控频率建议设置为1分钟,更多参数说明如配置参数所示。 配置完成后,单击“确定”,完成创建站点监控。
配置HDFS文件回收站机制 配置场景 在HDFS中,如果删除HDFS的文件,删除的文件将被移动到回收站(trash)中,不会被立即清除,以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件,会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站
bash /usr/local/uniagent/script/uninstall.sh 用户可手动卸载Agent插件,卸载后云监控服务将不再主动采集主机的监控数据。如需再次使用,请参考操作步骤或操作步骤重新安装。 查看Agent状态(老版本) 以root用户登录ECS或BMS,执行以下命令,查看Agent状态。
HDFS企业级能力增强 配置DataNode节点容量不一致时的副本放置策略 配置DataNode预留磁盘百分比 配置从NameNode支持读操作 配置NameNode黑名单功能 配置Hadoop数据传输加密 父主题: 使用HDFS
创建事件监控的告警通知 操作场景 本章节指导用户针对事件监控创建告警规则。 操作步骤 登录管理控制台。 单击“服务列表 > 云监控服务”。 单击页面左侧的“事件监控”。 在事件列表页面,单击页面右上角的“创建告警规则”。 在“创建告警规则”界面,配置参数。 配置告警规则的基本信息。
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控? 回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端,在该客户端使用hdfs命令上传一个文件,报如下错误: 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host,且报错信息里面有192
监控 弹性文件服务监控指标说明 SFS Turbo监控指标说明 创建告警规则
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 写HDFS文件 追加HDFS文件内容 读HDFS文件 删除HDFS文件 HDFS Colocation 设置HDFS存储策略 HDFS访问OBS 父主题: HDFS开发指南
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个: FileSystem:是客户端应用的核心类。常用接口参见表1。
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控? 回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤
配置HDFS文件目录标签策略(NodeLabel) 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。 当使用基
监控指标说明 功能说明 本节定义了弹性负载均衡服务上报云监控的监控指标的命名空间,监控指标列表和维度定义。用户可以通过云监控提供的API接口来检索弹性负载均衡服务上报的监控指标以及产生告警信息。 命名空间 SYS.ELB 监控指标 表1 ELB支持的监控指标 指标ID 指标名称 指标含义
配置HDFS文件目录标签策略(NodeLabel) 配置场景 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式,同时设置每个DataNode对应一个或多个标签,从而给文件的数据块存储指定了特定范围的DataNode。 当使用基
1/hadoop-project-dist/hadoop-hdfs/LibHdfs.html。 代码样例 下面代码片段仅为演示,具体代码请参见获取样例代码解压目录中“hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs
环境变量。 source HDFS客户端安装目录/bigdata_env 如果集群为安全模式,执行以下命令认证用户身份。 kinit hdfs 在HDFS客户端执行以下命令,检查HDFS根目录下全部目录和文件是否状态正常。 hdfs fsck / 检查fsck显示结果: 显示如下信息,表示无文件丢失或损坏,执行4。
配置url监控项 在“编辑【URL监控】监控配置”页面根据以下示例配置。 由于Header、Url参数、Cookie等处可能存在敏感数据,配置后系统将自动拦截,请注意隐私保护。 参数名称 说明 样例 采集间隔 默认60s,此处不支持修改。 60s 拦截header指定key值 根
查看云服务监控指标 云监控服务基于云服务自身的服务属性,已经内置了详细全面的监控指标。当您在云平台上开通云服务后,系统会根据服务类型自动关联该服务的监控指标,帮助您实时掌握云服务的各项性能指标,精确掌握云服务的运行情况。 本章节指导用户如何查看云服务资源的监控数据,若发现有异常时可以及时处理。
CP/UDP端口。 在Manager界面选择“集群 > 服务 > HDFS > 更多 > 下载客户端”,将客户端中的core-site.xml和hdfs-site.xml复制到样例工程的conf目录下,并对hdfs-site.xml添加以下内容: <property> <name>dfs
9866端口。 。 在Manager界面选择“集群 > 服务 > HDFS > 更多 > 下载客户端”,将客户端中的core-site.xml和hdfs-site.xml复制到样例工程的conf目录下,并对hdfs-site.xml添加以下内容: <property> <name>dfs