检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
监控信息查询 API统计信息查询-最近一段时间 分组统计信息查询-最近一小时 父主题: 共享版API(仅存量用户使用)
reserved”或者“dfs.datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du.reserved.percentage
APIG支持的监控指标 功能说明 本节定义了API网关服务上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供管理控制台或API接口来检索API网关服务产生的监控指标和告警信息。 命名空间 SYS.APIC 监控指标 表1 监控指标说明 指标ID
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ
HDFS应用开发常见问题 常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
创建事件监控的告警通知 操作场景 当您需要关注核心事件时,通过为指定的事件创建告警规则及告警通知,可以及时收到告警信息,进行异常处理或业务切换。本章节指导用户针对事件监控创建告警规则。 操作步骤 登录管理控制台。 单击“服务列表 > 云监控服务”。 单击页面左侧的“事件监控”。 在
移 > 新建作业”,开始创建从MRS HDFS导出数据到OBS的任务。 图4 创建MRS HDFS到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择步骤2:创建MRS HDFS连接中的“hdfs_link”。 源目录或文件:待迁移数据的目录或单个文件路径。
安装成功 安装成功后,等待1小时左右,再登录管理控制台,查看云专线的监控数据。 选择“服务列表 > 云监控服务 > 云服务监控 > 云专线”。单击监控对象名称可查看网络时延和丢包率。 图3 网络时延和丢包率 父主题: 云监控插件(Agent)
数据存储在OBS和HDFS有什么区别? MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存
云监控服务”。 单击页面左侧的“云服务监控 > 弹性公网IP和带宽”,单击具体带宽或弹性IP所在行的“创建告警规则”。 建议针对业务所涉及的弹性公网IP、带宽配置告警规则,出网带宽使用率,阈值设置为“原始值”“≥”购买带宽的90%。 根据界面提示配置名称、描述和告警规则和告警通知参数。
配置HDFS源端参数 作业中源连接为HDFS连接时,即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时,源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。
网络监控 在众包平台活动期间,网站首页、登录页面、店铺详情页都会出现瞬时间的访问流量变大的情况,因此需随时监控出网带宽。 并且可能受到DDOS攻击或业务量大时连接数突增,导致业务访问变慢,预计SNAT连接数会达到平时访问量的2-3倍,所以需随时监控SNAT连接数。 操作步骤 登录管理控制台。
配置url监控项 在“编辑【URL监控】监控配置”页面根据以下示例配置。 使用限制 由于Header、Url参数、Cookie等处可能存在敏感数据,配置后系统将自动拦截,请注意隐私保护。 参数名称 说明 样例 采集间隔 默认60s,此处不支持修改。 60s 拦截header指定key值
Successfully authenticated client: authenticationID=hdfs/hadoop@<系统域名>; authorizationID=hdfs/hadoop@<系统域名>. | org.apache.zookeeper.server.auth
配置HDFS源端参数 作业中源连接为HDFS连接时,即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时,源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。
gion的存量资源属于手工专线。 约束与限制 同一虚拟接口不能配置多台监控虚拟机,否则可能会导致监控数据上报异常。 请勿对已经安装云专线监控插件的虚拟机配置镜像,否则可能会导致监控数据上报异常。 安装云专线监控插件的虚拟机必须和虚拟接口归属于同一账号下的相同区域。 操作步骤 配置云专线插件。
配置监控视图 随着云上服务的业务日趋增长,用户对云监控服务的使用也日渐成熟,监控视图已添加的监控指标已经无法满足当前的监控需求,用户需要对监控视图中的监控指标进行修改、替换等操作。本章节指导用户如何实现监控指标的增加、修改、删除等日常操作。 操作步骤 登录管理控制台。 单击“服务列表
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 批作业监控支持按照调度方式和调度周期进行筛选,可以通过条件过滤查看所需要的作业调度实例。 在作业
数据库监控 进入数据库监控页面 登录GaussDB(DWS) 管理控制台。 在“专属集群 > 集群列表”页面,找到需要查看监控的集群。 在指定集群所在行的“操作”列,单击“监控面板”。系统将显示数据库监控页面。 在左侧导航栏选择“监控 > 数据库监控”,进入数据库监控页面。 在数
备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全,或者系统管理员需要对HDFS进行重大操作(如升级或迁移等),需要对HDFS数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight