检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
d/sssd.conf”修改前ldap_uri中第一个ldapserver节点是否故障,例如业务IP不可达、网络延时过长或者部署其他异常的软件。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapClient”。
该节点配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存配置。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确认实例的IP地址。 选择“集群 > 服务 > IoTDB > 实例”,单击1获取
> HDFS > NameNode(主)”,单击“DataNodes”,查看所有告警DataNode节点的Block数量信息。 告警信息 监控ID为14007、14008、14009的告警是否产生,根据业务需要修改告警阈值。 父主题: HDFS运维管理
SparkScript:提交SparkScript脚本,批量执行Spark SQL语句。 Spark SQL:使用Spark提供的类似SQL的Spark SQL语句,实时查询和分析用户数据。 Hive:建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 如果Hive组件和Doris组件是跨集群部署,需要修改以下配置: Doris所在集群的Doris的“hadoop
canner close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置:
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的节点地址。 进入“主机”界面,单击告警的所在节点。 在界面观察“主机CPU使用率”实时数据5分钟左右,若CPU使用率多次超过设置的阈值,请联系MRS集群管理员提升CPU。 排查当前业务量是否处于高峰阶段。若处于高峰阶段导致该
等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网口速率是否满足需求。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机地址及网口。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。
使用AK/SK方式对接OBS前,需参考以下操作获取对接OBS的AK、SK和Endpoint信息。 获取AK/SK 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK)
“/etc/ldap.conf”修改前URI中第一个LdapServer节点,是否故障,例如业务IP不可达、网络延时过长或者部署其他异常的软件。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“LdapClient”。
> HDFS > NameNode(主)”,单击“DataNodes”,查看所有告警DataNode节点的Block数量信息。 告警信息 监控ID为14007、14008、14009的告警是否产生,根据业务需要修改告警阈值。 父主题: HDFS运维管理
canner close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置:
Manager主备节点间心跳中断 ALM-12011 Manager主备节点同步数据异常 ALM-12012 NTP服务异常 ALM-12014 设备分区丢失 ALM-12015 设备分区文件系统只读 ALM-12016 CPU使用率超过阈值 ALM-12017 磁盘容量不足 ALM-12018 内存使用率超过阈值
主机上业务无法发起对外建立连接,业务中断。 可能原因 临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。 使用PuTTY工具,以omm用户登录告警所在主机。 执行cat /
aster进程只用来向YARN集群申请资源。 Spark Streaming原理 Spark Streaming是一种构建在Spark上的实时计算框架,扩展了Spark处理大规模流式数据的能力。当前Spark支持两种数据处理方式:Direct Streaming和Receiver方式。
可能原因 临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。 以omm用户登录告警所在主机。 执行cat /proc/sys/net/ipv
analyze不支持DDL语句。 示例 下面这个例子,你可以看到每个阶段(Stage)的CPU时间消耗,每个计划节点相应的代价。 这个代价是基于现实时间(wall time),而非CPU 的相关时间。 对每一个计划节点,都可以看到额外的统计信息,例如每个节点实例的输入平均值,哈希碰撞(hash
17:12:45|2022-02-28 17:12:45|||400| 原因分析 使用rm命令从HDFS中删除某些内容时,文件或目录不会立即被清除,它们将被移动到回收站Current目录(/user/${username}/.Trash/current)中。 解决办法 使用skipTrash命令可
getFileStatus on user/root/.Trash/Current/: status [403] 问题原因 hadoop删除文件时会将文件先移动到.Trash目录,若该目录没有权限则出现403报错。 解决方法 方案一: 使用hadoop fs -rm -skipTrash命令来删除文件。
步骤3:创建Hive表并加载OBS中数据 步骤4:基于HQL对数据进行分析 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”,填写软件配置参数。 表3 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例 区域 选择区域。 不同区域的云服务产品之间内网互不相