检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent监控模块对Flume Agent状态进行监控,当Flume Agent进程故障(每5秒检测一次)或Flume Agent启动失败时(即时上报告警),系统产生此告警。 当检测到Flume Agent进程故障恢复,Flume Agent启动成功,且告警处理完成时,告警恢复。 告警属性 告警ID
删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。
提交Spark任务时,用户可以使用当前实际运行用户提交任务,也可以使用代理用户提交任务。本章节介绍如何开启代理用户提交任务。 前提条件 创建用户,登录Manager页面,选择“系统 > 权限 > 用户”,单击“添加用户”,创建用户test(实际运行用户)和test1(代理用户)用户,用户组选择hadoop、hive和
HBase占用网络端口,连接数过大会导致其他服务不稳定 问题 HBase占用网络端口,连接数过大会导致其他服务不稳定。 回答 使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态,且连接持有者为HBase RegionServer,可能导致网络
是否自动清除 12099 次要 否 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 出现该告警说明某些进程发生了crash。如果是关键进程发生crash,可能会导致集群短暂的不可用。
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用内存不足,可能会造成内存溢出导致服务崩溃。 可能原因 该节点ZooKeeper实例内存
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 丢失的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。 可能原因 NodeManager没有经过退服操作,强制被删除。
新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“系统 > 权限> 角色”进行手动管理,角色名称为“租户名称_集群ID”。首个集群的集群ID默认不显示。 使用此租户时,请创建一个系统用户,并绑定租户对应的角色。具体操作请参见为MRS集群用户绑定租户。 创建租户时系统会自动创建一个Yar
不同条件的优先级由高到低为:拒绝例外条件 > 拒绝条件 > 允许例外条件 > 允许条件。 系统判断流程可参考下图所示,如果组件资源请求未匹配到Ranger中的权限策略,系统默认将拒绝访问。但是对于HDFS和Yarn,系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要将一个文件夹File
不同条件的优先级由高到低为:拒绝例外条件 > 拒绝条件 > 允许例外条件 > 允许条件。 系统判断流程可参考下图所示,如果组件资源请求未匹配到Ranger中的权限策略,系统默认将拒绝访问。但是对于HDFS和Yarn,系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要将一个文件夹File
绑定。 图3 绑定委托 创建OBS文件系统用于存放数据 大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统),使用普通对象桶会对集群性能产生较大影响。 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称,例如“mrs-word001”。
/;user.principal=spark/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<系统域名>@<系统域名>;" 其中“<server_IP>:<server_Po
n3 python3 JDBCExampleBroker.py 运行结果。 Windows系统中,在console界面可以看到运行结果示例: 图1 Windows系统运行结果 Linux系统中运行结果示例: Aug 12, 2023 5:19:53 PM io.XXX.jdbc.$internal
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程响应缓慢或不可用。 可能原因 告警阈值配置或者平滑次数配置不合理。
HostName 产生告警的主机名。 NSName 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS集群磁盘容量不足,会影响到HDFS的数据写入。 可能原因 HDFS集群配置的磁盘空间不足。 处理步骤
对值。 储存资源 为当前租户选择存储资源。 选择“HDFS”时系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。 不选择“HDFS”时,系统不会在HDFS中创建存储目录。 文件/目录数上限 HDFS中创
准备Manager应用开发和运行环境 在进行开发时,要准备的开发和运行环境如表1所示。 表1 开发和运行环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 本地开发环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
准备JDBC/HCatalog开发环境 表1 JDBC/HCatalog开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下:
ite”和“Execute”,单击“确定”保存,如图2所示。 图2 编辑角色 单击“系统设置 > 用户组管理 > 添加用户组”,为样例工程创建一个用户组,例如opentsdgroup。 单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如ope
1。 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。 执行如下命令,启用Hive admin权限。 set