检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12045 网络读包丢包率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测网络读包丢包率,并把实际丢包率和阈值(系统默认阈值0.5%)进行比较,当检测到网络读包丢包率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 >
准备连接集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下Flink权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“系统 > 权限
ALM-16001 Hive数据仓库空间使用率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测Hive数据仓库空间使用率,该指标可在Hive服务监控界面查看,指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个
Flume业务配置指南 本章节适用于MRS 3.x及之后版本。 该操作指导用户完成Flume常用业务的配置。其他一些不太常用的Source、Channel、Sink的配置请参考Flume社区提供的用户手册(http://flume.apache.org/releases/1.9.0
在本地Windows环境中调测Doris应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
使用Hue提交Coordinator定时调度作业 操作场景 该任务指导用户通过Hue界面提交定时调度类型的作业。 前提条件 提交Coordinator任务之前需要提前配置好相关的workflow作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
访问Hue WebUI界面 操作场景 MRS集群安装Hue组件后,用户可以通过Hue的WebUI,在图形化界面使用Hadoop生态相关组件。 该任务指导用户在MRS集群中打开Hue的WebUI。 Internet Explorer浏览器可能存在兼容性问题,建议更换兼容的浏览器访问Hue
管理MRS租户资源 管理MRS租户资源目录 管理MRS租户资源池 清除MRS租户队列配置 重装Yarn服务后手动恢复MRS租户数据 删除MRS租户 Superior调度器模式下管理MRS全局用户策略 Capacity调度器模式下清除租户非关联队列 父主题: 管理MRS集群租户
添加GAUSSDB数据源 本章节指导用户在HSConsole界面添加GaussDB类型的JDBC数据源。 添加GAUSSDB数据源前提条件 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中,添加待对接
Core节点是存放集群业务数据的节点,在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点,即完成各个组件的退服之后,才会执行缩容的后续操作(节点退出Manager和删除ECS等)。在选择Core节点时,会优先选择存储数据量较小,且可退服实例健康状态良好的节点,避免节点退服失败。例如在分析集群上,Core节点安装
MRS多租户简介 多租户概述 背景介绍: 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起。
提升HBase非业务高峰期的Compaction执行速度 操作场景 HBase支持设置非业务高峰期和非高峰期的Compaction吞吐量,通过在非高峰期设置较大的吞吐量,加快Compaction的执行速度,减小高峰期Compaction对业务的影响。 该操作仅MRS 3.3.0及之后版本支持。
HBase应用开发常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client
ardinality_max_dictionary_size参数控制,默认8192)。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
ALM-14002 DataNode磁盘空间使用率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测DataNode磁盘空间使用率,并把实际磁盘使用率和阈值相比较。DataNode容量百分比指标默认提供一个阈值范围。当检测到DataNode容量百分比指标超出阈值范围时产生该告警。
MRS集群默认权限信息说明 角色 默认角色 描述 Manager_administrator Manager管理员,具有Manager所有权限。 可创建一级租户,可创建、修改新的用户组,指定用户权限,以满足不同用户对系统的管理需求。 Manager_operator Manage
配置HDFS DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况,比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况,可能导致多种问题,比如MapReduce应用程序无法很好地
配置HDFS DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况,比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况,可能导致多种问题,比如MapReduce应用程序无法很好地
HBase访问多ZooKeeper场景安全认证 场景说明 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper时,为了避免访问连接ZooKeeper认证冲突,提供了样例代码使HBase客户端访问FusionInsight ZooK