检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 类FileSystem常用接口说明 接口 说明 public static FileSystem get(Configuration conf) Hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过该类的get方法得到具体类。
MRS 1.7.1.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.6 发布时间 2019-01-24 解决的问题 MRS 1.7.1.6修复问题列表: MRS Manager MRS服务启动、停止及重启支持显示依赖关系,并自定义重启哪些服务。 MRS Manager
Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入,log读取时需要按主键合并,并且是行存的,导致log读取效率比parquet低很多。为了解决log读取的性能问题,Hudi通过compaction将log压缩成parquet文件,大幅提升读取性能。 规则
90 表3 集群监控指标转告警列表(未开启分级告警开关) 服务 监控指标名称 告警ID 告警名称 告警对系统的影响 默认阈值 DBService 数据库连接数使用率 27005 数据库连接数使用率超过阈值 可能导致上层服务无法连接DBService的数据库,影响正常业务。
表1 类FileSystem常用接口说明 接口 说明 public static FileSystem get(Configuration conf) Hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过该类的get方法得到具体类。
使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。
表1 类FileSystem常用接口说明 接口 说明 public static FileSystem get(Configuration conf) Hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过该类的get方法得到具体类。
使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。
表1 类FileSystem常用接口说明 接口 说明 public static FileSystem get(Configuration conf) Hadoop类库中最终面向用户提供的接口类为FileSystem,该类为抽象类,只能通过该类的get方法得到具体类。
根据实际需求指定业务用户名(集群未启用Kerberos认证(普通模式)使用root用户登录): 指定业务用户名,则输入“yes”,并根据提示输入业务用户名和对应的业务用户密码: 不指定业务用户名,则输入“no”;此时,则使用1.d中的用户执行后续操作: 输入其他,则退出登录: 根据图1创建存储组/数据库(
90 表4 集群监控指标转告警列表 服务 监控指标组名称 监控指标名称 指标含义 默认阈值 DBService 数据库 数据库连接数使用率 数据库连接数使用率统计。 90% 数据目录磁盘空间使用率 数据目录磁盘空间使用率统计。
Guardian 直接重启 请求Guardian失败,任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响 滚动重启10个节点耗时约10分钟 IoTDB 直接重启 重启期间无法进行数据的写入 直接重启耗时约5分钟 滚动重启 会影响数据的写入,在滚动重启前需停止写入数据
MRS 3.1.5补丁说明 MRS 3.1.5.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.5.0.3 发布时间 2023-11-27 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 安装MRS 3.1.5.0.3补丁前,
规划好恢复数据保存表的数据库,数据表在HDFS的保存位置,以及访问恢复数据的用户清单。 检查ClickHouse备份文件保存路径。 停止ClickHouse的上层应用。
最新动态 本文介绍了MapReduce服务MRS各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2021年07月 序号 功能名称 功能描述 阶段 相关文档 1 MRS支持Hudi组件 Hudi是数据湖的文件组织层,对Parquet格式文件进行管理提供数据湖能力
如果使用Import/Export命令导入导出其他用户创建的表或分区,需要授予用户对应表的权限: 集群未启用Ranger鉴权,需登录FusionInsight Manager授予该用户所属角色对应表的“Select授权”权限,详细操作请参考配置Hive表、列或数据库的用户权限章节。
8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。
Column 与传统的数据库类似,HBase的表中也有列的概念,列用于表示相同类型的数据。
切换调度器期间,请勿对该集群执行操作,防止由于切换过程中修改数据库导致操作失败。 对系统的影响 切换调度器过程中,由于要重启Resource Manager,因此切换期间向Yarn提交任务会失败。 切换调度器完成后,将会使用目标调度器相关参数。
8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。