检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明 补丁基本信息 表1 补丁基本信息 解决的问题 补丁号:MRS 1.9.0.10 发布时间:2023-01-17 修复问题列表: MRS大数据组件 OBSA支持流控重试 补丁号:MRS 1.9.0.9 发布时间:2022-08-10
配置Flink认证和加密 安全认证 Flink整个系统存在三种认证方式: 使用kerberos认证:Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与H
恢复Flink元数据 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员需要对Flink进行重大操作(如升级或迁移等)后,系统数据出现异常或未达到预期结果,导致Flink组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对Flink元数据进行恢复数据操作。 系统管理员可以通过FusionInsight
查看MRS集群节点运行状态 MRS集群运行过程中,用户可以在管理控制台或者集群Manager界面中实时查看集群内各节点运行状态,及时识别资源异常问题。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
同步MRS集群组件配置参数 当用户发现部分组件或实例的状态超期或失败时,您可以尝试使用同步配置功能,以恢复配置状态。或者集群中所有服务的配置状态为失败时,同步指定服务的配置数据与后台配置数据。 若集群中所有服务的配置状态为“失败”时,同步集群的配置数据与后台配置数据。 若集群中某
Loader算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述
创建Doris权限角色 Doris权限管理系统实现了行级别细粒度的权限控制,和基于角色的权限访问控制。 仅MRS 3.3.0及之后版本开启Kerberos认证的集群支持通过FusionInsight Manager创建角色进行赋权,如果集群为MRS 3.3.0之前的版本,无论是否
Doris日志介绍 日志描述 日志路径:Doris相关日志的默认存储路径为“/var/log/Bigdata/doris/角色名”。 FE:“/var/log/Bigdata/doris/fe”(运行日志),“/var/log/Bigdata/audit/doris/fe”(审计日志)。
Spark2x基本原理 Spark2x组件适用于MRS 3.x及后续版本。 简介 Spark是基于内存的分布式计算框架。在迭代计算的场景下,数据处理过程中的数据可以存储在内存中,提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储,使用户能
查看MRS集群告警 用户可以在MRS上查看、清除告警。一般情况下,告警处理后,系统自动清除该条告警记录。当告警不具备自动清除功能且用户已确认该告警对系统无影响时,可手动清除告警。在MRS界面可查看最近十万条告警(包括未清除的、手动清除的和自动清除的告警)。如果已清除告警超过十万条
Hive用户权限说明 Hive是建立在Hadoop上的数据仓库框架,提供类似SQL的HQL操作结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组,才能获得权限。Hive授权相关信息请参考:https://cwiki
导入并配置ClickHouse样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
Doris应用开发简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris能够较好的满足报表分析、
ALM-19036 HBase关键目录数据存在坏块 告警解释 系统每5分钟周期性检测HBase服务的关键目录是否存在坏块,当检测到存在坏块时产生该告警。检查内容包括“hbase.version”文件、hbase:meta和master:store表目录。 当系统检测到HBase服务的关键目录都不存在坏块时,告警清除。
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量:Executor是Spark并行性的基础实体。通过增加Executor数量,集群中的并行数量
添加CDL的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为CDL用户配置创建、执行、查询、删除权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradm
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量:Executor是Spark并行性的基础实体。通过增加Executor数量,集群中的并行数量
Doris应用开发简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris能够较好的满足报表分析、
添加MRS组件自定义参数 MRS集群内各个大数据组件通常支持开源社区的所有参数,其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改,且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数,用户可以通过自定义配置项功能
MRS 2.1.0.11补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.11 发布时间 2020-12-30 解决的问题 MRS 2.1.0.11 修复问题列表: MRS Manager 解决executor/knox/os日志不回滚问题 增加executor