检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 1.9.3.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.3.1 发布时间 2020-09-04 解决的问题 MRS Manager 解决自定义集群缩容Task节点失败问题 MRS大数据组件 解决Hive和Spark路径下adapter-hadoo
集群异常掉电导致HBase文件损坏,如何快速自恢复? 问题 集群异常掉电导致HBase的StoreFile文件或WAL文件损坏,如何快速恢复? 该操作仅MRS 3.3.0及之后版本支持。 原因分析 当StoreFile文件损坏时,相关的Region会一直上线失败并重试,无法对外提
EL操作转换 概述 “EL操作转换”算子,对字段值进行运算后生成新的字段,目前支持的算子有:md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入:需要转换的字段 输出:经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型
ALM-45427 ClickHouse服务在ZooKeeper的容量配额使用率超过阈值 告警解释 告警模块按60秒周期检测ClickHouse服务在ZooKeeper的容量配额使用百分比,当检测到使用百分比超过阈值(90%),系统产生此告警。 当系统检测到使用百分比低于阈值,且告警处理完成时,告警恢复。
创建Kudu表 功能简介 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象,其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段: //
创建Kudu表 功能简介 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象,其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段: //
ALM-14007 HDFS NameNode内存使用率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测HDFS NameNode内存使用率,并把实际的HDFS NameNode内存使用率和阈值相比较。HDFS NameNode内存使用率指标默认提供一个阈值范围。当HDFS
ALM-14008 HDFS DataNode内存使用率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测HDFS DataNode内存使用率,并把实际的HDFS DataNode内存使用率和阈值相比较。HDFS DataNode内存使用率指标默认提供一个阈值范围。当HDFS
调测Hive HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中
使用Hue提交Oozie Streaming作业 操作场景 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。 在弹出的“Streaming”窗口中
IoTDB应用开发流程介绍 本文档主要基于Java API对IoTDB进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 IoTDB应用程序开发流程 表1 IoTDB应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用
MRS管理控制台和集群Manager页面功能区别有哪些? 问: MRS管理控制台和集群Manager页面有什么区别与联系? 答: 用户可以通过MRS管理控制台页面登录到MRS的Manager页面。 Manager分为MRS Manager和FusionInsight Manager,其中:
Manager界面登录用户被锁如何解锁 问题现象 Manager登录时显示:这个账户已经被锁住了,请联系系统管理员来重新获得访问权限。 Manager界面登录用户被锁,导致作业无法提交并无法进入Manager页面。 通过后台提交作业执行kinit 用户名操作时提示如下异常: kinit:
使用Hue提交Oozie Streaming作业 操作场景 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“数据流”按钮,将其拖到操作区中。 在弹出的“Streaming”窗口中
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
ALM-45450 ClickHouse获取临时委托凭据失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统配置冷热分离功能和委托后,每隔1分钟检测一次临时委托凭据的更新状态,当连续3次检测到获取临时委托凭据失败时,系统产生告警。 当检测到系统获取临时委托凭据成功时,告警自动消除。
访问MRS集群上托管的开源组件Web页面 如果组件支持开源WebUI,则在组件基本信息区域可通过WebUI的链接访问开源WebUI。 对于开启Kerberos认证的集群,admin用户不具备各组件的管理权限,如需正常访问各组件的Web UI界面,请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示: 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
在Flink WebUI和Linux环境中调测Flink应用 操作场景 IoTDB应用程序支持在安装了Flink客户端的Linux环境和安装了Flink WebUI的环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的环境中运行。 前提条件 集群已安装Flink组件,并且添加了FlinkServer实例。