正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
ALM-43006 JobHistory2x进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测JobHistory2x进程堆内存使用状态,当检测到JobHistory2x进程堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本中,S
ALM-43020 IndexServer2x进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测IndexServer2x进程非堆内存使用状态,当检测到IndexServer2x进程非堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
匹配请求源,参见选择器属性的配置中--source选项的配置值。 queryType 可选 配置任务类型: DATA_DEFINITION:更改/创建/删除模式/表/视图的元数据的查询,以及管理预准备语句、权限、会话和事务的查询。 DELETE:DELETE查询。 DESCRIBE:DESCRIBE、DESCRIBE
ALM-43007 JobHistory2x进程非堆内存使用超出阈值 告警解释 系统每30秒周期性检测JobHistory2x进程非堆内存使用状态,当检测到JobHistory2x进程非堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本
当“login_mode”配置为“0”时,请求消息体中包含cluster_master_secret字段。 当“login_mode”配置为“1”时,请求消息体中包含node_public_cert_name字段。 取值范围: 0:密码方式 1:密钥对方式 默认取值: 1 node_groups
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS,这需要与基础文件系统块大小保持一致,以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
查看MRS节点引导操作执行记录 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。
创建Connection 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器
EditLog不连续导致NameNode启动失败 问题 在JournalNode节点有断电,数据目录磁盘占满,网络异常时,会导致JournalNode上的EditLog不连续。此时如果重启NameNode,很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误:
HBase Region的多点分割 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。 分割操作只对空Region起作用。 可在创建表时对表进行预分区,或者对某些region直接进行split操作来替代。 本例使用m
EditLog不连续导致NameNode启动失败 问题 在JournalNode节点有断电,数据目录磁盘占满,网络异常时,会导致JournalNode上的EditLog不连续。此时如果重启NameNode,很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误:
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景: 用户基于业务需求可预估资源使用周期。
ALM-43008 JobHistory2x进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测JobHistory2x进程直接内存使用状态,当检测到JobHistory2x进程直接内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本
ALM-43019 IndexServer2x进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测IndexServer2x进程堆内存使用状态,当检测到IndexServer2x进程堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本