检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致MRS集群被自动删除。自动续费的规则如下所述: 以MRS集群的到期日计算第一次自动续费日期和计费周期。 MRS集群自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。 在MRS集群到期前均可开通自动续费,到期前
ALM-18015 JobHistoryServer直接内存使用率超过阈值 告警解释 系统每30秒周期性检测MapReduce服务直接内存使用状态,当检测到JobHistoryServer实例直接内存使用率超出阈值(最大内存的90%,默认阈值)时,产生该告警。 直接内存使用率小于阈值时
创建HBase全局二级索引 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中addIndices用于创建全局二级索引。 全局二级索引的创建需要指定索引列
缩容ClickHouseServer节点 MRS集群中部署了ClickHouse服务时,如果需要缩容ClickHouseServer节点,需参考本章节进行缩容前的数据检查,避免在删除节点过程中造成数据丢失。 缩容ClickHouseServer约束限制 表1 ClickHouseServer
使用JDBC接口提交数据分析任务 功能介绍 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下
使用JDBC接口提交数据分析任务 功能介绍 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置
使用Oozie客户端提交其他任务 操作场景 除了Hive、Spark2x、Loader任务,也支持使用Oozie客户端提交MapReduce、Java、Shell、HDFS、SSH、SubWorkflow、Streaming、定时等任务。 请下载使用最新版本的客户端。 前提条件 Oozie
准备连接MapReduce集群配置文件 如果需要使用访问多组件样例程序,请确保集群已安装Hive、HBase服务。 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户,并下载认证凭据文件用于程序认证。 以下MapReduce权限配置示例供参考
查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环,与集群内Flume服务端一起都需要监控,用户通过FusionInsight Manager可以对Flume客户端进行监控,可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态
Impala应用开发流程 开发流程中各阶段的说明如图1和表1所示。 图1 Impala应用程序开发流程 表1 Impala应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Impala的基本概念。 Impala应用开发常用概念 准备开发和运行环境 Impala
Impala应用开发流程 开发流程中各阶段的说明如图1和表1所示。 图1 Impala应用程序开发流程 表1 Impala应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Impala的基本概念。 Impala应用开发常用概念 准备开发和运行环境 Impala
Oozie应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下
API版本选择建议 当前MRS服务对外API提供云服务自定义规范的API V1.1和V2两类接口,V2版本目前仅部分接口支持,主要用于提交作业和提交SQL语句。在接口功能相同的情况下,推荐您优先使用V2接口。 MRS所有版本均支持V1.1接口。 针对MRS 1.X版本的集群,MRS
Hive应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Hive应用程序开发流程 表1 Hive应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Hive的基本概念。 常用概念 准备开发和运行环境 Hive的应用程序支持使用Java
CREATE DATABASE创建数据库 本章节主要介绍ClickHouse创建数据库的SQL基本语法和使用说明。 基本语法 CREATE DATABASE [IF NOT EXISTS] database_name [ON CLUSTER ClickHouse集群名] ON CLUSTER
CREATE DATABASE创建数据库 本章节主要介绍ClickHouse创建数据库的SQL基本语法和使用说明。 基本语法 CREATE DATABASE [IF NOT EXISTS] database_name [ON CLUSTER ClickHouse集群名] ON CLUSTER
Storm性能调优 操作场景 通过调整Storm参数设置,可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数,请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化
URL函数 提取函数 描述:提取函数用于从HTTP URL(或任何符合RFC 2396标准的URL)中提取内容。 [protocol:][//host[:port]][path][?query][#fragment] 提取的内容不会包含URI的语法分隔符,比如“:”或“?”。 url_extract_fragment
配置Hive读取关系型数据库 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤