检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务选型 MRS集群类型介绍 MRS集群节点类型说明 MRS集群节点规格说明 父主题： MRS集群规划
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
获取项目ID 从控制台获取项目ID 在调用接口的时候，部分URL中需要填入项目编号（project_id），所以需要获取到项目编号。项目编号获取步骤如下： 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时，展开
权限策略和授权项 策略及授权项说明
Spark Java API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的J
默认值 含义 loadBalancerIPList - 必填参数，配置为LoadBalance的IP列表。 登录Manager，选择“集群 > 服务 > ClickHouse > 实例”，查看所有ClickHouseBalancer实例对应的业务IP地址。 多个IP地址使用逗号分隔，例如配置为“10
默认值 含义 loadBalancerIPList - 必填参数，配置为LoadBalance的IP列表。 登录Manager，选择“集群 > 服务 > ClickHouse > 实例”，查看所有ClickHouseBalancer实例对应的业务IP地址。 多个IP地址使用逗号分隔，例如配置为“10
调整Spark Core进程参数 操作场景 Spark on Yarn模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。
在python3-examples/pyCLI_sec.py中的host的值修改为安装HiveServer的节点的业务平面IP，port的值修改为Hive提供Thrift服务的端口（hive.server2.thrift.port），默认为21066。 Hive多实例的python客户端命令行形式：“pytho
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示。 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。（服务器共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody）
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法： SELECT查询的常用特性，如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。
加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。 在启用了安全服务的集群中执行如下操作，需要对涉及的表具有与操作对应的权限。 样例代码 -- 查看薪水支付币种为美元的雇员联系方式. SELECT a
ive提供Thrift服务的端口。 HiveServer业务平面IP地址可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。 port可在FusionInsight Manager界面，选择“集群 > 服务 > Hive > 配置”，在搜索框中搜索“hive
ALM-14010 NameService服务异常（2.x及以前版本） 告警解释 系统每180秒周期性检测NameService服务状态，当检测到NameService服务不可用时产生该告警。 NameService服务恢复时，告警清除。 告警属性 告警ID 告警级别 可自动清除
ALM-19008 HBase服务进程堆内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态，当检测到HBase服务堆内存使用率超出阈值（最大内存的90%）时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 19008 重要 是 告警参数 参数名称
ALM-19009 HBase服务进程直接内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务直接内存使用状态，当检测到HBase服务直接内存使用率超出阈值（最大内存的90%）时产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除
Java样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
CREATE TABLE LIKE 语法 CREATE TABLE [ IF NOT EXISTS] table_name ( { coulumn_name data_type [ COMMENT comment] [ WITH (property_name = expression
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
