检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
<tablename>：表示要操作的表名。 <inputdir>：表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>：表示索引名与列的映射，例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示：
Stage 每个Job由多个Stage组成，每个Stage是一个Task集合，由DAG分割而成。 Task 承载业务逻辑的运算单元，是Spark平台上可执行的最小工作单元。一个应用根据执行计划以及计算量分为多个Task。 Spark应用运行原理 Spark的应用运行架构如图 Spark应用运行架构所示，运行流程如下所示：
> Storm”，选择“配置”选项卡，在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值，建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunj
<tablename>：表示要操作的表名。 <inputdir>：表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>：表示索引名与列的映射，例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示：
obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以obs://开头，以.sh结尾。例如：obs://mrs-samples/xxx.sh 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。 说明： 同
HIndex常用命令 功能 命令 增加索引 TableIndexer-Dtablename.to.index=table1-Dindexspecs.to.add='IDX1=>cf1:[q1->datatype],[q2],[q3];cf2:[q1->datatype],[q2->d
LakeFormation概述 LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。
成本管理 随着上云企业越来越多，企业对用云成本问题也越发重视。使用MRS时，如何进行成本管理，减轻业务负担呢？本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理，帮助您通过成本管理节约成本，在保障业务快速发展的同时获得最大成本收益。 成本构成 使用MRS集群时，成本主要包括两个方面：
LakeFormation服务概述 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程
> Storm”，选择“配置”选项卡，在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值，建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunj
HIndex常用命令 功能 命令 增加索引 TableIndexer-Dtablename.to.index=table1-Dindexspecs.to.add='IDX1=>cf1:[q1->datatype],[q2],[q3];cf2:[q1->datatype],[q2->d
购买专属云MRS集群 本章节为您介绍如何在您的专属资源上创建一个MRS集群。 如果您希望MRS服务运行在隔离的专属区域，请您先申请专属计算集群，再创建专属云MRS集群。 了解和申请专属计算集群，请参见《专属计算集群用户指南》。 如果您希望MRS服务拥有独享的存储设备，请您在开通专
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
作业所依赖的原始lib包。无实体进程，作业运行过程不依赖FlinkResource。 FlinkServer：基于Web的作业管理二次开发平台，可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构
其他参数根据实际需要进行配置。 为集群添加拥有OBS权限的委托。 创建具有访问OBS权限的ECS委托，详细操作请参考配置MRS集群通过IAM委托对接OBS中“创建具有访问OBS权限的ECS委托”部分。例如委托名称为“mrs_ecs_obs”。（如果已存在可用的OBS权限委托，则跳过该步骤） 在MRS
http.server.session.timeout.secs Spark：修改配置spark.session.maxAge的值 Hive：添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。
载集群客户端。 在“下载集群客户端”弹窗中填写集群客户端下载信息。 图3 下载集群客户端 “选择客户端类型”中选择“完整客户端”。 “选择平台类型”必须与待安装节点的架构匹配，以“x86_64”为例。 勾选“仅保存到如下路径”，填写下载路径，本示例以“/tmp/FusionIns
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
