检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"resource_requirement" : null, "valid_roles" : [ "MetaStore", "WebHCat", "HiveServer" ], "visible" : true, "children_components"
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的Hase表： create
如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
扩容MRS集群节点数据盘 随着业务增长，当集群节点的数据盘存储空间不足时，可以进行数据盘扩容操作。 本文为您介绍通过MRS控制台对数据盘进行扩容的相关操作。 当集群版本为MRS 3.1.0（须安装3.1.0.0.11及以上补丁）、MRS 3.1.5（须安装3.1.5.0.3及以上补丁）、MRS
Flume业务模型配置说明 业务模型配置指导 本任务旨在提供Flume常用模块的性能差异，用于指导用户进行合理的Flume业务配置，避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。 Flume业务配置及模
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.10 发布时间 2024-10-30 解决的问题 解决Flume后台卸载客户端后，从Flume管理的页面上无法删除该客户端实例的问题。 解决Kafka时延监控转告警（Topic数量监控、分区数量监控、请求时延监控）的问题。
如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
Storm性能调优 操作场景 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数，请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系
使用Hue提交Oozie SSH作业 操作场景 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。 由于有安全攻击的隐患，所以默认是无法提交SSH作业的，如果想使用SSH功能，需要手动开启。 操作步骤 开启SSH功能（若当前集群无“oozie.job.ssh.enable”参数，则跳过该操作）：
使用Hue提交Oozie SSH作业 操作场景 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。 由于有安全攻击的隐患，所以默认是无法提交SSH作业的，如果想使用SSH功能，需要手动开启。 操作步骤 开启SSH功能（如果当前集群无“oozie.job.ssh.enable”参数，则跳过该操作）：
Storm常用参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 参数说明 配置参数 说明 默认值 supervisor.slots.ports supervisor上能够运行workers的端口列表。每个worke
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序和
Impala应用开发简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
添加MRS子租户 根据业务对资源消耗以及隔离的规划与需求，用户可以通过MRS创建子租户，将当前租户的资源进一步分配以满足实际使用场景。 如果在添加租户时，租户资源类型选择“非叶子租户”，则支持添加子租户；如果选择“叶子租户”则不支持添加子租户。 前提条件 已参考添加MRS租户添加“非叶子租户”。
使用命令行运行Loader作业 操作场景 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 Loader不兼容旧版本客户端，如果重新安装集群或Loader服务，请
错误码 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 400 0023 Failed to obtain cluster details. 获取集群详情信息失败！ 请检查MRS集群状态、Maste
操作Avro格式数据 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
