检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm应用开发流程介绍 本文档主要基于Java API进行Storm拓扑的开发。 开发流程如图1所示。 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 了解基本概念 在开始开发应用前，需要了解Storm的基本概念。 准备开发环境 推荐使用Eclipse工具
Presto应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Presto应用程序开发流程 表1 Presto应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Presto的基本概念。 Presto应用开发常用概念 准备开发和运行环境
Hive应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Hive应用程序开发流程 表1 Hive应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Hive的基本概念。 常用概念 准备开发和运行环境 Hive的应用程序支持使用Jav
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控？ 回答 当用户要对Hive表大小数据进行监控时，可以通过HDFS的精细化监控对指定表目录进行监控，从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常
多副本场景下，运行在副本丢失损坏的BE节点的查询任务报错 现象描述 如果多个副本直接从磁盘上丢失了副本，比如mv改名，内核不会感知到该副本丢失，执行查询时如果请求运行在副本丢失的BE节点，报错： 处理步骤 登录安装了MySQL的节点，连接Doris数据库。 调用BE的check_
使用Consumer API订阅安全Topic并消费 功能介绍 用于实现使用Consumer API订阅安全Topic，并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic，并进行消息消费的代码片段。 详细内容在com.huawei.bigdata
为什么IAM子账号添加了MRS权限却无法在控制台提交作业？ 问： IAM子账号添加了MRS ReadOnlyAccess、MRS FullAccess权限，无法在控制台提交作业，怎么办？ 答： 用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess
登录Ranger WebUI界面 Ranger服务提供了集中式的权限管理框架，可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制，并且提供了Web UI方便Ranger管理员进行操作。 Ranger用户类型 Ranger中的用户可分为Admin、User
Flink对接云搜索服务（CSS）样例程序开发思路 场景说明 本样例实现了Flink消费一个自定义数据源，并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。 主要提供了Elasticsearch Sink的构建及参数设置方法，实现通过Flink将数据写入Elasticsearch的功能。
Oozie应用开发流程 本文档主要基于Java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Oozie的基本概念，了解场景需求等。
转换MRS按需集群为包周期集群 如果用户想要将按需计费的集群转为更经济的包年/包月的包周期集群，可使用该指导进行操作。 集群状态为“运行中”或“停止中”时，可以进行转包周期操作。 转换MRS按需集群为包周期集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要转包
Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中
升级Master节点规格 MRS大数据集群采用Manager实现集群的管理，而管理集群的相关服务，如HDFS存储系统的NameNode，Yarn资源管理的ResourceManager，以及MRS的Manager管理服务都部署在集群的Master节点上。 随着新业务的上线，集群规
使用Consumer API订阅安全Topic并消费 功能简介 用于实现使用Consumer API订阅安全Topic，并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic，并进行消息消费的代码片段。 详细内容在com.huawei.bigdata
ALM-18019 JobHistoryServer非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测MapReduce JobHistoryServer非堆内存使用率，并把实际的MapReduce JobHistoryServer非堆内存使用率和阈值相比较。当MapReduce
读取Hudi数据概述 Hudi的读操作，作用于Hudi的三种视图之上，可以根据需求差异选择合适的视图进行查询。 Hudi 支持多种查询引擎Spark和Hive，具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark（SparkSQL）
ALM-14023 总副本预留磁盘空间所占比率超过阈值 告警解释 系统每30秒周期性检测总副本预留磁盘空间所占比率（总副本预留磁盘空间/（总副本预留磁盘空间+总剩余的磁盘空间）），并把实际的总副本预留磁盘空间所占比率和阈值（默认为90%）相比较。当检测到总副本预留磁盘空间所占比率
ALM-18009 JobHistoryServer堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率，并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce
ALM-45446 ClickHouse的mutation任务长时间未执行完成 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统每隔5分钟检测一次mutation任务，当检测到有正在执行的mutation任务且运行时间大于等于阈值slow_mutation_cost_
登录Ranger WebUI界面 Ranger服务提供了集中式的权限管理框架，可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制，并且提供了Web UI方便Ranger管理员进行操作。 Ranger用户类型 Ranger中的用户可分为Admin、User
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
