检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34
管理MRS角色实例组 MRS支持对多个实例组的管理功能，即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。 针对实例组进行的配置参数修改，将同时对组内所有的实例生效。 本操作适用于MRS 3.x及之后版本。 管理MRS角色实例组 登录MRS集群Man
回滚补丁 卸载补丁 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。
如何检查Yarn的ResourceManager配置是否正常？ 本示例适用于MRS 3.x之前版本。 登录MRS Manager页面，选择“服务管理 > Yarn > 实例”。 分别单击两个ResourceManager名称，选择“更多 > 同步配置”，并选择不勾选“重启配置过期的服务或实例。”。
HBase RegionServer GC参数Xms和Xmx的配置为31GB，导致RegionServer启动失败 问题 MRS 3.x及之后版本，查看RegionServer启动失败节点的hbase-omm-*.out日志，发现日志中存在“An error report file
JDBCServer长时间运行导致磁盘空间不足 用户问题 连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上，在运行一段时间以后会出现Core节点的数据盘被占满的情况。 问题现象 客户连接Spark的JDBCServer服务提交spark-sql任
离线数据加载：通过Spark视图读取Hive外表数据并写入Doris 应用场景 通过Spark视图读取Hive外表数据写入到Doris，并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工
HBase用户认证失败 用户问题 HBase用户认证失败。 问题现象 客户侧HBase用户认证失败，报错信息如下： 2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: login failed
ALM-16048 Tez或者Spark库路径不存在 告警解释 系统每180秒周期性检测Tez和Spark库路径，不存在则产生该告警。 告警属性 告警ID 告警级别 是否自动清除 16048 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r3.1.1/hadoop
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn
通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 功能简介 通过HSFabric方式连接到HetuServer，组装对应的SQL发送到HetuServer执行，完成对Hive数据源的增删改查操作。 public class JDBCExampleFabric
JobServer从Core节点迁移至Master节点指导 本章节适用于MRS 3.3.0-LTS和MRS 3.3.0-LTS.1版本。 操作场景 MRS 3.3.0-LTS及MRS 3.3.0-LTS.1版本中JobServer实例默认部署在Core节点上，由于JobServe
从ogg同步数据到Hudi时，ogg Source配置的Task值与任务实际运行的Task数量不一致 现象描述 执行从ogg同步数据到Hudi的CDL任务时，源端（ThirdKafka）中指定的“tasks.max”值与任务实际运行的Task数量不一致。 例如，在CDL WebU
配置HBase只读模式集群允许修改数据的IP白名单 MRS 3.x及之后版本，当HBase集群开启Replication功能时，为了保护主备集群的HBase数据一致性，对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时，首先检查发出该请
如何修复Overlap状态的HBase Region 问题 使用hbck工具检查Region状态，如果日志中存在“ERROR: (regions region1 and region2) There is an overlap in the region chain.”或者“ERROR:
ALM-16045 Hive数据仓库被删除 告警解释 系统每60秒周期性检测Hive数据仓库情况，Hive数据仓库被删除告警。 告警属性 告警ID 告警级别 是否自动清除 16045 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
通过Flume采集指定目录日志系统文件至HDFS 应用场景 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简
手动导入IoTDB数据 操作场景 该任务指导用户使用“import-csv.sh”将CSV格式的数据导入到IoTDB。 前提条件 已安装客户端，请参见。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理
包年/包月 包年/包月是一种先付费再使用的计费模式，适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景： 用户基于业务需求可预估资源使用周期。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
