检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份HDFS NameNode元数据 在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。
集群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Hive的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成Hive对接OBS，具体请参考配置Hive通过Guardian访问OBS。
如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight
本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端，具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。 执行以下命令，进入Loader客户端的loader-tool工具目录。例如，Loader客户端
预估Compaction的大小超过阈值，伴随有“ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”的告警。 处理步骤 检查是否MemTable太多引起写限流或写停止 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”。 在
M-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”告警。 Level0层SST文件数过多。 处理步骤 检查是否RocksDB的Compaction压力过大并伴随ALM-45646告警 在FusionInsight Manager首页，选择“运维
务不可用。 可能原因 该节点Yarn ResourceManager实例堆内存使用量过大，或分配的堆内存不合理，导致使用量超过阈值。 处理步骤 检查堆内存使用量。 在FusionInsight Manager界面，选择“运维 > 告警 > 告警 > Yarn ResourceManager堆内存使用率超过阈值
DFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 在首页中单击
Spark DAG设计规范说明 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车：
max_suppkey)) ) c group by s_name order by numwait desc, s_name limit 100; 操作步骤 分析业务。 从业务入手分析是否可以简化SQL，例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化，则需要配置DRIVER内存：
beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题
备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如，“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题
ation实例的数据权限界面进行授权操作。 RangerAdmin WebUI界面的OBS模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行OBS路径授权操作。 MRS集群取消对接LakeFormation后，RangerAdmi
集群未启用Kerberos认证（普通模式）时需添加“ranger.usersync.sync.source”参数，集群已启用Kerberos认证（安全模式）不执行此步骤。 选择“集群 > 服务 > Ranger > 配置 > 全部配置”。 搜索参数“ranger.usersync.config.expan
本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点，具体操作请参见使用命令行运行Loader作业。 执行以下命令，进入“backup.propert
Spark DAG设计规范说明 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车：
max_suppkey)) ) c group by s_name order by numwait desc, s_name limit 100; 操作步骤 分析业务。 从业务入手分析是否可以简化SQL，例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化，则需要配置DRIVER内存：
差异，影响分布式表的查询结果。 可能原因 ClickHouse业务压力过大。 ClickHouse与ZooKeeper连接发生异常。 处理步骤 检查ClickHouse业务压力是否过大 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，查看当前
可用。 可能原因 该节点Yarn ResourceManager实例非堆内存使用量过大，或分配的非堆内存不合理，导致使用量超过阈值。 处理步骤 检查非堆内存使用量。 在FusionInsight Manager界面，选择“运维 > 告警 > 告警 > ALM-18016 Yarn
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
