检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
本章节仅适用于MRS 3.x及以后版本。 查看已安装的集群客户端 登录FusionInsight Manager。 选择“集群 > 客户端管理”，即可查看当前集群已安装的客户端信息。 用户可查看客户端所在节点的IP地址、安装路径、组件列表、注册时间及安装用户等信息。 在当前最新版本集群下载并安装客户端时，客户端信息会自动注册。
MRS集群类型介绍 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：
选“OBS数据读操作接口调用成功率”，单击“确定”，查看OBS数据读操作接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行3。 否，执行5。 图1 OBS数据读操作接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OB
欢迎使用MapReduce服务（MapReduce Service，MRS）。MRS服务提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 您可以使用本文档提供API对MRS服务进行相关操作，如创建集群、删除
Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:
选“OBS数据写操作接口调用成功率”，单击“确定”，查看OBS数据写操作接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行3。 否，执行5。 图1 OBS数据写操作接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OB
创建LakeFormation数据连接 创建LakeFormation数据连接的功能，需要联系技术支持申请开通白名单。 登录MRS控制台，在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数，单击“确定”完成创建。 表1 配置LakeFormation数据连接 参数 说明
MRS集群互信概述 功能介绍 默认情况下，安全模式下的大数据集群用户只能访问本集群中的资源，无法在其他安全模式集群中进行身份认证并访问资源。 集群互信概念介绍 域 每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。
同步百分比。 对系统的影响 主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。 可能原因 主备节点网络不稳定。 备DBService异常。 备节点磁盘空间满。 处理步骤 检查主备节点网络是否正常。 登录MRS集群详情页面，选择“告警管理”。 在告警列表
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件，再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34
产生告警的主机节点信息。 对系统的影响 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。
配置Controller与Agent间数据传输加密 操作场景 安装集群后Controller和Agent之间需要进行数据通信，在通信的过程中采用了Kerberos认证，出于对集群性能的考虑，通信过程默认不加密，对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于MRS 3.x及之后版本。
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。 以r
按需计费 集群名称 集群名称不允许重复。只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 MRS_hbase 集群类型 提供几种集群类型： 分析集群 流式集群 混合集群 自定义 自定义 版本类型 提供以下版本类型： 普通版 LTS版 普通版 集群版本 MRS目前支持的版本。
步骤3：迁移源ClickHouse集群下数据库和表的元数据信息到目标集群 执行元数据迁移脚本，将源集群中的ClickHouse数据库和表的数据库名、表名、表结构等元数据信息迁移到目标集群。 步骤4：迁移源ClickHouse集群下数据库和表数据到目标集群 执行数据迁移脚本，将源集群中的ClickH
启用MRS集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用，复制数据的集群双方都需要配置。 管理员可以根据以下指导，在Manager修改参数以启用集群间拷贝功能，启用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
