检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。
sh脚本下载并刷新客户端配置文件。 客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置，如需刷新为其他集群的配置文件，请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。 父主题： 管理MRS集群客户端
华为云EI企业智能 华为云EI基于AI和大数据技术，通过云服务的方式提供开放可信的平台。 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里有来自各服务的技术牛人，为您解决技术难题。
ALM-14003 丢失的HDFS块数量超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测丢失的块数量，并把丢失的块数量和阈值相比较。丢失的块数量指标默认提供一个阈值范围。当检测到丢失的块数量超出阈值范围时产生该告警。 当丢失的块数量小于或等于阈值时，告警恢复。 告警属性
Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列？ 怎么通过客户端设置Map/Reduce内存？ 如何在导入Hive表时指定输出的文件压缩格式？ Hive表desc描述过长导致无法完整显示
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
每个block对应的机架信息组成为：/default/rack0/:,/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失，导致该block对应的机器ip和port为空引起的，出现该问题的时候使用hdfs fsck检查对应文件块的健康状态
每个block对应的机架信息组成为：/default/rack0/:,/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失，导致该block对应的机器ip和port为空引起的，出现该问题的时候使用hdfs fsck检查对应文件块的健康状态
如何查看ENABLED表的CLOSED状态的Region 问题 如何在HBase客户端查看ENABLED表的CLOSED状态的Region。 该操作仅MRS 3.3.0及之后版本支持。 处理步骤 以客户端安装用户登录到安装了HBase客户端的节点。 切换到客户端安装目录并配置环境变量：
配置WebUI上显示的Lost Executor信息的个数 配置场景 Spark WebUI中“Executor”页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆“Exe
配置WebUI上显示的Lost Executor信息的个数 配置场景 Spark WebUI中“Executor”页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆“Exe
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器，当集群主备管理节点同时故障且本地备份数据丢失时，若想要通过备份包恢复集群元数据则没有可用的备份包数据无法恢复。
ALM-50220 TCP包接收错误的次数的比率超过阈值 告警解释 系统每30秒周期性检查TCP包接收错误的次数的比率，当检查到该值超出阈值（默认值为5%）时产生该告警。 当TCP包接收错误的次数的比率低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50220
如何限制存储在ZKstore中的应用程序诊断消息的大小 问题 如何限制存储在ZKstore中的应用程序诊断消息的大小？ 回答 在某些情况下，已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中，不建议允许诊断消息无限增长。因此，需要有一个属性参数用于设置诊断消息的最大大小。 如果您需要设置“yarn
如何限制存储在ZKstore中的应用程序诊断消息的大小 问题 如何限制存储在ZKstore中的应用程序诊断消息的大小？ 回答 在某些情况下，已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中，不建议允许诊断消息无限增长。因此，需要有一个属性参数用于设置诊断消息的最大大小。 若您需要设置“yarn
Core节点出现df显示的容量和du显示的容量不一致 问题现象 Core节点出现df显示的容量和du显示的容量不一致： 分别使用命令df -h 和命令du -sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大（大于10
0版本引入了创建幂等性Producer的功能，开启此特性后，Producer自动升级成幂等性Producer，当Producer发送了相同字段值的消息后，Broker会自动感知消息是否重复，继而避免数据重复。需要注意的是，这个特性只能保证单分区上的幂等性，即一个幂等性Producer能够保证某个主题的一个分区
Thrift各个方法接收的RPC请求中最长的耗时超过阈值 告警解释 系统每30秒周期性检查FE Thrift各个方法接收的RPC请求中最长的耗时，当检查到该值超出阈值（默认值为5000ms）时产生该告警。 当FE Thrift各个方法接收的RPC请求中最长的耗时低于阈值时，告警清除。
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云（Virtual Private Cloud） MR
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
