检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 丢失的NodeManager节点无法提供Yarn服务。 容器减少，集群性能下降。 可能原因 NodeManager没有经过退服操作，强制被删除。 NodeManager所有实例被停止或者进程故障。 NodeManager节点所在主机故障。 NodeManager和Resou
况下可以调整增大该值。 134217728 hbase.regionserver.global.memstore.size 更新被锁定以及强制冲洗发生之前一个RegionServer上支持的所有MemStore的大小。建议设置为“hbase.hregion.memstore.flush
目的端作业配置 目的连接名称：选择步骤3：创建OBS连接中的“obs_link”。 桶名：待迁移数据的桶。 写入目录：写入数据到OBS服务器的目录。 文件格式：迁移文件类数据到文件时，文件格式选择“二进制格式”。 高级属性里的可选参数一般情况下保持默认既可，详细说明请参见配置OBS目的端参数。
/var/log/Bigdata/kafka/broker命令进入日志目录。 查看kafka-authorizer.log发现如下日志提示用户不属于kafka或者kafkaadmin组。 2017-01-25 13:26:33,648 | INFO | [kafka-request-handler-0]
操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户
Streaming支持微批模式和连续模式。微批模式不能保证对数据的低延迟处理，但是在相同时间下有更大的吞吐量；连续模式适合毫秒级的数据处理延迟，当前暂时还属于实验特性。 在当前版本中，若需要使用流流Join功能，则output模式只能选择append模式。 图6 微批模式运行过程简图 图7 连续模式运行过程简图
MapReduce开源增强特性：JobHistoryServer HA特性 JobHistoryServer（JHS）是用于查看MapReduce历史任务信息的服务器，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决JHS单点故障时，应用访问MapReduce接口无效，导致
backend.rocksdb.cold.predefined-options 冷数据 RocksDB的预定义配置： DEFAULT（默认值）：不强制RocksDB写磁盘，建议配置为当前值。 SPINNING_DISK_OPTIMIZED_HIGH_MEM：预置优化RocksDB写磁盘参
配置Region Transition恢复线程 操作场景 在故障环境中，由于诸如Region服务器响应慢，网络不稳定，ZooKeeper节点版本不匹配等各种原因，有可能导致Region长时间处于Transition下。当Region处于Transition下，由于一些Region
ALM-13007 ZooKeeper客户端可用连接数不足 告警解释 系统每60秒周期性检测ZooKeeper客户端连接到ZooKeeper服务器上的活动进程数，当检测到连接数目超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13007 次要 是 告警参数 参数名称
r logs使用超过这个限制，会触发滚动汇聚。 磁盘配额最大百分比的有效取值范围为-1～100，如果配置小于-1，会被强制重置为25；如果配置大于100，则被强制重置为25。而配置为-1时则关闭Container日志目录的磁盘容量检测功能。 说明： Container日志目录实际
应用长期运行时形成单个过大日志造成JobHistory无法读取的问题，设置为“0”时表示不分组。 大部分Spark Streaming任务属于小型job，而且产生速度较快，会导致频繁的分组，产生大量日志小文件消耗磁盘I/O。建议增大此值，例如改为“1000”或更大值。 父主题： 使用Spark/Spark2x
大情况下可以调整增大。 134217728 hbase.regionserver.global.memstore.size 更新被锁定以及强制冲洗发生之前一个RegionServer上支持的所有MemStore的大小。建议设置为“hbase.hregion.memstore.flush
创建委托”，在创建委托页面设置如下参数，并单击“下一步”： 委托名称：填写委托名称，例如：mrs_ecs_obs。 委托类型：选择“云服务”。 云服务：选择“弹性云服务器 ECS 裸金属服务器 BMS”。 持续时间：选择“永久”。 在弹出授权页面的搜索框内，搜索“OBS OperateAccess”策略，并勾选“OBS
当源集群与目标集群部署在同一区域的不同VPC时，请创建两个VPC之间的网络连接，打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时，在VPC管理控制台，为每个安全组分别添加安全组规则。规则的“协议”为“ANY”，“方向”为“入方向”，“源地址”为“安全组”且是对端集群的安全组。
AM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。 请选择如下其中一种配置即可（推荐使用委托方式）。 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置MRS集群通过IAM委托对接OBS。 在MRS集群中配置AK
本地盘不支持扩容。 系统盘不支持扩容。 仅支持集群节点创建时默认挂载的数据盘完整扩容云硬盘（EVS）容量、磁盘分区和文件系统。 云硬盘所挂载的云服务器状态必须为“运行中”、云硬盘状态必须为“正在使用中”或“可用”才支持扩容。 数据盘扩容（一键扩容） 当集群版本为MRS 3.1.0（须安装3
已安装Spark客户端，详细操作请参见安装客户端（3.x及之后版本）。 已在Manager界面添加人机用户，例如：iceberguser，且该用户属于hadoop和hive用户组，主组为hadoop。 操作步骤 使用root登录客户端安装节点，执行如下命令： cd 客户端安装目录 执行以下命令环境变量并认证用户：
性能优化类 Hadoop压力测试工具如何获取？ 如何提高集群Core节点的资源使用率？ 如何配置MRS集群knox内存？ 如何调整MRS集群manager-executor进程内存？ 如何设置Spark作业执行时自动获取更多资源？ spark.yarn.executor.memo
端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。 连接到服务器失败，请检查网络连接或参数设置。 使用VNC方式，登录弹性云服务器（B集群）。参见登录弹性云服务器（VNC方式） 。 所有镜像均支持Cloud-init特性。Cloud-init预配置的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
