检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS快速关闭文件功能 配置DataNode节点容量不一致时的副本放置策略 配置DataNode预留磁盘百分比 配置NameNode黑名单功能 配置Hadoop数据传输加密 配置HDFS多路读 配置HDFS细粒度锁 HDFS支持集群掉电自动恢复 父主题： 使用HDFS
MRS集群运维 MRS集群运维说明 登录MRS集群 查看MRS集群监控指标 MRS集群健康检查 MRS集群容量调整 备份恢复MRS集群数据 安装MRS集群补丁 MRS集群补丁说明 查看MRS集群日志 MRS集群安全配置 查看与配置MRS告警事件 MRS集群告警处理参考 配置MRS集群远程运维
滚动重启时运行在重启实例上的任务将失败，可以向其他节点提交任务。 10个节点耗时约50分钟。 Flume 直接重启 停止期间数据流中断，启动后恢复。 直接重启耗时约5分钟。 滚动重启 滚动重启时，重启节点数据流将停止，启动后恢复。 滚动重启10个节点耗时约30分钟。 Hue 直接重启 重启期间Hue页面无法访问。
Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
管理节点、控制节点和数据节点合并部署时，集群性能和可靠性都会产生较大影响。 如节点数量满足需求，建议将数据节点单独部署。 Master节点数量大于等于3个，小于等于100个。 节点组数量总和小于等于10个。 管控分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例合设在同
reducer.class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录 mapred.output.dir MapReduce处理后结果数据输出目录 mapred.map.tasks MapReduce map任务个数 “${变量名}”表示：该值来自job
fault.tolerance.rate 容错率。 值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3，推荐在作业数据量大的场景下使用。 0 0～1.0 loader.input.field.separator 默认的输入字段分隔符，需要配置输入与输出转换
上层计算服务（Spark/Hive/HetuEngine等）对MemArtsCC组件的并发请求数激增，或者新增了CCWorker的可用磁盘空间，或者业务数据量突增。 处理步骤 登录FusionInsight Manager，选择“运维 > 告警 > 告警”，查找告警“ALM-47003 MemArtsCC
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能
10.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.8.10.1 发布时间 2020-01-07 解决的问题 MRS大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.8.10.1补丁期间会重启MRS
能包含大写字母、小写字母、数字以及_字符。 卸载客户端请手动删除客户端安装目录。 如果要求安装后的客户端仅能被当前安装用户使用，可在安装时添加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。 检查客户端是否安装成功。 执行以
reducer.class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录 mapred.output.dir MapReduce处理后结果数据输出目录 mapred.map.tasks MapReduce map任务个数 “${变量名}”表示：该值来自“job
提供了一个简单的调试工具，支持Scala语言。 在shell控制台执行： spark-shell 即可进入Scala交互式界面，从HDFS中获取数据，再操作RDD进行计算，输出并打印结果。 示例：一行代码可以实现统计一个文件中所有单词出现的频次。 scala> sc.textFile(
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 RegionServer等待同步的HFile文件数量超出阈值，大量数据积压，导致大量主备数据不一致，使得容灾主备倒换或者双读从备集群读取不到最新的数据。如果持续不处理，还会导致主集群的存储空间以及ZooKeeper节点被大量积压，最终导致主集群服务故障。
WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别，请执行如下操作： 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称
jdbc.HiveDriver").newInstance(); 获取数据库连接 使用JDK的驱动管理类java.sql.DriverManager来获取一个Impalad的数据库连接。 Impalad的数据库URL为url="jdbc:hive2://xxx.xxx.xxx.x
WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别，请执行如下操作： 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称
升级规格：升级Master节点的实例规格，请参见升级Master节点规格。 配置弹性伸缩：根据业务数据量的变化动态调整集群Task节点数量以增减资源，请参见配置弹性伸缩规则。 若MRS提供的变更配置方式不满足您的要求，您也可以通过重建集群，然后做数据迁移的方式实现集群配置的变更。 续费 如需续费，请进入“续费管理”页面进行续费操作。
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS存储数据丢失，HDFS可能会进入安全模式，无法提供写服务。丢失的块数据无法恢复。 可能原因 DataNode实例异常。 数据被删除。 写入文件的副本数大于DataNode的节点数。 处理步骤 在FusionInsight
解决方案2：修改启动脚本$SPARK_HOME/bin/spark-class。在spark-class脚本#!/usr/bin/env bash下面添加。 # Judge mode: client and cluster; Default: client argv=`echo $@ | tr
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
