检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为“备份任务名_任务创建时间”，用于保存数据源的备份文件。备份文件的名称为“版本号_数据源_任务执行时间.tar.gz”。 父主题： 备份MRS集群组件数据
Manager系统进行配置。 参数配置组合决定了每节点任务(map、reduce)的并发数。 如果所有的任务（map/reduce）需要读写数据至磁盘，多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能，请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2
典型场景：从Hive导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。
典型场景：从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。
Server 如果所有的任务(map/reduce)需要读写数据至磁盘，多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能，请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2.5 * Hadoop中磁盘配置数 ]。 mapreduce
使用Loader从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。
查看该告警附加信息是否存在“no enough space”关键字。 是，执行9。 否，执行11。 参考以下操作，进行磁盘扩容（仅针对MRS 3.1.2及之前版本）或调小最大审计日志备份数量配置项。 对OMS节点进行磁盘扩容。 执行以下命令，然后调小最大审计日志备份数量配置项“MAX_NUM_BK_AUDITLOG”的值。
运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务时报错“ClassNotFoundException”
Manager界面，查看右上角任务。 查看当前集群是否存在正在运行的任务。 是，等待任务运行结束。 否，检查结束。 检查主备节点磁盘空间 分别登录主备OMS节点，查看磁盘使用信息。 执行以下命令，查看“/”目录的可用空间是否大于30GB。 df -h / 否，清理磁盘空间。 是，检查结束。
Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task拷贝数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优
Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优
设置是否启用WAL文件耐久性以将WAL数据持久化到磁盘。如果将该参数设置为“true”，则性能将受到影响，因为每个WAL的编辑都会被Hadoop fsync同步到磁盘上。 false hbase.hfile.hsync 设置是否启用Hfile耐久性以将数据持久化到磁盘。如果将该参数设置为“true”
IP等步骤，减少了用户操作步骤。 MRS提供了自定义引导操作，用户可以以此为入口灵活配置自己的集群，通过引导操作用户可以自动化地完成安装MRS还没支持的第三方软件，修改集群运行环境等自定义操作。 MRS支持WrapperFS特性，提供OBS的翻译能力，兼容HDFS到OBS的平滑迁
创建Hue操作任务 通过Hue执行HiveQL 通过Hue执行SparkSQL 通过Hue查看Hive元数据 通过Hue管理HDFS文件 通过Hue管理Oozie作业 通过Hue管理HBase表 通过Hue执行HetuEngine SQL 父主题： 使用Hue
设置是否启用WAL文件耐久性以将WAL数据持久化到磁盘。若将该参数设置为true，则性能将受到影响，原因是每个WAL的编辑都会被hadoop fsync同步到磁盘上。 false hbase.hfile.hsync 设置是否启用Hfile耐久性以将数据持久化到磁盘。若将该参数设置为true，则性能
创建Hue操作任务 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用SparkSql编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 在Hue WebUI使用HBase 父主题： 使用Hue（MRS
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 当初始Executor为0时，为什么INSERT INTO/LOAD DATA任务分配不正确，打开的task少于可用的Executor？ 为什么并行度大于待处理的block数目时，CarbonData仍需要额外的executor？
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时，日志报错 如何为ClickHouse用户赋予数据库级别的Select权限
EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时，断电后备NameNode启动失败 dfs.datanode.data.dir中定义的磁盘数量等于dfs.datanode.failed.volumes.tolerated的值时，DataNode启动失败 HDFS调用FileI
HDFS企业级能力增强 配置HDFS快速关闭文件功能 配置DataNode节点容量不一致时的副本放置策略 配置DataNode预留磁盘百分比 配置NameNode黑名单功能 配置Hadoop数据传输加密 配置HDFS多路读 配置HDFS细粒度锁 HDFS支持集群掉电自动恢复 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
