检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nfo会执行kill -3将jstack信息打印到.out日志文件里，从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点，在crontab -e中添加每天0点清理.out日志的定时任务。 crontab
示例： 以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 相关样例介绍请参见MapReduce访问多组件样例程序。 父主题： MapReduce开发指南（普通模式）
在弹出的窗口勾选“我已阅读此信息并了解其影响。”，单击“确定”完成解锁操作。 MRS 2.x及之前版本： 在MRS Manager，单击“系统设置”。 在“权限配置”区域，单击“用户管理”。 图1 用户管理 在要解锁用户所在行，选择“解锁用户”。 图2 解锁用户 在弹出的提示窗口，单击“确定”完成解锁操作。
-XX\:MetaspaceSize\=128M -XX\:MaxMetaspaceSize\=256M 解决方案 因此遇到此类异常应该检查最近的变更项，以确认是否配置有误。 METASTORE_GC_OPTS=Xms1024M -Xmx2048M -DIgnoreReplayReqDetect -XX
WebUI界面，请参考登录CDLService WebUI界面。 选择“ENV管理 > 新建ENV”，在弹出的窗口中输入相关信息。 表1 新建ENV配置参数 参数名称 描述 示例 Name ENV名称。 spark-env Type ENV类型。 spark Driver Memory Driver内存大小，单位默认为GB。
WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection
示例： 以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 相关样例介绍请参见MapReduce访问多组件样例程序。 父主题： MapReduce开发指南（安全模式）
开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
${BIGDATA_HOME}/om-server_*/OMS/workspace0/conf/pms/application.properties 将PMS进程的内存配置参数“pms.mem”根据实际情况调大，保存并退出。 ... pms.mem=800m 修改的新值的增长量不能大于操作系统可用剩余内存。
examples.KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 object KafkaWordCount { def main(args: Array[String]):
当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native Task特性后，Reduce任务在部分操作系统运行失败 父主题： 使用Yarn
api提供的UserGroupInformation类，该类提供了多个安全认证API接口： setConfiguration()主要是获取对应的配置，设置全局变量等参数。 loginUserFromKeytab()获取TGT接口。 跨系统互信特性 MRS提供两个Manager之间的互信
examples.KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 object KafkaWordCount { def main(args: Array[String]):
当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native Task特性后，Reduce任务在部分操作系统运行失败 父主题： 使用Yarn
的hash分桶，如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。
行CDL的任何操作。 关联了“cdl”用户组的用户可以执行CDL的创建和查询操作。 启用了Ranger鉴权时，如果用户创建后需要继续为用户配置创建、执行、查询、删除权限，请参考添加CDL的Ranger访问权限策略。 对于手动停用了Ranger鉴权的集群，可参考MRS集群服务启用R
的hash分桶，如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。
ithQJM.html#Automatic_Failover HDFS HA实现方案 图1 典型的HA部署方式 在一个典型的HA集群中（如图1），需要把两个NameNodes配置在两台独立的机器上。在任何一个时间点，只有一个NameNode处于Active状态，另一个处于Stan
通过资源计划在数据量变化前提前完成集群的扩缩容，避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩，两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好，足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群
找到类似JAVA_OPTS=“-Xms1024m -Xmx4096m”的配置，将其值根据需要进行修改，保存修改。 重启manager-executor进程，该进程在Master1和Master2节点上为主备部署，同一时刻只有一个节点上运行该进程，首先确认节点上是否有该进程，如果有该进程则进行重启操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
