检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD.groupByKey(24)
对集群进行弹性伸缩。此外，如果数据量以天为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，可以使用MRS的资源计划（按时间段设置Task节点数量范围）特性。 配置弹性伸缩规则 Master规格升级 随着用户业务的增长，Core节点的扩容，CPU使用率变高，而Mast
在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“Controller”，单击“确定”。 单击右上角的设置日志收集的时间范围，一般为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
P时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地址，并设置好集群与新NTP服务器的网络。 请确保服务器的NTP服务状态正常，否则将导致本章节操作失败。 修改MRS集群NTP服务器对系统的影响 更换
执行Kafka Topic设置ACL操作失败，提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-acls.sh --authorizer-properties zookeeper
HDFS上设置配额导致HBase启动失败 问题现象 HBase启动失败。 原因分析 查看HMaster日志信息（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”），出现如下异常，The DiskSpace quota of /hbase is
热门案例 MRS故障案例集在哪里？ MRS集群内包含哪些组件？ HDFS显示磁盘空间不足怎么办？ 如何构建MRS样例工程？ 如何访问MRS集群上托管的开源组件Web页面？ 开启Kerberos认证的集群怎么使用？ 如何登录MRS集群节点？ 如何访问MRS Manager？ 如何更新MRS客户端？
连接数作为其取值。 20 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单
作为其取值。 20 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD.groupByKey(24)
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
HBase表如何设置和修改数据保留期？ 创建表时指定 创建t_task_log表，列族f, TTL设置86400秒过期 create 't_task_log',{NAME => 'f', TTL=>'86400'} 在已有表的基础上指定： alter "t_task_log",NAME=>'data'
服务配置参数。 表2 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true，表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。 设置为true，表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-ap
spark.yarn.executor.memoryOverhead设置不生效如何处理？ 问题现象 Spark任务需要调整executor的overhead内存，设置了参数spark.yarn.executor.memoryOverhead=4096，但实际计算的时候依旧按照默认值1024申请资源。
d”的值设置为“false”。 设置方法：如果未启动beeline，则执行beeline --entireLineAsCommand=false命令；如果已启动beeline，则在beeline中执行!set entireLineAsCommand false命令。 设置完成后，
executor.memory=2G --driver-memory 设置driver的运行内存。 2G --num-executors 设置executor启动数量。 5 --executor-cores 设置executor核数。 2 --jars 上传任务额外依赖包，用于给任务添加任务的外部依赖包。
问该端口的权限能访问Manager。 勾选确认信息后，单击“确定”，进入Manager登录页面。 输入默认用户名“admin”及创建集群时设置的密码，单击“登录”进入Manager页面。 如需给其他网络段用户开通访问Manager的权限，可手动修改安全组，添加对应用户访问公网的IP地址范围。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
