检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何设置Spark作业执行时自动获取更多资源？ 问 如何设置Spark作业执行时自动获取更多资源？ 答 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
怎么通过客户端设置Map/Reduce内存？ 问题现象 客户端怎么设置Map/Reduce内存？ 处理步骤 Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数： set mapreduce.map.memory
的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。
> 下载客户端”。 在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为待安装客户端节点的IP地址，设置“主机端口”为“22”，并将“存放路径”设置为“/tmp”。 如果节点的SSH登录默认端口被修改，请将“主机端口”设置为新端口。 “登录用户”设置为“root”。
节点的客户端可以直接使用，Core节点客户端在使用前需要更新客户端配置文件。 更新客户端配置（3.x及之后版本） 方法一： 访问MRS集群Manager，选择“集群 > 概览 > 更多 > 下载客户端”（MRS 3.3.0及之后版本在“主页”选择“下载客户端”）。 选择“更多 >
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级？ 回答 当您在客户端提交MapReduce任务时，可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下： yarn
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级？ 回答 当您在客户端提交MapReduce任务时，可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下： yarn
HDFS上设置配额导致HBase启动失败 问题现象 HBase启动失败。 原因分析 查看HMaster日志信息（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”），出现如下异常，The DiskSpace quota of /hbase is
c”。否则会导致连接生成的临时文件无法删除，长期会累积产生大量的垃圾文件。 在使用beeline客户端时，如果需要在一行中输入多条语句，语句之间以“;”分隔，需要将“entireLineAsCommand”的值设置为“false”。 设置方法：如果未启动beeline，则执行beeline --en
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 问题 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时，数据会被写入HDFS。如果HDFS目录的磁盘空间配额不足，则操作失败并发生以下异常。
设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 问题 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时，数据会被写入HDFS。若HDFS目录的磁盘空间配额不足，则操作失败并发生以下异常。
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
执行Kafka Topic设置ACL操作失败，提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-acls.sh --authorizer-properties zookeeper
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
如何设置开源Flink中的znode存储目录 问题现象 如何将开源Flink中的znode存储目录设置为自定义目录。 解决方法 如设置目录为/flink_base/flink，在flink-conf.yaml配置文件中将“high-availability.zookeeper.path
该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看
均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
