检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.yarn.executor.memoryOverhead设置不生效如何处理？ 问题现象 Spark任务需要调整executor的overhead内存，设置了参数spark.yarn.executor.memoryOverhead=4096，但实际计算的时候依旧按照默认值1024申请资源。
行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD.groupByKey(24)
模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密
S读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径： 在FusionInsight Manager页面中，选择“集群
客户配置了DNS服务，由于客户端连接到HBase先通过DNS来解析服务器端，所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf，打开resolv.conf文件，注释掉DNS服务器地址。 例如，#1.1.1.1。 父主题： 使用HBase
如何设置Spark作业执行时自动获取更多资源？ 问 如何设置Spark作业执行时自动获取更多资源？ 答 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分
S读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径： 在FusionInsight Manager页面中，选择“集群
选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。（服务器共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody）
“IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。（服务器共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody）
选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。（服务器共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody）
登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址，地址格式为“https://FusionInsight Manager系统的WebService浮动IP地址:28443/web”。 例如，在IE浏览器地址栏中，输入“https://10.0.0.1:28443/web”。
登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址，地址格式为“https://FusionInsight Manager系统的WebService浮动IP地址:28443/web”。 例如，在IE浏览器地址栏中，输入“https://10.0.0.1:28443/web”。
选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。（服务器共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody）
MRS集群的时间可通过登录主管理节点（集群管理IP地址所在节点）运行date命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。 在浏览器地址栏中输入访问地址，地址格式为“https://MRS Manager系统的WebService浮动IP地址:8080/web”
在“下载路径”选择“远端主机”。 将“主机IP”设置为ECS的IP地址，设置“主机端口”为“22”，并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改，请将“主机端口”设置为新端口。 “存放路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如果使用
模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密
在EIP管理控制台，申请一个弹性IP地址，并与ECS绑定。 登录弹性云服务器。 登录ECS需要Windows系统的账号、密码，弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中，打开浏览器访问Manager。 Manager访问地址为“集群管理页面
选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。（服务器共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody）
选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。（服务器共享路径不能设置为根目录，且共享路径的用户组和属组必须为nobody:nobody）
ALM-13005 ZooKeeper中组件顶层目录的配额设置失败 告警解释 系统每5小时周期性为组件和“customized.quota”配置项中的每个ZooKeeper顶层目录设置配额，当设置某个目录的配额失败时，会产生该告警。 当设置失败的目录重新设置配额成功时，告警恢复。 告警属性 告警ID
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
