检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
以“application/xml”的格式响应,该行为会导致服务器端处理出现异常,所以返回的页面会提示“Error Occurred”。而IE浏览器访问该REST接口时,优先以“application/json”的格式响应,服务器会正确响应给浏览器“404”的状态码。 父主题: Yarn常见问题
Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似。 (可选)添加策略有效期。在页面右上角单击“Add Validity period”,设置“Start Time”和“End Time”,选择“Time Z
Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类型,拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 表2 设置权限 任务场景 角色授权操作 设置CDL管理员权限 在首页中单击“CDL”区域的组件插件名称,例如“CDL”。
39:39 ClickHouse安全集群客户端使用 MapReduce服务 MRS ClickHouse查询超时设置及mutation注意事项 26:37 ClickHouse查询超时设置及mutation注意事项 应用开发指导 MapReduce服务 MRS 二次开发配置和导入样例工程 07:13
加载空的part文件时,app无法显示在JobHistory的页面上 Spark2x导出带有相同字段名的表,结果导出失败 为什么多次运行Spark应用程序会引发致命JRE错误 IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表,可能导致外表查询失败
OdDt/yn...etM 配置多个SFTP服务器,多个服务器指定目录的数据将导入到Hive。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径,如果连接器配置多个地址此处可
MRS集群支持的云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“Controller”,单击“确定”。 单击右上角的设置日志收集的时间范围,一般为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
3.x及之后版本) 服务IP 192.168.xxx.xxx 设置对接服务器IP地址。 服务端口 514 设置对接端口。 协议 UDP 设置协议类型,包括: TCP UDP 安全级别 Informational 设置上报消息的严重程度,取值范围: Emergency Alert Critical
加载空的part文件时,app无法显示在JobHistory的页面上 Spark导出带有相同字段名的表,结果导出失败 为什么多次运行Spark应用程序会引发致命JRE错误 IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表,可能导致外表查询失败
} catch (InterruptedException ie) { LOG.info("The InterruptedException occured : {}.", ie); } catch (ExecutionException
该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看
MAX(单分区数据量大小(G)/2G,再后向上取整,1) 需要使用的是表的总数据大小,而不是压缩以后的文件大小 桶的设置以偶数最佳,非分区表最小桶数请设置4个,分区表最小桶数请设置1个。 确认建表SQL DataArts支持通过Spark JDBC方式和Spark API方式操作Hudi表:
对集群进行弹性伸缩。此外,如果数据量以天为周期有规律的变化,并且希望在数据量变化前提前完成集群的扩缩容,可以使用MRS的资源计划(按时间段设置Task节点数量范围)特性。 配置弹性伸缩规则 Master规格升级 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Mast
} catch (InterruptedException ie) { LOG.info("The InterruptedException occured : {}.", ie); } catch (ExecutionException
P时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。 请确保服务器的NTP服务状态正常,否则将导致本章节操作失败。 修改MRS集群NTP服务器对系统的影响 更换
} catch (InterruptedException ie) { LOG.info("The InterruptedException occured : {}.", ie); } catch (ExecutionException
} catch (InterruptedException ie) { LOG.info("The InterruptedException occured : {}.", ie); } catch (ExecutionException
使用root用户名和密钥文件,SSH方式远程登录Master节点。 执行passwd root命令,设置root用户密码。 设置成功后,返回界面登录方式,输入root用户名和5.b.iii设置的密码,登录节点。 登录弹性云服务器(SSH密钥方式) 本地使用Windows操作系统 如果您