检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
与HTTP服务访问相比,以HTTPS方式访问Spark2x的JobHistory时,由于使用了SSL安全加密,需要确保curl命令所支持的SSL协议在集群中已添加支持。若不支持,可采用如下两种方案解决: 修改集群中配置的SSL协议。例如,若curl仅支持TLSv1协议(TLSv1
jar包名最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 执行程序可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS存储路径:以“obs://”开头。示例:obs://wordcount/program/hadoop-mapreduce-examples-2
“SFTP”:表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
通过绑定委托,您可以将部分资源共享给ECS或BMS云服务来管理,例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置MRS集群通过IAM委托对接OBS。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效,drop table后文件在回收站的存放路径不改变。 通常,默认情况: 当fs.obs.hdfs.trash.version=2时,回收站路径为:/user/
“SFTP”:表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
protocol 安全协议类型 生产者使用的安全协议类型,当前Kerberos开启的模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。Kerberos未开启的模式下配置为PLAINTEXT。 kerberos.domain.name 域名 MRS服务集群的Kerber
”表示执行完成)。 ECS重置密码插件升级(可选) 华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程,不对外提供任何网络服务,重置密码插件CloudResetPwdUpdateAgent使用了Apache
“服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”:SFTP服务器上的备份路径。
“服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”:SFTP服务器上的备份路径。
“SFTP”:表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
认启用了Ranger鉴权;对于安装了Ranger服务的普通集群,Ranger可以支持基于OS用户进行组件资源的权限控制。 Ranger鉴权的具体策略请参见鉴权策略。 OBS存算分离细粒度鉴权 对于OBS存算分离集群,如果您想对OBS上的资源进行细粒度的权限控制,可以通过MRS提供
通过MRS管理控制台为MRS集群在线安装补丁,补丁安装失败,报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中,部署并配置了VPC终端节点(VPCEP)。相关的终端节点策略中,未允许MRS集群内节点直接访问MRS补丁所在的OBS文件桶,导致无法将最新补丁下载到集群内进行安装。 解决办法
本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在,则会自动先创建该分组。当前用户就是该分组的创建者,拥有该分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升HetuEngine的数据读取效率。 前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成HetuEngine对接OBS,具体请
“SFTP”:表示备份文件通过SFTP协议保存到服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。
Leader提供元数据读写服务,Follower和Observer只有读取权限,无写入权限。 Follower Follower只有元数据读取权限,无写入权限,Follower参与Leader选举。 Observer Observer主要用于扩展集群的查询并发能力,可选部署。Observer不参与选主,不会增加集群的选主压力。
群名称。 将OBS中的txt文件导入至HDFS中。 选择“文件管理”。 在“HDFS文件列表”页签中单击“新建”,创建一个名称为userinput的文件夹。 进入userinput文件夹,单击“导入数据”。 选择OBS和HDFS路径,单击“确定”。 OBS路径:obs://spa