检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PC通过逻辑方式进行网络隔离，为用户的MRS集群提供安全、隔离的网络环境。 创建虚拟私有云和子网 对象存储服务（Object Storage Service） 对象存储服务（OBS）用于存储用户数据，包括MRS作业输入数据和作业输出数据： MRS作业输入数据：用户程序和数据文件
job_id”或参考获取作业ID获取。 IAM用户已同步完成，可通过在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。 操作步骤 接口相关信息 URI格式：POST
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
opts的值： 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IA
0及之后版本，且使用此功能前还需满足以下条件： 需排查OBS是否开启AccessLabel功能，若未开启，需手动开启，详细操作请联系OBS运维人员。 针对OBS存储源，需满足以下条件，否则OBS表将授权失败： 集群中必须已安装Guardian服务。 OBS表的授权只能针对用户组。 仅支持已启用K
新生成。 创建Catalog所需的AWS_REGION可在地区和终端节点获取。 登录“对象存储服务 OBS”管理控制台，单击“并行文件系统”，单击Hive表所在的OBS并行文件系统名称，在概览界面查看“Endpoint”参数值，该值为创建Catalog时设置AWS_ENDPOINT参数的值。
许多存储系统。 Alluxio主要特点如下： 提供内存级I/O 吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发
产生告警的主机名称。 对系统的影响 集群获取不到最新的临时AK/SK，存算分离场景下，可能导致访问OBS失败，引起组件业务无法正常处理。 可能原因 MRS集群meta角色状态异常。 集群绑定过委托且访问过OBS，但是已经解绑了，现在未绑定委托。 处理步骤 检查meta角色状态。 在集群的FusionInsight
解决办法 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IA
如需添加多个参数，请单击右侧增加。 例如作业需要通过AK/SK方式访问OBS，增加以下服务配置参数： fs.obs.access.key：访问OBS的密钥ID。 fs.obs.secret.key：访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。
例如： kinit testuser 执行以下命令复制OBS文件系统中的程序到集群的客户端所在节点。 hadoop fs -Dfs.obs.access.key=访问OBS的AK信息 -Dfs.obs.secret.key=访问OBS的SK信息 -copyToLocal 应用程序源路径
执行8。 “上传到OBS”：表示将日志保存到OBS中。默认值。然后执行5。 在“OBS路径”填写服务日志在OBS保存的路径。 需要填写完整路径且不能以“/”开头，路径可以不存在，系统将自动创建。OBS的完整路径最大支持900个字节。 在“桶名”输入已创建的OBS文件系统名称。 在
配置审计日志转储至OBS（MRS 3.x之前版本） MRS的审计日志长期保留在系统中，可能引起数据目录的磁盘空间不足问题，故通过设置导出参数及时将审计日志自动导出到OBS服务器的指定目录下，便于管理审计日志信息。 审计日志导出到OBS服务器的内容包含两部分，服务审计日志和管理审计日志。
使用ZooKeeper客户端 ZooKeeper是一个开源的，高可靠的，分布式一致性协调服务。ZooKeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以外的客户端，需要下载并更新客户端配置文件。
> 全部配置”，搜索参数“sasl.enabled.mechanisms”，将参数值改为“GSSAPI,PLAIN”。单击“保存”。 单击“概览”，选择“更多 > 重启服务”使配置生效。 Kafka客户端配置Sasl Plain认证。 Kafka客户端只需要配置动态jaas.con
解决方案 登录Manager。 MRS 3.x之前版本，执行7。 MRS 3.x及之后版本，选择“集群 > 服务 > Hive”，在服务“概览”页面右上角单击“更多”，查看“启用Ranger鉴权”是否置灰。 是，执行2。 否，执行7。 选择“集群 > 服务 > Ranger”，单
default 标签 可选。标签用于标识OBS中的桶，以此达到对OBS中的桶进行分类的目的。 - 等待文件系统创建好，单击文件系统名称，选择“文件 > 上传文件”，将数据文件上传至OBS并行文件系统内。 切换回MRS控制台，单击创建好的MRS集群名称，进入“概览”，单击“IAM用户同步”所在行的“同步”，等待约5分钟同步完成。
可能会丢失。 可能原因 无法连接OBS服务器。 指定的OBS文件系统不存在。 用户AK/SK信息失效。 本地OBS配置信息获取失败。 处理步骤 登录OBS服务器，检查OBS服务器是否可以正常访问。 是，执行3。 否，执行2。 联系运维人员恢复OBS，然后等任务再次启动后，检查告警是否恢复。
使用HetuEngine管理员用户登录Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 单击“计算实例”，勾选待操作实例
ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一：通过MRS控制台获取 在MRS集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 > ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
