检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
但是当前开源YARN提供的WebUI/RestAPI/JavaAPI等接口上不会根据用户角色进行权限控制，任何用户都有权限访问应用和集群的信息，无法满足多租户场景下的隔离要求。 增强： 安全模式下，对开源YARN提供的WebUI/RestAPI/JavaAPI等接口上进行了权限管理上的增强，支
通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用
配置Spark通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Spark客户端创建Location为OBS路径的表。 Spark对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive
配置HetuEngine通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在HetuEngine客户端创建指定Location为OBS文件系统路径的表，也支持基于Hive Metastore方式对接OBS。 HetuEngine对接OBS MRS集群支
【HDFS WebUI】访问HDFS WebUI页面报错“重定向次数过多” 问题现象 通过Manager页面跳转HDFS WebUI页面偶现失败，报错“重定向次数过多”，此时其他组件的WebUI能正常访问。 原因分析 Knox为双活组件，运行过程中出现主备之间数据不同步问题导致。
WebUI】使用IE浏览器访问HDFS WebUI界面失败 用户问题 通过IE浏览器访问HDFS的WebUI界面，偶尔出现访问失败情况。 问题现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。 处理步骤 重新刷新页面或者推荐使用Google
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
使用admin用户访问组件的WebUI界面报错或部分功能不可用 问： 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错，或部分功能不可用怎么办？ 答： 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用
如何切换访问MRS Manager方式？ 问： MRS 3.x版本集群，用户通过专线访问MRS Manager后，如何切换到通过EIP访问？ 答： 在集群“概览”页面，单击“前往Manager”后的，即可切换访问方式。 父主题： Web页面访问类
配置为kafka）。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value.serializer 消息序列化类。 指定所发送消息的序列化方式。 表2 Producer重要接口函数 返回值类型 接口函数 描述 java.util.concurrent
选择JDBCServer实例进行连接。 JDBC客户端代码 通过JDBC客户端代码连接JDBCServer，来访问SparkSQL的数据。详细指导请参见通过JDBC访问Spark SQL样例程序。 增强特性 对比开源社区，华为还提供了两个增强特性，JDBCServerHA方案和设置JDBCServer连接的超时时间。
获取指定目录文件列表 功能介绍 在MRS集群中获取指定目录文件列表。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/files 表1 路径参数 参数 是否必选 参数类型 描述 project_id
终止作业 场景描述 当作业提交后未执行完成时，手动终止作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
配置Hive通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Hive客户端创建存储在OBS并行文件系统中的表。 Hive对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS：
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
配置MapReduce通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，MapReduce服务还需参考本章节新增自定义配置。 MapReduce对接OBS 登录MRS管理控制台，单击集群名称进入集群详情页面。 选择“组件管理 > Mapr
配置为kafka）。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value.serializer 消息序列化类。 指定所发送消息的序列化方式。 表2 Producer重要接口函数 返回值类型 接口函数 描述 java.util.concurrent
} 注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证，并将依赖的配置文件（配置文件Workflow.xml的开发参见workflow.xml）与jar包上传到HDFS，并确保进行过安全认证的用户有权限访问HDFS上对应的目录（目录的属主是该用户，或与该用户属于同一个用户组）。
properties文件，每次更新都会导致对应实例进程中出现新的线程，造成线程泄漏问题 解决作业管理提交Spark作业写obs时偶现403问题 解决作业管理提交Spark访问HBase作业失败问题 解决作业管理提交作业后，HDFS上mrs/mrsjob/目录下存在大量application子目录未清理的问题
配置Hive通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
