检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties 在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 图4 添加OBS日志级别 使用Spark Shell读取OBS文件 使用安装客户端用户登录客户端安装节点。
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink
IE浏览器访问Spark2x原生UI界面失败，无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面，出现访问失败情况或者页面显示错误问题。 现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因 IE 9、IE 10、IE
访问Hue原生页面时间长，文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长，访问Hue的HDFS文件浏览器报错Read timed out，如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否，请联系运维人员处理。 是，重启HttpFS实例解决。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。
运行模式：选择HDFS连接的运行模式。 步骤3：创建OBS连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数，如图3所示。 名称：用户自定义连接名称，例如“obslink”。 OBS终端节点、端口：配置为OBS实际的地址信息。
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
Policy”，为新建的用户组添加相应OBS路径的“Read”和“Write”权限，OBS目录若不存在则需要提前创建，且不允许带通配符*。 例如，为用户组“obs_cdl”添加“obs://OBS并行文件系统名称/cdldata”的“Read”和“Write”权限： 图6 为CDL用户组赋予OBS路径的读和写权限
使用Loader从HDFS/OBS导入数据到HBase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授
AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”，为新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如，为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限：
户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录：
配置HetuEngine通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在HetuEngine客户端创建指定Location为OBS文件系统路径的表，也支持基于Hive Metastore方式对接OBS。 HetuEngine对接OBS MRS集群支持
IE浏览器访问Spark2x原生UI界面失败，无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面，出现访问失败情况或者页面显示错误问题。 现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因 IE 9、IE 10、IE
配置Hive通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Hive客户端创建存储在OBS并行文件系统中的表。 Hive对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
