检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
MRS导出数据到OBS加密桶失败如何处理？ 问： MRS导出数据到OBS加密桶失败如何处理？ 答： 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能，MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题：
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录
安装在集群外的MRS客户端如何访问OBS 操作场景 在OBS存算分离场景下，用户可以通过委托方式获取访问OBS的临时AK、SK，继而访问OBS服务端。对于集群外节点的客户端，如果想要访问OBS，可以通过Guardian组件获取AK、SK实现。Guardian组件是MRS的自研组件
配置定时备份告警与审计信息 用户通过修改配置文件，实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议，FTP协议未加密数据可能存在安全风险，建议使用SFTP。 本章节适用于MRS
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
MRS集群客户端如何通过AK/SK信息对接OBS MRS 1.9.2及之后的版本支持使用obs://的方式对接OBS服务，当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用obs://的方式对接OBS服务暂不支持。 该章节主要
在新页面中修改任务参数。 手动备份支持修改的参数项如下： 目的端路径：修改备份文件在HDFS中保存的目录。 最大备份数：修改备份目录中可保留的备份文件集数量。 周期备份支持修改的参数项如下： 开始时间：修改备份任务第一次启动的时间。 周期：修改备份任务下次启动，与上一次运行的时间间隔，支持“按小时”或“按天”。
endpoint-name.access_key_id OBS ak，获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk，获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL，一般是带HTTPS的，
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗？ 回答 Hive存储在OBS上的普通表，支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分
配置Hive表不同分区分别存储至OBS和HDFS 操作场景 存算分离场景下，Hive分区表支持不同的分区分别指定不同的存储源，可以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力，关于Hive如何在存算分离场景下
如何迁移OBS/S3的数据到ClickHouse 问题 如何迁移OBS/S3的数据到MRS ClickHouse。 回答 查询S3中的数据： select * from s3(path [,access_key_id, secret_access_key] [,format] [
</property> MRS服务的默认配置文件中已经添加了OBS的实现类来对接OBS，如下所示： <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS</value>
MRS备份任务执行失败 问题现象 MRS的备份任务总是执行失败。 原因分析 备份目录软链接到系统盘，系统盘满了之后备份任务失败。 处理步骤 检查备份目录是否软链接到系统盘。 以root用户登录集群主备Master节点。 执行df -h命令查看磁盘情况，检查系统盘的存储情况。 执行
备份MRS集群组件数据 备份Manager数据（MRS 2.x及之前版本） 备份Manager数据（MRS 3.x及之后版本） 备份CDL业务数据 备份ClickHouse元数据 备份ClickHouse业务数据 备份DBService元数据 备份Doris业务数据 备份Flink元数据
启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间复制功能，该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响
移动出来使用，而需要用HFS的接口进行读取。 使用HFS接口存储在HDFS中的数据，暂不支持备份与容灾。 操作步骤 登录MRS Manager。 单击“服务管理 > HBase > 服务配置”，“参数类别”类型选择“全部配置”，然后在左边窗口选择“HMaster > 系统”。 在“hbase
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
作指导。 数据容灾与备份 容灾：MRS支持将数据备份到对象存储服务（OBS）中，支持跨区域的高可靠性。 备份：MRS支持针对OMS、Kafka、DBService、NameNode等组件的元数据备份和对HDFS、HBase、Hive等组件的业务数据备份。 关于备份能力详细的内容介绍请参见备份恢复简介。
properties 在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 图4 添加OBS日志级别 使用Spark Shell读取OBS文件 使用安装客户端用户登录客户端安装节点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
