检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业，同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。 OBS支持使用KMS密钥的加解密方式对数据进行加解密，所有的加解密操作都在OBS完成，同时密钥管理在DEW服务。
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
安装在集群外的MRS客户端如何访问OBS 操作场景 在OBS存算分离场景下，用户可以通过委托方式获取访问OBS的临时AK、SK，继而访问OBS服务端。对于集群外节点的客户端，如果想要访问OBS，可以通过Guardian组件获取AK、SK实现。Guardian组件是MRS的自研组件
endpoint OBS桶地址 s3.endpoint-name.access_key_id OBS ak，获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk，获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分
AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”，为新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如，为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限： 图2
properties 在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 图4 添加OBS日志级别 使用Spark Shell读取OBS文件 使用安装客户端用户登录客户端安装节点。
查看备份目录下是否有很多备份包。 是，执行13。 否，执行16。 将备份包移出备份目录，或者直接删除备份包，直到备份目录挂载节点剩余空间大于20GB。 再一次启动该备份任务，查看备份任务是否执行成功。 是，执行15。 否，执行16。 等待2分钟，检查告警是否消除。 是，结束操作。 否，执行16。 收集故障信息
配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗？ 回答 Hive存储在OBS上的普通表，支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能，以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时，需要为HBase上层应用配置备集群信息，才可以使得该应用在备集群上运行。 对系统的影响 切换业务后，写入备集群的数据默
XXXX 访问OBS，无需再配置AK、SK和Endpoint。 OBS路径格式：obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3.1.2.jarobs-exam
配置Hive表不同分区分别存储至OBS和HDFS 操作场景 存算分离场景下，Hive分区表支持不同的分区分别指定不同的存储源，可以指定一个分区表中不同分区的存储源为OBS或者HDFS。 本特性仅适用于MRS 3.2.0及之后版本。此章节仅说明分区表指定存储源的能力，关于Hive如何在存算分离场景下
MRS服务的默认配置文件中已经添加了OBS的实现类来对接OBS，如下所示： <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS</value> </property>
如何迁移OBS/S3的数据到ClickHouse 问题 如何迁移OBS/S3的数据到MRS ClickHouse。 回答 查询S3中的数据： select * from s3(path [,access_key_id, secret_access_key] [,format] [
Policy”，为1新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如，为用户组“obs_hadoop1”添加“obs://OBS并行文件系统名称/hadoop1”的“Read”和“Write”权限： 图2 为新建用户组赋予OBS路径读和写的权限 父主题： MRS集群服务对接OBS示例
在新页面中修改任务参数。 手动备份支持修改的参数项如下： 目的端路径：修改备份文件在HDFS中保存的目录。 最大备份数：修改备份目录中可保留的备份文件集数量。 周期备份支持修改的参数项如下： 开始时间：修改备份任务第一次启动的时间。 周期：修改备份任务下次启动，与上一次运行的时间间隔，支持“按小时”或“按天”。
AUTHORIZATION”区域的组件插件名称“OBS”。 为“hiveobs1”用户组赋予OBS存储路径的“Read”和“Write”的权限，此时绑定“hiveobs1”组的用户均可以访问hive数据仓库路径。 图6 为自定义Hive用户组赋予OBS存储路径读和写权限 自定义Location创建库/表/分区授予OBS路径读写权限
表名' 示例： disable_table_replication 't1' 切换主备 重新配置HBase容灾，参考配置HBase主备集群容灾。 父主题： HBase集群容灾高可用
表名' 示例： disable_table_replication 't1' 切换主备 重新配置HBase容灾，参考配置HBase主备集群容灾。 父主题： HBase集群容灾高可用
Policy”，为新建的用户组添加相应OBS路径的“Read”和“Write”权限，OBS目录若不存在则需要提前创建，且不允许带通配符*。 例如，为用户组“obs_cdl”添加“obs://OBS并行文件系统名称/cdldata”的“Read”和“Write”权限： 图6 为CDL用户组赋予OBS路径的读和写权限
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
