检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto
在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 可执行以下命令查看： tail -4 log4j.properties 图2 查看日志级别 父主题： 集群服务对接
在具备OBS资源的访问权限后，MRS集群内相关组件可通过客户端访问对应文件资源。 各组件访问OBS配置说明可参考如下内容： 集群服务对接OBS示例 MRS集群服务对接OBS示例 基于Guardian服务的存算分离配置流程 创建MRS集群。
父主题： 集群服务对接OBS示例
登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。搜索参数项“clickhouse-config-customize”并添加参数值。参数值的添加参考下表。
例如，为用户组“obs_hadoop1”添加“obs://OBS并行文件系统名称/hadoop1”的“Read”和“Write”权限： 图2 为新建用户组赋予OBS路径读和写的权限 父主题： MRS集群服务对接OBS示例
例如，为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限： 图2 为Hadoop用户组新增OBS路径读和写的权限 父主题： MRS集群服务对接OBS示例
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。
图5 进入MRS集群的概览界面 图6 为集群绑定委托 步骤3：创建Hive表并加载OBS中数据 在服务列表中选择“存储 > 对象存储服务 OBS”，登录OBS控制台，单击“并行文件系统 > 创建并行文件系统”，填写以下参数，单击“立即创建”。
同时MRS也支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。 更多信息MRS各版本支持的组件情况请参见MRS组件版本一览表。 父主题： 产品咨询类
应付金额 用户使用云服务享受折扣优惠后需要支付的费用金额。
图1 新增自定义参数 保存配置，并重启Mapreduce服务。 父主题： 集群服务对接OBS示例
图1 缺少MySQL驱动包报错 父主题： 集群服务对接OBS示例
父主题： MRS集群服务对接OBS示例
单击“Add New Policy”，为2新建的用户组添加相应OBS路径的“Read”和“Write”权限，OBS目录若不存在则需要提前创建，且不允许带通配符*。 图1 为Hudi用户组赋予OBS路径读和写权限 父主题： MRS集群服务对接OBS示例
配置Spark通过Guardian访问OBS 对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。
配置Hive通过Guardian访问OBS 对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS： 已参考配置Guardian服务对接OBS完成存算分离配置。
保存配置，并重启Mapreduce服务。 父主题： MRS集群服务对接OBS示例
父主题： 集群服务对接OBS示例
org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider：表示收集统计OBS监控指标 org.apache.hadoop.fs.obs.DefaultMetricsConsumer：表示不收集OBS监控指标 要使用OBS监控功能，需确保上报
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
