检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
资源包概述 资源包说明 您也可以通过包年包月（资源包）的方式，提前购买使用额度和时长，获取更多的优惠。超出资源包的部分自动转按需计费。如何购买资源包？ 对象存储服务暂不支持退订资源包，建议您在购买资源包前提前规划资源的使用额度和时长。 对象存储服务资源包仅支持抵扣资源包购买后产生
购买了回源流量包是否还需要购买公网流出流量包？ 回源流量包用于抵扣使用OBS作为华为云CDN加速域名源站时，CDN向源站OBS获取文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下： 用户在控制台
我的套餐”，进入“资源包”界面。 单击“资源包列表”页签，通过筛选资源包名称/资源包ID/订单号，您可以查看到您所购买的资源包的剩余量，并且可以导出使用明细。 图2 资源包剩余量 单击“剩余量汇总”页签，筛选区域和企业项目，选择“对象存储服务”，您可以查看到您所购买的资源包类型的剩余量汇总情况。
包年包月（资源包） 资源包概述 资源包购买 资源包叠加购买 资源包升配 查看资源包详情 父主题： 计费模式
目前支持的资源包有标准存储包、归档存储包、公网流出流量包、跨区复制流量包和回源流量包。 不同资源包抵扣的费用不同，详见资源包概述。请确认是否已经购买了产生按需费用的计费项所对应的资源包。 如果未购买，产生按需计费为正常现象；如果已购买，请继续按照下面的思路排查。 判断资源包额度是否超出
为账号充值。 注册华为账号并实名认证。 如果您已有华为账号，请忽略此步骤。如果您还没有华为账号，请执行以下操作： 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证，完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额，才能正常使用OBS等相关资源。请参考账户充值。
流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，还可以直接与开源的大数据组件对接。当您使用开源的
为账号充值。 注册华为账号并实名认证。 如果您已有华为账号，请忽略此步骤。如果您还没有华为账号，请执行以下操作： 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证，完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额，才能正常使用OBS等相关资源。请参考账户充值。
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
重启MapReduce2集群。 增加Hive对接OBS的jar包 执行以下命令，在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令，将OBSA-HDFS工具的jar包放到auxlib文件夹。 cp /mnt/
33%，单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题，华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力，以及多协议共享访问技术（HDFS/POSIX/OBS
查询华为云算子模板详情 功能介绍 本接口用于按名称查询Action模板。 请求消息样式 GET /v2/actiontemplates/{template_name} HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization:
jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令，命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。 执行如下命令，将OBSA-HDFS工具的jar包放到/opt/cloudera/parcels/CDH-6
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
查询华为云算子模板列表 功能介绍 本接口用于查询已有预置Action模板列表。 请求消息样式 GET /v2/actiontemplates/{template_name_prefix}?x-workflow-category={category}&x-workflow-prefix
创建并行文件系统 注册华为账号并开通华为云 在使用obsfs之前，您需要拥有一个华为账号并且成功开通OBS。OBS提供按需和资源包两种计费方式，充值或购买资源包即开通OBS服务。成功开通OBS后即可进行访问和使用。如果您已有账号且账号已开通OBS服务，可以略过此部分内容。 打开华为云网站www
结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离，资源利用率高 GPU/NPU算力和SFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
