检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入购买资源包页面。 根据界面提示进行信息配置。 资源包所属区域和类型需要和桶属性相匹配，才能正常使用资源包抵扣桶的相关费用。 “定向使用”可限定企业项目使用所购资源包，即仅在所选企业项目下的桶才能使用此资源包进行抵扣，同时也需满足资源包所属区域和类型与桶属性匹配的要求。该选项仅对企业账号展示。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。 Distcp方式迁移 Hadoop Distcp（Distributed copy）主要是用于Hadoop文件系统内部或之间进行大规模数据复制的工具，它使用Map/R
以直接与开源的大数据组件对接。当您使用开源的大数据组件时，可参考支持的大数据组件简介完成与OBS对接。 （可选）如果您的数据仍存储在本地HDFS，需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题： 大数据场景下使用OBS实现存算分离
使用obsutil下载文件到99%后失败 出现该问题的主要原因： 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法： 重新执行下载命令。 obsutil在下载的时候默认开启断点续传，此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
桶的多版本状态。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:bucket:GetBucketVersioning权限，如果使用桶策略则需授予GetBucketVersioning权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、自定义创建桶策略。
使用账号登录时，界面提示“获取用户的Token失败” 在使用OBS Browser+过程中，如果使用账号登录时提示“获取用户的Token失败”，原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例，步骤如下： 进入系统页面，路径为“Windows
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
通过obsfs使用OBS服务，需要将OBS的并行文件系统挂载至您本地的文件系统上。挂载完成后，可以像操作本地目录一样操作OBS并行文件系统，比如保存某个文件至挂载目录，即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量，不占用华为云服务器ECS的流量。 约束与限制
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS Turbo存储空间、或缩短
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
使用生命周期删除和转换对象存储类别的规则 本章节将介绍使用生命周期定时转换对象存储类别、删除对象的规则。 约束限制 归档存储和深度归档存储不支持多AZ，因此不支持使用生命周期将多AZ桶中对象的存储类别转化为归档存储或深度归档存储。 使用生命周期转换对象存储类别规则 图1 使用生命周期转换对象存储类别
I训练，建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务，训练速度加快可以节省AI算力费用。 文件系统使用空间不足，可以扩容吗？ SFS Turbo文件系统支持在线扩容，扩容过程中挂载文件系统可能失败，建议业务低峰期扩容。 父主题： 面向AI场景使用OBS+SFS
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
公钥或私钥，SDK 会自动获取保存在对象元数据中的数据密钥与初始值，并使用公钥或私钥解密数据密钥，如果提供的公钥或私钥与上传时使用的密钥不匹配，将会抛出错误。解密成功后，SDK 将会使用解密后的数据密钥与初始值解密对象并返回。 加密客户端与普通客户端的接口变更 CryptoObsClient 继承自
设置桶的策略 setBucketPolicy 次要 维度 表4 维度列表 Key Value User 用户维度，取值为账号ID，账号ID的查询方法具体请参见获取账号、IAM用户、项目、用户组、区域、委托的名称和ID。 Bucket_Name 桶维度，取值为桶名。 Bucket_Name
接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置，可以配置的参数见下表： 参数 描述 建议值 key 访问密钥中的AK。 N/A secret 访问密钥中的SK。 N/A endpoint 连接OBS的服务地址。包含协议类型、域名（或IP）、端口号。示例：h
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
