检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小，可以使用obsutil列举对象命令，指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例，运行./obsutil ls obs://bucket-test/test/ -du
使用账号登录时，界面提示“获取用户的Token失败” 在使用OBS Browser+过程中，如果使用账号登录时提示“获取用户的Token失败”，原因是Nodejs限制Http头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例，步骤如下： 进入系统页面，路径为
设置桶多版本状态(Node.js SDK) 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持多版本控制，您可以在一个桶中保留对象的多个版本，使您更方便地检索和还原各个版本，在意外操作或应用程序故障时快速恢复数据
查看桶多版本状态(Node.js SDK) 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 功能介绍 OBS支持多版本控制，您可以在一个桶中保留对象的多个版本，使您更方便地检索和还原各个版本，在意外操作或应用程序故障时快速恢复数据
让IAM用户只能看到被授权的桶 场景介绍 本章节介绍如何通过企业项目为华为云账号下的某个IAM用户配置指定桶的权限，使其只能在控制台看到授权的桶并且拥有桶的指定权限，无法看到账号下的其他桶，实现桶资源的隔离。 本案例将指定IAM用户test-user只能在控制台看到名为example
如何使对象可以被匿名用户访问？(Harmony SDK) 如果想对象可以被匿名用户，可通过以下三步完成。 参考设置对象元数据(Harmony SDK)章节，设置对象的访问权限为公共读。 参考如何获取对象URL章节，获取对象的URL提供给匿名用户。 匿名用户通过浏览器打开获取的URL
为什么SDK源码中包含acs.amazonaws.com关键字？ OBS SDK 为了兼容访问aws s3服务，在源码中会包含acs.amazonaws.com关键字的固定格式。 SDK仅作常量使用，不会向该格式有其他处理，也不会对其访问。 SDK会自动兼容该场景，用户可不感知。例如
我的OBS桶性能是否会受其他用户业务的影响？ 不会。 OBS对不同的桶之间做了隔离，多个桶之间不会相互影响存储性能。 OBS对不同账号的访问做了性能隔离，不同账号之间不会出现性能干扰或影响。 父主题： 产品咨询
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
获取桶的自定义域名 功能介绍 OBS使用GET操作来获取桶的自定义域名。 请求消息样式 1 2 3 4 5 6 GET /?customdomain HTTP/1.1 User-Agent: curl/7.29.0 Host: bucketname.obs.cn-north-4.myhuaweicloud.com
获取账号、IAM用户、项目、用户组、区域、委托的名称和ID 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角，单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面
并行文件系统支持的特性 并行文件系统支持的API列表 本节主要介绍并行文件系统和已有的OBS API的兼容情况，并对部分兼容的API进行差异说明。 关于OBS各个API接口的详细介绍，请参见《对象存储服务API参考》。 桶基础操作接口 表1 桶基础操作接口 接口 并行文件系统是否兼容
对当前账号下多个IAM用户或用户群组授权 对IAM用户组授予OBS所有资源的所有操作权限 对IAM用户组授予OBS所有资源的基本操作权限 对IAM用户组授予OBS所有资源的指定操作权限 对IAM用户组授予OBS指定资源的指定操作权限 对IAM用户组授予OBS指定文件夹的指定操作权限
为什么SDK源码中包含acs.amazonaws.com关键字？(Java SDK) OBS SDK 为了兼容访问aws s3服务，在源码中会包含acs.amazonaws.com关键字的固定格式，SDK仅作常量使用，不会向该格式有其他处理，也不会对其访问。SDK会自动兼容该场景，
我可以上传同名对象到同一个文件夹中吗？ 可以上传，但上传后的对象可能会覆盖原有同名对象： 如果开启了多版本控制，上传对象时，OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。 如果未开启多版本控制，向同一个文件夹中上传同名的对象时，新上传的对象将覆盖原有的对象
对所有账号授予指定目录的读权限 场景介绍 当一个文件夹下的对象都需要授权所有账号访问权限时，可以通过桶策略配置授予所有账号访问文件夹内对象的权限。 配置须知 本案例预置的“目录只读”模板允许所有账号（所有互联网用户）对指定目录执行以下权限： GetObject：获取对象内容、获取对象元数据
给业务部门授予独立的资源权限 通常一个企业可能会分设多个业务部门，各业务部门之间的数据需要独立管理。在此场景下，可以考虑给各业务部门分配各自所需的IAM用户，通过桶策略给每个业务部门下的IAM用户授予独立的资源权限。 场景假设 假设某企业下有A和B两个不同的业务部门，希望各业务部门的数据存放在自己的桶中
分段上传-列举已上传的段(Python SDK) 功能说明 通过分段上传任务的ID，列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回您已为特定多段上传任务而上传的段信息。对于每个列举已上传的段请求，OBS将返回有关特定多段上传任务的分段信息
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
