检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不能与自己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 当创建桶提示“另外一个冲突的操作当前正作用在这个资源上,请重试。”或“A conflicting operation
OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 目前接口仅在并行文件系统支持,普通对象并行文件系统不支持,如何创建并行文件系统请参考创建并行文件系统(Java SDK)。 方法定义 obsClient.renameObject(RenameObjectRequest
下载OBS Browser+ 针对不同操作系统,OBS Browser+下载地址如表1所示。 表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48d
如何解决DNS解析失败 该问题属于网络问题,需要借助日志详情文件帮助定位。打开日志文件obssdk.log文件,查看最近日志,可看到关键报错信息如下所示: 可按照以下步骤排查解决问题: 检查本地DNS服务器是否填写有误,查看windows平台的DNS服务配置步骤如下。 在 "控制面板"
下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
如果待下载的对象名匹配该参数,则跳过该对象的复制; 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果; 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对
败而产生的。 OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 父主题: 碎片管理
CDN节点,加速域名还需要到工信部备案,详见备案流程。 全球 中国大陆境外 如果您仅选择中国大陆境外,所有用户的访问都会调度到中国大陆境外的节点,此时不需要到工信部备案。 全球 如果您选择全球,全球各地用户的访问都会调度到附近最优的CDN节点,加速域名需要到工信部备案,详见备案流程。
列举分段上传任务示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举上传任务操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1.txt
config命令配置源桶对应账号的AK、SK及endpoint信息: Windows操作系统 obsutil config -i=src_ak -k=src_sk -e=src_endpoint -crr Linux操作系统 ./obsutil config -i=src_ak -k=src_sk
需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
lue3。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
按需计费模式下各计费项的具体价格,请参见产品价格详情。您可以通过OBS提供的价格计算器,根据您的业务诉求,来快速计算出购买OBS的参考价格。 如果需要计算每小时产生的费用,则需要将资源单价转换为以小时计费。如标准存储(单AZ)单价为0.0990元/GB/月,则每小时的单价为:0.0990元/GB/月*(1/24)*(1/30)=0
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。
在PUT,POST请求中,需要配置存储类型时设置此参数。 标准存储:OBS_STORAGE_CLASS_STANDARD 默认值 token 临时访问密钥的SecurityToken。 NULL - bucket_type 创桶时,指定是对象桶还是并行文件系统 对象桶:OBS_BUCKET_OBJECT
快速使用 本章节以Linux操作系统为例,介绍如何通过obsutil在OBS上完成基本的数据存取操作,具体操作流程如图1所示。 图1 obsutil快速使用流程 前提条件 已获取到obsutil工具,并完成了初始化配置。 已进入obsutil工具所在目录。 操作步骤 运行./obsutil
GET:请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT:请求服务器更新指定资源,如创建桶、上传对象等。 POST:请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器返回指定资源的概要,如获取对象元数据等。
上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3 └──
所示。 图1 恢复对象 恢复对象需要设置对象的有效期和恢复速率,参数解释如表1所示: 表1 恢复对象 参数 说明 对象名 恢复的对象名。 有效期 对象恢复后,保持为“已恢复”状态的时间。从对象恢复完成开始计时。有效期时间可设置1-30天的整数。系统默认有效期为30天。 例如:恢复
取消多段上传任务 √ - 并行文件系统权限配置 并行文件系统的权限配置与对象存储权限配置应用场景与主要功能一致,更多信息可参照权限配置指南。 与对象桶权限配置的主要差异说明 需要精确匹配指定目录时,策略中的资源路径需要以“/”结束。因为并行文件系统做权限检查时,判断被检查对象为目录