检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载一个对象名较长的对象到本地后,对象名称改变 问题: 使用OBS管理控制台下载一个对象名较长的对象到本地后,为什么对象名称发生了改变? 原因: Windows操作系统下允许的文件名长度最大为255字符,包括文件名和扩展名在内。 当对象名称长度超过255字符时,将该对象下载到本地
新建文件夹 用户可通过OBS Browser+新建文件夹。 背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Che
application/json Content-Length: length Date: date json body 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 表1 请求消息元素 名称 是否必选 参数类型 说明 约束 rules 是 Array
在使用访问密钥AK和SK访问OBS过程中,AK和SK是否可以更换或多个用户共享? 可以。 在使用过程中,访问密钥AK和SK可以随时更换。 不同的用户使用相同的一对AK和SK可以同时访问OBS中的资源,且访问到的资源相同。 父主题: 数据安全、迁移和备份
计费模式 计费模式概述 按需计费 包年包月(资源包)
至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。 // securityToken
单击“确定”。 使用API 通过API创建文件夹,本质上来说是创建了一个大小为0且对象名以“/”结尾的对象。请参见使用API上传一个大小为0,名称以“/”结尾的对象。 使用SDK 通过SDK创建文件夹,本质上来说是创建了一个大小为0且对象名以“/”结尾的对象。请参见使用SDK上传一个大小为0,名称以“/”结尾的对象。
SECRET_ACCESS_KEY, // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入 // security_token:
设置桶清单 功能介绍 OBS使用PUT操作为一个桶配置清单规则,每个桶最多可以配置10条清单规则,有关更多桶清单的介绍和使用限制,请参考《对象存储服务用户指南》的桶清单章节。 要使用此操作,需确保执行者有PutBucketInventoryConfiguration操作的权限 。
服务器成功返回用户请求的数据。 4xx 客户端发出的请求有错误,服务器没有进行新建或修改数据的操作。 5xx 服务器发生错误,用户将无法判断发出的请求是否成功。 注:请使用符合https://www.ietf.org/rfc/rfc2616.txt规定的HTTP/HTTPS请求格式发送API请求。 父主题: 附录
只要通过互联网下载OBS的数据,无论是否成功,均会产生公网的流量。 下载低频访问存储、归档存储和深度归档存储类别的对象产生的公网流出流量,将无法使用公网流出流量包进行抵扣。 跨区域复制流量 使用跨区域复制功能将源桶数据复制到另一个区域的目标桶时所产生的流出流量。 CDN回源流量 通过华为云CDN下载OBS 3
环 案例1:使用Data+内置函数触发“无限循环” 用户创建一条Data+工作流workflowA,在工作流中使用了内置的“媒资转码”函数,且配置“媒资转码”函数的转码输出桶为target-bucket。用户创建一条Data+工作流workflowB,在工作流中使用了内置的“媒资
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 在OBS中,用户操作的基本数据单元是对象。OBS PHP SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传 流式上传
Authorization: authorization string 请求参数 该请求消息中不使用请求消息参数。 请求消息头 该请求使用公共消息头,具体参见表3。 请求消息元素 此请求消息中不使用消息元素。 响应消息样式 1 2 3 4 5 6 7 8 9 10 11
SECRET_ACCESS_KEY, // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入 // security_token: