检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
getErrorCode():OBS服务端错误码。 ObsException.getErrorMessage():OBS服务端错误描述。 ObsException.getErrorRequestId():OBS服务端返回的请求ID。 ObsException.getErrorHostId():请求的服务端ID。
桶内无对象,为什么还会产生存储费用? OBS的计费项之一是存储费用。桶中的对象、已删除对象和碎片均会占用存储空间,进而产生存储费用。 检查是否存在已删除对象 什么是已删除对象? 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
查询账单时,为什么会有大量的公网流出流量? 根据账单的使用量类型来区分,OBS的公网流出流量主要包含标准存储公网流出流量、低频访问存储公网流出流量、归档存储公网流出流量、深度归档存储公网流出流量。 这几种公网流出流量产生的流量费用来源如下: 标准存储公网流出流量:通过互联网下载标
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
在哪里可以获取AK和SK? IAM用户如果希望使用AK/SK访问OBS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在使用Browser+访问OBS时,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。
指定obsutil上传下载时进行限速 obsutil支持通过在配置文件.obsutilconfig中配置rateLimitThreshold参数实现对上传/下载操作进行限速。 参数具体描述可参考配置参数说明,默认不指定即不进行限速,此时具体的上传/下载速度取决于用户侧的实际网络带
批量任务进度条中出现问号的原因 问题原因: 在执行批量上传/下载任务时,如果目标目录包含大量的对象,由于要遍历所有对象才能统计该任务涉及的整体对象数目、大小等信息,因此在获取这些信息的过程中,进度条会以 ? 问号的形式进行展示。 解决办法: 待获取任务的整体信息后即会在进度条中展示相应任务信息。
处理图片持久化 图片处理持久化支持将处理后的图片同步存储至指定的OBS桶中,方便下次直接访问处理后的图片,减少图片处理花费的时间,提升用户体验。 图片处理持久化目前仅支持通过接口调用模式使用。在图片处理请求接口中,以参数名=参数值的格式,发送图片处理持久化请求,具体参数说明如表1所示。
配置对象锁定(WORM)防止对象被更改或删除 OBS提供WORM(Write Once Read Many)功能,即一次写入多次读取,实现对象在用户指定的时间段内不能被删除和篡改。目前OBS支持桶级和对象级的WORM功能,提供合规模式一种对象锁定模式。 使用场景 OBS提供合规模
创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页,选择“服务列表 > 存储 > 对象存储服务”。 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”,进入创建页面。 图1 创建并行文件系统 (可选)复制并行文件系统配置。
让IAM用户只能看到被授权的桶 场景介绍 本章节介绍如何通过企业项目为华为云账号下的某个IAM用户配置指定桶的权限,使其只能在控制台看到授权的桶并且拥有桶的指定权限,无法看到账号下的其他桶,实现桶资源的隔离。 本案例将指定IAM用户test-user只能在控制台看到名为examp
如何获取账号ID和用户ID?(Harmony SDK) 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,
生命周期管理简介(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS允许您对桶设置生命周期规则,实现自动转换对象的存储类别、自动淘汰过期的对象,以有效利用存储特性,优化存储空间。针对不同前缀的对象,您可以同时设置多条规则。一条规则包含:
OBS数据删除或覆盖后是否可以恢复? 华为云无法恢复您主动删除、覆盖、配置规则自动删除或服务协议到期自动删除的OBS数据,请您谨慎操作。 可能导致数据被删除或覆盖的场景: 通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式删除对象。详情请参见删除对象。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 要接入OBS服务,您需要拥有一组有效的访问密钥(AK和SK)用来进行签名认证。具体可参考OBS服务环境搭建。 获取AK和SK之后,可以通过创建OBS客户端,调用SDK接口。 获取
对象下载简介(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS Node.js SDK提供了丰富的对象下载接口,可以通过以下方式下载对象: 文本下载(Node.js SDK) 流式下载(Node
生成带授权信息的URL(Harmony SDK) 功能说明 通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,需要指定URL的有效期来限制访客用户的访问时长。 如果想授予其他用户对桶或
上传对象-获取上传进度(Python SDK) 支持获取上传进度的接口包括:流式上传、文件上传、上传段、追加上传和断点续传上传。 本示例用于通过设置回调函数来获取上传对象的进度。 示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15