检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
桶的基本操作 本章介绍对桶的一系列管理操作。 创建桶 搜索桶 查看桶的基本信息 碎片管理 删除桶
是否可以同时装两个不同站点的OBS Browser+工具? OBS Browser+与OBS Browser的不同之处? OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗? 为什么我运行了百万级别的任务后,感觉任务执行较慢? 为什么OBS Browser+上
安装OBS Browser+ 操作步骤 单击OBS Browser+工具的下载链接下载该工具。 解压下载的软件包。 运行“obs-browser-plus Setup xxx.exe”完成OBS Browser+工具安装。“xxx”为OBS Browser+工具的版本号。 在开始
最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理
勾选“启用”后单击“确定”,启用目标桶中对象的多版本控制。 关于多版本控制的更多介绍以及操作指导,请参见多版本控制。 更新静态文件 登录OBS管理控制台。 在桶列表中单击待操作的桶,进入对象页面。 单击“上传对象”,或选择待更新文件所在文件夹后单击“上传对象”。 图13 上传对象 添加待上传文件。 不可加密上传静态网站文件。
数据导入导出异步化,不占用训练任务时长,无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
其他参数保持默认,单击“上传”。 右侧自动弹出任务中心页面,可在任务中心查看对象上传状态。上传成功的对象将在对象列表中展示。 步骤三:下载对象 当对象上传至桶后,您可以将对象下载至浏览器默认保存路径或本地指定路径。 在对象列表页,找到已上传的对象。 下载对象。 下载单个对象 单击待下载对象右侧操作列的“下载”,将对象下载至浏览器默认保存路径。
通过Browser+下载文件或文件夹 通过obsutil下载对象 使用方式 OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式下载对象。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 下载对象。 下载单个对象
桶的基础操作 获取桶列表 创建桶 列举桶内对象 获取桶元数据 获取桶区域位置 删除桶 父主题: API
下载对象 下载对象简介 流式下载 范围下载 限定条件下载 重写响应头 获取自定义元数据 下载归档存储对象 断点续传下载
下载对象 对象下载 限定条件下载 下载归档存储对象 断点续传下载 图片处理
上传下载速率还受磁盘io及是否有其它进程抢占资源的影响。 如果您想提升上传、下载速率,可考虑配合VPCEP终端节点使用OBS,如何使用请参见使用VPCEP访问OBS,配合使用优点如下: 在访问对象存储时会选择更优的流量路径,能支持更大的峰值带宽。 可以支持配置VPC访问配置,提升对象存储访问的安全性。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
工作流实例管理 查询工作流实例列表(Python SDK) 查询工作流实例(Python SDK) 恢复失败状态的工作流实例 父主题: 服务编排接口(Python SDK)
AbstractFileSystem.obs.impl org.apache.hadoop.fs.obs.OBS 是 - fs.obs.endpoint 无 是 华为云OBS的终端节点(Endpoint)。 fs.obs.access.key 无 是 华为云的AK(Access Key
OBS数据安全 OBS安全配置建议 减少因误操作导致的数据丢失风险
在服务列表中选择“对象存储服务 OBS”,进入OBS主界面,如果能显示账号下的桶列表,单击任意桶名称获取桶基本信息,但无法执行创建删除桶等其他操作,表示“Tenant Guest”已生效。 进入OBS桶后,在对象列表能显示桶中对象,可以下载对象,但无法执行上传删除对象等其他操作,表示“Tenant
SDK) 分段上传简介(Python SDK) 分段上传-初始化上传段任务(Python SDK) 分段上传-上传段(Python SDK) 分段上传-列举已上传的段(Python SDK) 分段上传-列举分段上传任务(Python SDK) 分段上传-合并段(Python SDK)
他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中,也可以在对象存储服务OBS之间进行灵活的数据迁移。 使用对象存储迁移服务,您只需在控制台填写源端OBS数据信息和目的端OBS数据信息,并创建迁移任务或创建迁移任