检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限
配,只需要复制并运行上方提供的命令,直接下载即可。 您也可以在一台Windows计算机上下载到软件包后,通过常见的跨平台传输工具(比如WinSCP)传输至您的Linux运行机。 在软件包所在目录,执行以下解压命令。 tar -xzvf obsutil_linux_amd64.tar
本章节介绍如何在华为云对象存储服务OBS之间进行跨账号、跨地域、以及同地域内的数据迁移。 使用备份软件实现本地数据备份至OBS 本章节描述了备份本地数据至OBS的背景以及OBS支持的备份软件,并以Commvault备份软件为例,介绍了备份本地数据至OBS的基本流程。 在ECS上通过内网访问OBS E
值加密对象,加密完成后将加密后文件上传至 OBS,并将对应的初始值存储至对象元数据中。下载该对象时,用户需要提供对应的数据密钥,SDK 会自动获取保存在对象元数据中的初始值,使用数据密钥与初始值解密对象并返回。下载时如果提供了与加密时不同的数据密钥,SDK 也将返回不可用的解密后文件。
OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移
安装OBS Browser+ 操作步骤 单击OBS Browser+工具的下载链接下载该工具。 解压下载的软件包。 运行“obs-browser-plus Setup xxx.exe”完成OBS Browser+工具安装。“xxx”为OBS Browser+工具的版本号。 在开始
默认取值: 无 expires int 可选 参数解释: 表示对象的过期时间(从对象最后修改时间开始计算),单位是天。过期之后对象会被自动删除。 约束限制: 此字段对于每个对象支持上传时配置,也支持后期通过修改元数据接口附带头域x-obs-expires修改。 取值范围: 大于0的整型数,单位:天。
OBS支持ZIP包上传后自动解压并存放在指定目录。 当您需要一次性上传大量的小文件时,可以将所有文件打包成ZIP包,上传之后压缩包可以自动解压,省时省力。OBS批量上传文件时有一些限制,参见OBS批量上传文件。 成功创建在线解压策略后,您上传到OBS的ZIP包如果能匹配解压策略,则会自动解压。创建策略前已存在的ZIP包不受影响。
Browser+、obsutil)、主流备份软件、云存储网关或数据快递服务DES,备份至对象存储服务OBS。OBS提供生命周期功能实现对象存储类别自动转换,以降低存储成本。在需要时,可将OBS中的数据恢复到云上的灾备主机或测试主机。 同步客户端:适用于单数据库/程序场景,手工备份,成本最低 备份软件:适用于多应用、多主机场景,自动备份,兼容性强
用户ID?。 默认取值: 无 expires int 可选 参数解释: 表示对象的过期时间(从对象最后修改时间开始计算)。过期之后对象会被自动删除。 约束限制: 此字段对于每个对象支持上传时配置,也支持后期通过修改元数据接口附带头域x-obs-expires修改。 取值范围: 大于0的整型数,单位:天。
obsftp工具因FTP协议限制,单个客户端上传大量数据不会并发进行,因此如有大规模数据处理上云建议使用obsutil等工具或使用OBS SDK进行软件开发实现。 父主题: obsftp简介
每个任务的分段最大并发数,默认是3,取值范围是:1~50。 自动调整段大小 工具会根据源文件/对象大小自动设置每个分段任务的段大小,默认选中。 上传段大小 开启分段任务的阈值,如果待上传的文件大于该阈值,则采用分段任务的形式进行上传。单位:MB,默认为50MB。 说明: 需要取消勾选“自动调整大小”功能。 对于分段上传取值范围是
下载OBS Browser+ 针对不同操作系统,OBS Browser+下载地址如表1所示。 表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48d
在OBS绑定用户域名并配置CDN加速后,CDN会自动生成一条CNAME域名。通过在域名服务商处配置CNAME记录,将加速域名以CNAME方式指向CDN服务中对应的CNAME域名,域名解析生效后,该域名的所有请求都将转向CDN节点。本示例中自动生成的CNAME域名为“click.my-video
如果不通优先排查本地网络问题。 如果问题出现概率较大,且域名可以ping通的情况下,可以通过修改endpoint为http协议后采用抓包软件进行网络抓包,抓包后可以具体分析实际网络链路中是否存在丢包等问题从而针对性解决。 解决思路: 在网络不通的情况下优先解决本地网络问题;如需
上传对象或者初始化分段上传任务时,您可以使用Expires参数直接指定对象的过期时间。此方式仅支持设置以天为单位的对象过期时间,过期后的对象会被OBS服务端自动清理,其优先级高于桶生命周期规则。 代码示例一:上传对象 上传对象时,您可以直接指定对象的过期时间。代码示例如下: // 引入obs库 //
filename="%E4%B8%AD%E6%96%87.txt"”。使用浏览器访问时浏览器将会自动解码。 如果不需要 SDK 帮您编码,可以调用 PutObjectRequest.setIsEncodeHeaders(false) 关闭自动编码。如需使用该功能,请安装最新版本的SDK。 父主题: 上传对象
文件夹名称不能以英文句号(.)或斜杠(/)开头或结尾。 文件夹名称长度不能超过1023字节。(如果有上级目录,加上所有上级目录名长度(目录自动增加/),文件夹名总长度最大为1023字节)。例如:文件夹folder01的上级目录是folder02,文件夹名长度是按照folder02/folder01/的字节数计算的。
我可以上传同名对象到同一个文件夹中吗? 如果开启了多版本控制,上传对象时,OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。 如果未开启多版本控制,向同一个文件夹中上传同名的对象时,新上传的对象将覆盖原有的对象。 父主题: 桶和对象相关
obsfs适用于Linux操作系统,具体说明和操作指导如表1所示。 表1 获取obsfs的方式 方式 说明 适用的Linux发行版 操作指导 直接下载 直接下载官方提供的软件包,在Linux配置运行环境后即可使用obsfs。 Ubuntu 16、CentOS 7 下载并安装obsfs