检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。 例如需访问区域为“华北-北京四”的桶名为“testbucket”中“test”文件夹下对象名为“test.
配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下: 表1 常
使用OBS SDK上传超过5GB的大文件失败 Java SDK报错okhttp3.RequestBody.create(java.lang.String,okhttp3.MediaType) PUT上传和POST上传有什么区别? 追加上传对象是否支持并发场景下的锁机制? 签名不匹配(Si
对应的断点记录文件恢复任务。 r 附加参数,上传文件夹时必选 多文件上传时可选 递归上传文件夹中的所有文件和子文件夹。 f 附加参数,多文件/文件夹上传或上传文件夹时可选 强制操作,不进行询问提示。 j 附加参数,多文件/文件夹上传或上传文件夹时可选 上传文件夹时批量任务的最大并
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下: 表1 常
流式上传:使用包含“read”属性的可读对象作为对象的数据源。 文件上传:使用本地文件作为对象的数据源。 分段上传:对于较大文件上传,可以切分成段上传。 追加上传:对同一个对象追加数据内容。 断点续传上传:对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。 基
分段上传简介(Python SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下: 表1 常
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下: 表1 常
分段相关接口说明(Go SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient
满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
参数类型 是否必选 描述 logFullPath string 必选 日志文件的全路径。 maxLogSize int64 必选 日志文件大小,单位:字节。 backups int 必选 最大可保留的日志文件个数。 level Level 必选 日志级别。 logToConsole
回答 请删除C盘用户目录AppData\Local下的obs文件夹以清理OBS Browser的数据,然后再重新登录OBS Browser,重新设置OBS Browser的相关信息。如果您想保留账号信息,再删除obs文件夹前,将文件里面的accounts、setting和temp另存。再次打开OBS
分段上传的主要目的是解决大文件上传或网络条件较差的情况。 通过使用UploadPartRequest.setOffset和UploadPartRequest.setPartSize来设置每段的起始结束位置。 下面的示例代码展示了如何使用分段上传并发上传大文件。 1 2 3
上传对象-流式上传(Python SDK) 功能说明 通过SDK的流式上传,可以上传小于5GB的文件。本章节介绍如何使用python SDK流式上传对象。 流式上传使用包含“read”属性的可读对象作为对象的数据源,以网络流或文件流方式上传数据到指定桶。 接口约束 您必须是桶拥有者或拥有上传对象的权限,
勾选“MD5校验”,如图3所示。 图3 配置MD5校验 单击“确定”。 选择待上传文件的桶,上传文件。 如果MD5校验成功,则文件上传成功。 如果MD5校验失败,则文件上传失败,且在任务管理中提示失败原因:校验文件MD5失败。 方式三:使用OBS SDK校验上传对象的一致性 OBS提供J
标准存储访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。 前提条件 已获取访问密钥(AK和SK),具体操作请参见资源准备。
打包成一个日志文件。日志文件存放位置需要在开启桶日志功能时指定,可以存放到开启日志功能的桶中,也可以存放到其他您有权限的桶中,但需要和开启日志功能的桶在同一个region中。您还可以根据需要配置日志文件的访问权限,以及日志文件的文件名前缀。 接口约束 由于日志文件是OBS产生,并