检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.HeadObject来判断指定的对象是否存在。 代码示例如下所示: // 初始化配置参数 ObsConfig
本节介绍在完成SDK的下载和安装后,如何快速上手使用OBS的基础功能,完成创建桶、上传下载对象、列举对象和删除对象。 入门准备 使用SDK管理OBS资源,您需要先完成以下几项准备工作: 使用前须知(Java SDK):了解并选择合适的SDK版本。 使用前准备(Java SDK):完成服务环境和开发环境准备。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo
形式进行下载。单位:MB,默认为50MB。 说明: 需要取消勾选“自动调整大小”功能。 对于分段下载取值范围是 9M~5GB。 通常情况下使用分段任务不仅能提高传输效率,还能实现失败任务的断点续传。默认情况下,分段任务的段大小可以勾选“自动调整段大小”自动调整。但在实际操作中,为
方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Che
更多创建桶的信息,请参见创建桶。 创建桶时,如果使用的终端节点归属于默认区域华北-北京一(cn-north-1),则可以不指定区域;如果使用的终端节点归属于其他区域,则必须指定区域,且指定的区域必须与终端节点归属的区域一致。当前有效的区域名称可从这里查询。 您可以使用带参数创建方式,在创建桶时,指定桶的区域位置,详情请参考创建桶
如果设置的server不带协议类型,则默认使用HTTPS协议。 如果启用了长连接模式,使用完OBS客户端后必须调用ObsClient.close方法显式关闭,回收连接资源。 出于DNS解析性能和OBS服务可靠性的考虑,不允许将server设置为IP,必须使用域名访问OBS服务。 配置SDK代理请参见配置SDK代理(Node
在使用访问密钥AK和SK访问OBS过程中,AK和SK是否可以更换或多个用户共享? 可以。 在使用过程中,访问密钥AK和SK可以随时更换。 不同的用户使用相同的一对AK和SK可以同时访问OBS中的资源,且访问到的资源相同。 父主题: 数据安全、迁移和备份
口参考文档详细介绍了每个接口的参数和使用方法。 OBS客户端(ObsClient)是访问OBS服务的.NET客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。使用OBS .NET SDK向OBS发起
区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随机前缀对象名,这样请求就会均匀分布在多个分区,达到水平扩展的效果。
上传文件或文件夹 背景知识 OBS Browser使用分段上传功能上传文件。通过分段上传功能,OBS Browser支持上传最大为48.8TB的单个文件。 OBS Browser支持断点续传。当上传任务暂停或者失败,重新启动上传任务,根据任务记录的分片信息,已上传成功的分片不会再次上传,会请求上传其他的分片。
)。 禁止两个英文句号(.)或英文句号(.)和中划线(-)相邻,禁止以英文句号(.)和中划线(-)开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号(.),使用虚拟主机方式HTTPS访问OBS,会导致证书校验失败。 由于通过URL访问桶时,桶名会作为URL的一部分,根据DNS
如果您需要在华为云的弹性云服务器(ECS)上使用obsutil,您可以参考在Linux ECS上使用obsutil通过内网访问OBS,配置内网访问以节省流量费用。 相关参考 如何快速使用obsutil请参见快速使用章节。 如何借助obsutil的命令行进一步熟悉工具使用方法,请参见利用obsutil帮助命令查找工具功能章节。
分段上传(Java SDK) 分段上传概述(Java SDK) 初始化分段上传任务(Java SDK) 上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务(Java
您必须是桶拥有者或拥有判断桶是否存在的权限,才能判断桶是否存在。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:HeadBucket权限,如果使用桶策略则需授予HeadBucket权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。
费用。 使用图片处理的方式 您可以使用两种方式访问图片处理。 通过管理控制台查看OBS中图片使用相应图片样式模板的图片预览效果。 用户可以在管理控制台图片处理界面通过按钮或编辑代码操作创建图片样式模板,在图片预览区域预览图片使用相应样式模板的效果,通过复制链接按钮获取使用样式后的图片URL进行使用。