检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使
删除桶 用户可根据需要删除已创建的桶。 前提条件 待删除的桶为空。 只有桶的所有者才能删除桶。 删除桶之前必须确保桶内的对象已全部删除,并且桶内没有未完成的多段上传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。
o代码,include,和lib的demo包(包名为sdk.tgz)。 Windows下: 使用visual studio打开source/eSDK_OBS_API/eSDK_OBS_API_C++/sln/vc100/下的sln工程,生成obs项目,即可在输出目录(可在工程属性中查看)生成huaweisecurec
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
如何获取对象URL?(Java SDK) 将桶中的对象权限设置为匿名用户读取权限后,可通过对象的URL直接下载该对象。获取对象URL的方式如下: 方式一,接口查询,ObsClient上传对象后会返回PutObjectResult对象,通过调用该对象的getObjectUrl接口可获取上传对象的URL。示例代码如下:
如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
workflowClient.close() 相关链接 关于恢复失败状态的工作流实例的API说明,请参见恢复失败状态的工作流实例。 恢复失败状态的工作流实例过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 服务编排接口(Python SDK)
OBS服务端错误码 在向OBS服务端发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。详细的错误码及其对应的描述和HTTP状态码参见OBS API错误码。 父主题: 异常处理(Go SDK)
异常处理 OBS服务端错误码 SDK自定义异常 SDK公共响应头 日志分析
异常处理 OBS服务端错误码 SDK自定义异常 SDK公共响应头 日志分析 缺少类错误 连接超时异常 资源无法释放 签名不匹配异常 报错NetworkOnMainThreadException
异常处理 OBS服务端错误码 SDK错误处理 日志分析 签名不匹配异常 HTTP状态码报405
为什么OBS存储的数据丢失了? 请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。如果您开启了日志记录功能,可以通过日志记录查询到删除对象的用户。 父主题: 产品咨询
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。 方式一,通过配置文件.obsutilconfig中的proxyUrl参数,示例:proxyUrl=http://username:password@your-proxy:8080; 方式二,通过系统环境变
test3.txt 基于以上桶内对象和本地文件夹的格式,不同场景下同步下载的示例如下: 同步bucket-test的src1文件夹中的所有文件和文件夹至本地已存在的src1文件夹中,同步命令如下: ./obsutil sync obs://bucket-test/src1 /src1
<1MB),且需要频繁访问数据的业务场景。 WARM 低频访问存储 参数解释: 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 COLD 归档存储 参数解释: 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。 DEEP_ARCHIVE
OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式分享对象。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 选中待分享的文件,并单击右侧的“分享”,系统弹出如图1所示对话框。
单击“增加”,输入挂载者的账号ID,勾选桶的读取权限和写入权限。 如果您是对所有用户开放权限,则在“公共访问权限”中为“匿名用户”授权桶的读取和写入权限。 单击“保存”。 验证 登录OBS Browser。 单击页面左上方“添加桶”,弹出“添加桶”对话框。 设置“方式”为“添加外部桶”
生成对象的下载链接 功能说明 生成指定桶内对象的下载链接,或按对象名前缀批量生成桶内对象的下载链接。 命令结构 Windows操作系统 生成单个对象的下载链接 obsutil sign obs://bucket/key [-e=300] [-config=xxx] [-endpoint=xxx]
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤