检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚拟私有云和子网,详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”,选择“关联sfsturbo”。
象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 断点续传上传的原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在断点续传记录对象中,仅当所有分段都上传成功时返回上传成功的结果,否则在回调函数中返回错误码提醒用户通过传入断点续传记录对象再次调用接口进行重新上传。
图片瘦身是对图片压缩功能的简化,操作原理为输出绝对质量为75%的图片。无需配置参数,通过操作命令即可完成图片瘦身。 操作名称:imageslim 仅支持对jpg格式的图片进行瘦身。 建议在其他图片处理操作后再进行图片瘦身。 示例 先将图片缩略为高和宽均为100,再对缩略后的图片进行瘦身。 原图:https://e-share
count 失败的任务数。 Skip count 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败的也可能是成功的,需要根据成功或失败的结果清单进一步判断。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据
例如,系统中已存在指定前缀名为“abc”的规则,则不允许再配置指定前缀包含“abc”字段的规则。 如果已存在按前缀配置的生命周期规则,则不允许再新增配置到整个桶的规则。 如果已存在配置到整个桶的生命周期规则,则不允许再新增按前缀配置的规则,此时界面的“创建”按钮会变成灰色,表示不可操作。
OBS提供了服务端加密功能,用户可以使用加密的方式上传对象,数据会在服务端加密成密文后存储。用户下载加密对象时,存储的密文会先在服务端解密为明文,再提供给用户。 OBS提供的多种访问方式中,对于对象加密上传的支持情况不同,具体如表1所示。 表1 对象加密上传在不同访问方式下的支持情况 访问方式 是否支持对象加密上传
如何访问或下载已加密的对象? 对象加密的方法 方法一:配置桶服务端加密后,上传到桶中的所有类型对象(如视频、音频等)都会自动使用指定的加密方式和密钥类型进行加密。 方法二:上传对象时指定加密方式和密钥类型进行加密上传。 访问或下载已加密的对象 对象指定SSE-OBS加密后,开启公共读的匿名访问权限后可以直接访问对象。
READ_ACP 读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 PERMISSION_WRITE_ACP WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。
出现“客户端与服务器的时间相差15分钟”的报错 问题: 使用OBS时出现报错“客户端与服务器的时间相差大于15分钟”或“The difference between the request time and the current time is too large”。 原因:
包,赠送的请求次数也会叠加。如果您的包月资源包进行了升配,赠送的请求次数也会进行升级,剩余请求次数=升配后的请求次数-原来已使用的请求次数。 除了服务端返回的状态码为5XX或403错误的请求外,其余的请求均会计入请求次数。 举例 示例一 以上传对象为例,对一个对象或者段的每一次操
</ListBucketCustomDomainsResult> 响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该响应以消息元素的形式返回桶的自定义域名,元素的具体意义如表1响应消息元素所示。 表1 响应消息元素 元素名称 描述 ListBucke
拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。 例如对象是一个mp4格式的视频文件,则设置ContentType为“video/mp4”;对象是一个jpg格式的图片文件
如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文件夹中的对象大小均匀。可能原因为数据已经下载完成,但是在写入磁盘时产生排队现象,造成显示下载变慢的假象,请客户排查客户端的写入速率等问题。 父主题: OBS Browser+和obsutil等工具相关
桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。 对象数量 桶中存储的对象数量。 多AZ 多AZ功能的状态。 开启多AZ后,数据冗余存储至多个AZ中。
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
S会收取相应的费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据处理费用 图片处理 被处理的原图片的实际大小。 具体请参见图片处理如何收费? 按需计费 产品定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务”的内容。 计费示例 以下示例中出现的费用价格仅供参
OBS支持使用HTTPS协议访问吗? OBS对HTTPS的支持情况如下: OBS桶域名:支持,在浏览器中将桶或对象的URL的http替换成https即可。 OBS自定义域名:暂不支持,如需使用请提交工单。 开启CDN加速后的OBS加速域名:支持,开启CDN加速后可通过CDN管理控