检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
示例:n58IG6hfM7vqI4K0vnWpog== 是 请求消息元素 在此请求中,需要在请求的消息体中配置桶的归档存储对象直读状态,配置信息以XML格式上传。具体的配置元素如表2所示。 表2 桶的归档存储对象直读状态配置元素 名称 描述 是否必选 DirectColdAccessConfiguration
SECRET_ACCESS_KEY, // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入 // SecurityToken: process
*response, NSError *error) { NSLog(@"%@",response); }]; 列举段至多返回1000个段信息,如果指定的Upload ID包含的段数量大于1000,则返回结果中response.isTruncated为YES表明本次没有返回全部段,并可通过response
桶概述 桶(Bucket)是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。 每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。
result.getUploadId(); Log.i("CopyPart","\t"+ uploadId + "\n"); // 获取大对象信息 ObjectMetadata metadata = obsClient.getObjectMetadata(sourceBucketName
我的数据存在OBS中,如何保证安全性? OBS是非常安全的,提供端到端的安全服务。 保证数据正确性:系统会定期对数据做扫描,仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),且不会读取数据的具体内容。 防止数据被盗用: 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥
桶 桶(Bucket)是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。 每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。
执行批量任务时,针对常见的网络问题如timeout、EOF等,建议通过增量操作(cp命令中的-u参数)进行重试;同时也可以根据失败的批量任务最终输出的taskID信息,通过恢复失败任务(cp命令中的-recover参数)实现对失败任务的重试; 父主题: 最佳实践
}]; ACL中需要填写的所有者(Owner)或者被授权用户(Grantee)的ID,是指用户的账号ID,可通过OBS控制台“我的凭证”页面查看。 获取对象访问权限 您可以通过getObjectACL获取对象的访问权限。以下代码展示如何获取对象访问权限: static OBSClient
name="AccessKeyId" value="*** Provide your access key ***"/> <!-- 签名串信息 --> <input type="hidden" name="signature" value="*** Provide your signature
跨域资源共享简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 跨域是指不同域名之间相互访问。跨域访问是浏览器出于安全考虑而设置的一个限制,即同源策略。 由于JavaScrip
跨域资源共享简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 跨域是指不同域名之间相互访问。跨域访问是浏览器出于安全考虑而设置的一个限制,即同源策略。 由于JavaScrip
(包括公网和内网带宽一共16Gbit/s)。如果带宽达到该阈值,请求会触发流控。 如果用户购买的虚拟机网卡带宽低于16Gbit/s,那么节点带宽会先受虚机带宽限制,需要购买多台虚拟机并发运行才能达到16Gbit/s的带宽。 上传下载速率还受磁盘io及是否有其它进程抢占资源的影响。
r文件夹下的对象,“testprefix*”为指定前缀为testprefix的对象。 授权操作 动作范围:自定义配置 选择动作:详细的动作信息请参见桶策略参数说明。 说明: 如果“授权资源”仅选择“整个桶(包括桶内对象)”,可选择配置“通用动作”、“桶动作”和“对象动作”。 如果
name="AccessKeyId" value="*** Provide your access key ***"/> <!-- 签名串信息 --> <input type="hidden" name="signature" value="*** Provide your signature
HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。
您也可以通过配置桶的默认加密方式来对桶内的对象进行加密。在为桶配置默认加密后,对于任何不带加密头域的上传对象的请求,将使用桶的默认加密配置进行加密。有关桶的加密配置的更多信息请参考设置桶的加密配置章节。 表1 SSE-OBS方式使用的头域 名称 描述 x-obs-server-side-encryption 使
编码,发送编码后数据。如您设置的值 content-disposition 为“attachment; filename="中文.txt"” ,则对象元数据中存储的信息为“attachment; filename="%E4%B8%AD%E6%96%87.txt"”。使用浏览器访问时浏览器将会自动解码。 如果不需要
购买时长仅支持指定15年。15年时长的存储资源包由于系统原因将会分为3个5年时长的资源包,但不影响使用,即0-5年时使用第一个5年资源包,以此类推。 OBS提供的以下资源包也同时支持并行文件系统: 表2 并行文件系统资源包说明 资源包 作用 使用限制 标准存储包(单AZ) 用于抵扣单AZ并行文件系统产生的标准存储数据容量费用。