检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行显示。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 func (obsClient ObsClient) SetBucketWebsiteConfiguration(input
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
示例:n58IG6hfM7vqI4K0vnWpog== 默认取值: 无 cache_control char * 必选 参数解释: 指定对象被下载时的网页的缓存行为。 约束限制: 无 取值范围: 参见HTTP标准头域Cache-Control的取值。 默认取值: 无 content_disposition_filename
此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。
见使用IAM自定义策略、自定义创建桶策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 方法定义 obsClient.headBucket(String bucketName) 请求参数说明 表1 请求参数列表 参数名称 参数类型
OBS_BUCKET_PFS 并行文件系统。 表8 obs_bucket_list_type 枚举值 说明 OBS_BUCKET_LIST_ALL 列举所有桶。 OBS_BUCKET_LIST_OBJECT 列举所有对象桶。 OBS_BUCKET_LIST_PFS 列举所有并行文件系统。 表9 temp_auth_configure
修改写对象 功能介绍 修改写对象操作是指将指定文件桶内的一个对象从指定位置起修改为其他内容。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?modify&position=Position HTTP/1
截断对象 功能介绍 截断对象操作是指将指定文件桶内的一个对象截断到指定大小。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?truncate&length=Length HTTP/1.1 Host:
户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 当创建桶提示“另外一个冲突的操作当前正作用在这个资源上,请重试。”或“A conflicting
示例:n58IG6hfM7vqI4K0vnWpog== 默认取值: 无 cache_control char * 必选 参数解释: 指定对象被下载时的网页的缓存行为。 约束限制: 无 取值范围: 参见HTTP标准头域Cache-Control的取值。 默认取值: 无 content_disposition_filename
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下: 表1 常
分段上传简介(Python SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下: 表1 常
分段相关接口说明(Go SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(ObsClient
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下: 表1 常
概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 ObsClient.getBucketLifecycle(params) 请求参数 表1 BucketRequestInput
见使用IAM自定义策略、自定义创建桶策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 方法定义 obsClient.getBucketQuota(String bucketName) 获取桶配额请求参数说明 表1 请求参数列表
OBS中的桶归属于某个区域,这个区域是您在创桶时选定的,桶一旦创建,其归属区域信息不能改变。您可以根据地理位置、成本、满足法规要求等标准来选择桶的区域。可以选择的区域请参见终端节点。 可用区 一个可用区(AZ)是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个