检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
取值范围: 支持两种格式的密钥描述方式: regionID:domainID(租户ID):key/key_id key_id 其中: regionID是使用密钥所属region的ID,可在地区和终端节点页面获取; domainID是使用密钥所属账号的账号ID,获取方法参见如何获取账号ID和用户ID
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
error->further_details) { printf("Error further_details: \n %s\n", error->further_details); } if (error && error->extra_details_count)
Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
取值范围: 无 默认取值: 无 further_details const char* 参数解释: 错误响应消息体XML中的FurtherDetails元素的值。 约束限制: 无 取值范围: 无 默认取值: 无 extra_details_count int 参数解释: 错误响应消息体XML中的其他元素的数量。
创建并行文件系统。 不支持控制台设置并行文件系统的自定义域名,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。 暂不支持服务端加密 暂不支持跨区域复制 暂不支持多版本控制 暂不支持配置桶清单 暂不支持配置静态网站托管
恢复”。 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名在线预览桶内对象,即使用分享链接从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。解决方案请参考:如何在浏览器中在线预览OBS中的对象? 父主题: 对象操作
设置桶的自定义域名配置 setBucketCustomedomain × × × × × × 获取桶的自定义域名配置 getBucketCustomdomain × × × × × × 删除桶的自定义域名配置 deleteBucketCustomdomain × × × × × × 对象相关接口 PUT上传对象
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
如果您在填写加速域名时,需要OBS控制台为您呈现已有华为云域名,便于您在下拉列表中直接点选,则您需要拥有域名注册服务(Domains)的Domains:domains:getDetails权限,请联系管理员使用统一身份认证服务(IAM)为您授权。 请填写可以正常使用的域名。 支持一次性添加5个域名。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
流式上传(PUT上传) 使用场景 如果待上传的文本文件、图片、视频等资源小于5GB,您可以选择流式上传,即PUT操作的方式将对象上传到桶中。 PUT上传中参数通过请求头域传递,上传需在URL中指定对象名,请求行为如下所示: PUT /ObjectName HTTP/1.1 虽然O
件进行上传,如果超过此限制,建议将多个文件放在文件夹中,然后使用“添加文件夹”功能进行上传。 如果上传文件时弹出“Service Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。 如果上传文件或文件夹时弹出拒绝访问的错误提示,则有可能是如下几种情况导致的:
创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, endPoint); // 上传图片 ObjectMetadata metadata = new ObjectMetadata(); metadata.setContentType("image/jpeg");
流式上传(PUT上传) 使用场景 如果待上传的文本文件、图片、视频等资源小于5GB,您可以选择流式上传,即PUT操作的方式将对象上传到桶中。 PUT上传中参数通过请求头域传递,上传需在URL中指定对象名,请求行为如下所示: PUT /ObjectName HTTP/1.1 虽然O
默认取值: 无,如果不设置则默认指定最新版本的对象。 ImageProcess string 可选 参数解释: 图片处理参数,描述针对对象的图片处理命令或处理样式。例如如果想表示对图片依次进行缩放、旋转,取值:image/resize,m_fixed,w_100,h_100/rotate
处理: 修改对象元数据,如ContentDisposition、ContentLanguage等。 对存储在OBS中的图片进行处理,详情请参考《对象存储服务图片处理特性指南》。 对于修改中的追加写对象的场景,OBS提供了追加写功能,详情请参考API文档:追加写对象。 父主题: 桶和对象相关
48 49 50 package main import ( "fmt" "os" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" ) func main() { //推荐通过环境