检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
设置CDN加速后,处理过的图片存储在哪里? 用户通过CDN访问图片处理服务,CDN会对处理后的图片做缓存,此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时,由CDN直接返回处理后的效果,不会再次访问图片处理服务,也不会对此次图片处理请求进行计费。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击创建资源中创建的
界面提示“没有权限登录” 使用账号登录时,界面提示“获取用户的Token失败” 使用账号登录时,界面提示“账号或者密码错误” 定时上传是否采用增量 如何永久分享文件或文件夹 如何访问指定桶或指定目录 目录分享是否支持分享后取消分享 是否支持统计文件夹内的文件数目及大小 如何解决DNS
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略名称
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS
同样出于安全考虑,华为云OBS桶访问域名通过DNS解析的IP地址是会发生变化的,所以用户无法获取某个桶长期有效的固定IP地址。 此时,可以通过在ECS上搭建Nginx反向代理服务器,来实现通过固定IP地址访问OBS。
在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。 父主题: 产品咨询
桶的加速域名 加速域名是使用了CDN(Content Delivery Network,内容分发网络)加速的自定义域名。在使用自定义域名访问桶内对象时,CDN可以提供网站加速、文件下载加速和点播加速,提升终端用户使用感受。更多加速域名相关信息请参见通过CDN加速域名访问桶。
DualStackPlainSocketImpl.java:85) 此类错误一般有三种原因: 初始化ObsClient时传入的Endpoint有误,解决方法:检查Endpoint,确保正确; 客户端到OBS服务端的网络异常,导致无法访问,解决方法:检查客户端到OBS服务端的网络健康状况; DNS
CDN下载简介 在OBS控制台上配置用户域名绑定和CDN加速,配置成功后,OBS Browser可查询到该配置记录。然后在OBS Browser上启用CDN下载,以实现在OBS Browser上下载对象时,从CDN加速节点获取,提高下载速度。
方式一:修改VPC子网DNS地址 确定ECS所在VPC,并修改VPC子网的DNS服务器地址为内网DNS地址后,可以使整个VPC内的ECS都通过内网DNS进行解析,从而访问在华为云内网的OBS服务。详细操作请参见修改子网网络信息。
备选DNS服务器地址:是在首选DNS服务器出现故障、不可用或无法解析请求的域名时使用的DNS服务器,因此您可以设置为华为云内网DNS服务器的地址。 确认已经是内网访问OBS 具体方法请参见如何判断是否内网访问OBS?
同样出于安全考虑,华为云OBS桶访问域名通过DNS解析的IP地址是会发生变化的,所以用户无法获取某个桶长期有效的固定IP地址。 此时,可以通过在ECS上搭建Nginx反向代理服务器,来实现通过固定IP地址访问OBS。
必须保证此自定义域名通过DNS能够正确解析到OBS服务。 请求消息样式 1 2 3 4 5 6 7 PUT /?