检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS
ResponseCacheControl string 可选 参数解释: 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值: 无 ResponseContentDisposition string 可选 参数解释: 指定OBS返回请求中C
ResponseCacheControl string 可选 参数解释: 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值: 无 ResponseContentDisposition string 可选 参数解释: 指定OBS返回请求中C
ResponseCacheControl string 可选 参数解释: 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值: 无 ResponseContentDisposition string 可选 参数解释: 指定OBS返回请求中C
ResponseCacheControl string 可选 参数解释: 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值: 无 ResponseContentDisposition string 可选 参数解释: 指定OBS返回请求中C
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
显示。 默认取值: 无 cacheControl String 可选 参数解释: 响应中的Cache-Control头。指定对象被下载时的网页的缓存行为。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自
系统配置 本节介绍如何修改OBS Browser的各项配置。 操作步骤 登录OBS Browser。 在OBS Browser右上角,单击,并选择“系统配置”,系统弹出“系统配置”对话框,如图1所示。 图1 系统配置 单击“基本配置”,根据需要修改基本配置参数。 各参数含义如表1所示。
设置CDN加速后,处理过的图片存储在哪里? 用户通过CDN访问图片处理服务,CDN会对处理后的图片做缓存,此时处理后的图片存储在CDN。 当用户再次对该图片进行相同的处理时,由CDN直接返回处理后的效果,不会再次访问图片处理服务,也不会对此次图片处理请求进行计费。 父主题: 图片处理
在Windows ECS上使用OBS Browser+通过内网访问OBS OBSBrowser+是一款用于访问和管理对象存储服务的图形化工具,支持通过配置内网DNS服务器地址的方式,使在华为云上的Windows ECS通过内网直接访问OBS,下面将介绍具体操作流程和操作步骤。 O
ResponseCacheControl string 可选 参数解释: 指定OBS返回请求中Cache-Control头的值。指定Object被下载时的网页的缓存行为。 默认取值: 无 ResponseContentDisposition string 可选 参数解释: 指定OBS返回请求中C
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
并能正常使用,详细步骤如下: 使用浏览器打开华为开源镜像站:https://mirrors.huaweicloud.com。 从打开站点的网页中,找到“HuaweiCloud SDK”面板并单击进入依赖管理工具配置说明页面。 在依赖管理工具配置说明页面,单击右上方的“下载配置文件”,下载并保存Maven配置文件。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
上传对象的长度,超过流/文件的长度会截断。 流/文件实际长度 对象MIME类型(Content-Type) 对象的MIME类型,定义对象的类型及网页编码,决定浏览器将以什么形式、什么编码读取对象。 binary/octet-stream 对象MD5值(Content-MD5) 对象数据
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前