检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出方式选择“OBS”,填写相关信息,然后单击“确定”,开始执行导出操作。 “保存路径”:即导出数据存储的路径。建议不要将数据存储至当前数据集所在的输入路径或输出路径。 图12 导出至OBS 数据导出成功后,您可以前往您设置的保存路径,查看到存储的数据。 查看任务历史 当您导出数据后,可以通过任务历史查看导出任务明细。
Integer 存储容量,EVS默认5G,EFS默认50G,最大限制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Note
py”。 推理代码文件需存放在模型“model”目录。该字段不需要填,系统也能自动识别出model目录下的推理代码。 否 str dependencies 推理代码及模型需安装的包,默认为空。从配置文件读取。 否 str model_metrics 模型精度信息,从配置文件读取。 否 str
iam:agencies:listAgencies 使用配置的委托授权项。 按需配置。 SFS Turbo sfsturbo:shares:getShare sfsturbo:shares:getAllShares 在训练作业中使用SFS Turbo。 按需配置。 SWR swr:repository:listTags
填写该密钥的描述说明,单击“确定”。根据提示单击“立即下载”,下载密钥。 图4 新增访问密钥 密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 父主题:
白处上传。 方式二:单击窗口上方导航栏的ModelArts Upload Files按钮,打开文件上传界面,拖拽或者选择本地文件上传。 图2 单击窗口上方导航栏的ModelArts Upload Files按钮 上传本地小文件(100MB以内)至JupyterLab 对于大小不超
训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,如果填入id或subscription_id+item_version_id则无需填写。 boot_file String 训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py
参数类型 描述 code_dir String 算法的代码目录。如:“/usr/app/”。应与boot_file一同出现。 boot_file String 算法的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现。 command
本案例介绍了如何使用ModelArts Standard专属资源池提供的计算资源,结合SFS和OBS存储,在ModelArts Standard的训练环境中开展单机单卡、单机多卡、多机多卡分布式训练。 面向熟悉代码编写和调测的AI工程师,同时了解SFS和OBS云服务 从 0 制作自定义镜像并用于训练(Pytorch+CPU/GPU)
用EVS做存储时,需同时清理存储到EVS中的数据。 CodeLab计费:在体验CodeLab时,切换为付费规格后会收费,使用完后请在JupyterLab界面及时停止Notebook实例。 训练作业:训练作业运行时会收取费用,使用完请及时停止训练作业。同时,也需清理存储到OBS中的数据。
的数据下载到Notebook中使用。 Notebook中读取OBS数据方式请参见如何在ModelArts的Notebook中上传下载OBS文件?。 父主题: Standard Notebook
分钟时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40G以下)的文件内容,只要在36分钟内保存完成,就不会报超时错误。 2. 忽略该报错,因为报错不影响实际报错的权重。 父主题:
此处的环境变量取值仅为示例,涉及不同规格、引擎、Region可能取值不一样,此处仅供参考。 表1 路径相关环境变量 变量名 说明 示例 PATH 可执行文件路径,已包含常用的可执行文件路径。 “PATH=/usr/local/bin:/usr/local/cuda/bin:/usr/local/sbin:/
"./您的权重文件本地存储路径/.") 后续操作 自定义模型文件构建完成后,可以参考托管模型到AI Gallery将模型文件托管至AI Gallery。建议托管的模型文件列表参见表2。 表2 模型实例包含的文件 文件名称 描述 config.json 模型配置文件。 model.
sold_out Boolean 资源是否充足。 true 资源不足 false 资源充足 storages Array of strings 规格支持的存储类型。 EFS EVS vcpus Integer CPU核数。 表5 AscendInfo 参数 参数类型 描述 npu Integer
差。请以华为云官网发布的数据为准。 在使用ModelArts进行AI开发时,会将数据保存至OBS、EVS或SFS中,此时会产生单独的存储计费,具体费用以OBS、EVS和SFS的计费标准为准。 计费模式 计算规则 付费周期 费用计算 按需计费 计算资源费用:规格单价 × 时长 每小时的费用
会在当前目录下生成.torchair_cache文件夹来保存图编译的缓存文件。当服务第二次启动时,可通过缓存文件来快速完成图编译的过程,避免长时间的等待,并且基于图编译缓存文件来启动服务可获得更优的推理性能,因此请在有图编译缓存文件的前提下启动服务。另外,当启动服务时的模型或者参数发生改变时,请删除
的镜像制作,而原来的镜像层数是无法改变的,层不变的情况下,大小是不变的,卸载包或者删除数据集,会新增镜像层,镜像反而会变大,这和传统概念的存储不一样。 父主题: Standard镜像相关
分钟时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40G以下)的文件内容,只要在36分钟内保存完成,就不会报超时错误。 2. 忽略该报错,因为报错不影响实际报错的权重。 父主题:
分钟时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40G以下)的文件内容,只要在36分钟内保存完成,就不会报超时错误。 2. 忽略该报错,因为报错不影响实际报错的权重。 父主题: