检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件存储在OBS中。 训练模型 训练作业使用的数据集存储在OBS中。 训练作业的运行脚本存储在OBS中。 训练作业输出的模型存储在指定的OBS中。 训练作业的过程日志存储在指定的OBS中。 AI应用管理
描述 name 否 String 工作流存储的名称。填写1-64位,只包含英文、数字、下划线(_)和中划线(-),并且以英文开头的名称。 type 否 String 工作流存储的类型,当前只支持obs。 path 否 String 统一存储的根路径,当前只支持OBS路径。 表15 WorkflowAsset
Gallery。 发布的免费资产将展示在AI Gallery的公共页签以及“我的Gallery > 我的资产”的各个模块的“我的发布”中。 已经订阅的免费资产将展示在AI Gallery的“我的Gallery > 我的资产”的各个模块的“我的订阅”或“我的下载”中。 免费资产在ModelArts的AI
d455。 根据上报账单的资源ID在费用中心查看资源账单。 进入“费用中心 > 流水和明细账单”页面。 选择“明细账单”,在账单列表中,在筛选条件中选择“资源ID”,并输入2中拼接的资源ID,单击图标即可搜索该资源的账单。 图2 查询资源账单 这里设置的统计维度为“按使用量”,统
Turbo中。 在表1获取基础镜像,随后通过镜像方案说明中的步骤执行代码包中llm_train/AscendSpeed/Dockerfile文件,构建新的镜像,并上传至SWR中。 新构建的镜像中,包含有ModelLink、MindSpeed、Megatron-LM等代码,在集群中启
Turbo中。 在表1获取基础镜像,随后通过准备镜像中的步骤执行代码包中llm_train/AscendSpeed/Dockerfile文件,构建新的镜像,并上传至SWR中。 新构建的镜像中,包含有ModelLink、MindSpeed、Megatron-LM等代码,在集群中启动容器
在构建镜像的过程中会下载完整的模型代码、执行环境,然后自动进行NPU适配,并将以上源码和环境打包至镜像中。 在ModelArts中创建训练作业如:SFT全参微调训练,执行代码包中例如:finetune/finetune_ds.sh 的脚本,开始训练。 在训练中,程序会自动执行对数据
训练代码在训练容器中的存放路径。 “工作目录” 训练启动文件在训练容器中的路径。 “实例数” 本次训练作业设置的实例数。 “专属资源池” 专属资源池信息,仅当训练作业使用专属资源池时可见。 “实例规格” 本次训练作业使用的训练规格。 “输入-输入路径” 本次训练中,输入数据的OBS路径。
GitHub开源仓库; 存放在OBS中的文件上传,请参考支持上传OBS文件; 类似开源数据集这样的远端文件上传,请参考支持上传远端文件; 在Notebook的使用中,可以快速查找实例,可以在同一个Notebook实例中切换镜像,方便用户灵活调整实例的AI引擎;可以切换节点运行规格,方
在ModelArts控制台修改自动续费 包年/包月的Standard专属资源池和弹性集群Lite Cluster资源池在购买成功后支持修改自动续费。 在ModelArts控制台“AI专属资源池 > 弹性集群Cluster”页面中的Standard资源池页签中,在包年包月的资源池名称右侧,单击,选择“开通自动续费”,按照页面提示修改。
b中直接上传大小超过50GB的文件。 50GB以上的文件需要先从本地上传到OBS中,再在Notebook中调用ModelArts的Moxing接口或者SDK接口读写OBS中的文件。 图12 在Notebook中上传下载大文件 具体操作如下: 从本地上传文件至OBS。具体操作请参见上传文件至OBS桶。
ip_forward Step3 创建镜像组织 在SWR服务页面创建镜像组织。 图2 创建镜像组织 Step4 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图3 复制登录指令
ModelArts自动学习与ModelArts PRO的区别是什么? 在ModelArts中图像分类和物体检测具体是什么? 在ModelArts自动学习中模型训练图片异常怎么办? 在ModelArts自动学习中,如何进行增量训练? 创建自动学习项目时,如何快速创建OBS桶及文件夹? 自动学习生成的模型,存储在哪里?支持哪些其他操作?
Turbo中。 在表1获取基础镜像,随后通过准备镜像中的步骤执行代码包中llm_train/AscendSpeed/Dockerfile文件,构建新的镜像,并上传至SWR中。 新构建的镜像中,包含有ModelLink、MindSpeed、Megatron-LM等代码,在集群中启动容器
Turbo中。 在表1获取基础镜像,随后通过准备镜像中的步骤执行代码包中llm_train/AscendSpeed/Dockerfile文件,构建新的镜像,并上传至SWR中。 新构建的镜像中,包含有ModelLink、MindSpeed、Megatron-LM等代码,在集群中启动容器
Turbo中。 在表1获取基础镜像,随后通过准备镜像中的步骤执行代码包中llm_train/AscendSpeed/Dockerfile文件,构建新的镜像,并上传至SWR中。 新构建的镜像中,包含有ModelLink、MindSpeed、Megatron-LM等代码,在集群中启动容器
查看到存储的数据。当导出方式选择为新数据集时,在导出成功后,您可以前往“数据集”列表中,查看到新的数据集。 在“数据集概览页”,单击右上角“导出历史”,在弹出的“任务历史”对话框中,可以查看该数据集之前的导出任务历史。 父主题: 导出ModelArts数据集中的数据
当Notebook实例创建完成后,且状态为“运行中”时,单击“操作”列中的“打开”,进入“JupyterLab Notebook”开发页面。 在JupyterLab的“Launcher”页签下,以TensorFlow为例,您可以单击TensorFlow,创建一个用于编码的文件。 图1 选择不同的AI引擎 文件创
中指定的目录。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”,在增加的环境变量填写框中,按照表1表格中的配置进行填写。 表1 需要填写的环境变量
中指定的目录。 “输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”,在增加的环境变量填写框中,按照表1表格中的配置进行填写。 表1 需要填写的环境变量