检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nginx python3 rpm screen tar tmux unzip vim wget zip Notebook基础镜像x86 自定义专用镜像 自定义镜像包含两种镜像:conda3-cuda10.2-cudnn7-ubuntu18.04,conda3-ubuntu18.04,该类
训练专属预置镜像列表 ModelArts平台提供了Tensorflow,PyTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您可以基于这些基础镜像制作一个新的镜像并进行训练。 训练基础镜像列表
其中再安装需要的软件或文件。目前公共镜像中占用空间最小的是mindspore1.7.0-py3.7-ubuntu18.04。 父主题: 自定义镜像故障
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像,用户可以基于这些基础镜像构建自定义镜像,用于部署推理服务。 X86架构(CPU/GPU)的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
部署在线服务时,自定义预测脚本python依赖包出现冲突,导致运行出错 导入模型时,需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中,推荐采用相对导入方式(Python import)导入自定义包。 如果ModelArts推理框架代码内部存在同名包,
ModelArts统一镜像列表 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像,包括MindSpore、PyTorch。适用于开发环境,模型训练,服务部署,请参考统一镜像列表。 表1 MindSpore 预置镜像 适配芯片 适用范围 mindspore_2
解决方法 找到原始镜像重新构建环境。建议使用干净的基础镜像,最小化的安装运行依赖内容,并进行安装后的软件缓存清理,然后保存镜像。 父主题: 自定义镜像故障
物体检测标注时除了位置、物体名字,是否可以设置其他标签,比如是否遮挡、亮度等? 可以通过修改数据集给标签添加自定义属性来设置一些自定义的属性。 图1 修改数据集 父主题: Standard数据管理
含有多个模型文件)推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎,推荐使用自定义镜像方式。 请参考创建模型的自定义镜像规范和从0-1制作自定义镜像并创建模型,制作自定义镜像。 推荐在开发环境Notebook中调试模型包,制作自定义镜像。请参考在开发环境中构建
步骤一:上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集,可以忽略此步骤。 未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。
上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集,可以忽略此步骤。 未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。
上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集,可以忽略此步骤。 未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。
上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集,可以忽略此步骤。 未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。
上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集,可以忽略此步骤。 未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。
推理。如果模型的“任务类型”是除“文本问答”和“文本生成”之外的类型(即自定义模型),则模型文件必须满足自定义模型规范(推理)才支持模型自定义推理。 当使用自定义镜像部署推理服务时,要确认镜像是否满足自定义镜像规范,否则无法成功完成推理服务的部署。 部署推理服务 登录AI Gallery。
ModelArts平台从对象存储服务(OBS)中导入模型包适用于单模型场景。如果有多模型复合场景,推荐使用自定义镜像方式,通过从容器镜像(SWR)中选择元模型的方式创建AI应用部署服务。制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题: 导入模型
Chrome L3 Android 完全兼容。 Safari L3 IOS 完全兼容。 UC浏览器 L3 Android 完全兼容。 QQ浏览器 L3 Android 完全兼容。 360浏览器 L3 Android 完全兼容。 百度浏览器 L3 Android 完全兼容。 父主题:
出现此故障是因为Jupyter进程被清理掉了,一般情况Notebook会自动重启的,如果没有自动重启,创建一直失败,请确认是否是自定义镜像的问题。 解决方案 排查是否是自定义镜像的问题。 自定义镜像构建完成,在ModelArts镜像管理注册时,“架构”和“类型”需要和源镜像保持一致。 图2 注册镜像 父主题:
准备数据(可选) 此小节为自定义数据集执行过程,如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集,目前支持alpaca格式和sharegpt格式的微调数据集;使用自定义数据集时,请更新代码目录下data/dataset_info
已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的llm_train/AscendSpeed代码目录。 图1 创建训练作业