检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
要启动训练,请运行以下脚本: export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True bash finetune_lora.sh 注:以上微调文档提示来自官方文档,有关可用LoRA微调脚本参数及其功能的全面文档,您可以参考官方MiniCPM-V
获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。
create_dataset(session,dataset_name=None, data_type=None, data_sources=None, work_path=None, **kwargs) 推荐使用根据数据类型创建数据集,根据标注类型创建数据集的功能将会下线。
获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.910软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。
GPT2 GPT2(Generative Pre-trained Transformer 2),是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型,是一个基于Transformer且非常庞大的语言模型。
获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。
准备Docker机器并配置环境信息 准备一台具有Docker功能的机器,如果没有,建议申请一台弹性云服务器并购买弹性公网IP,并在准备好的机器上安装必要的软件。 ModelArts提供了ubuntu系统的脚本,方便安装docker。
使用该标签可区分不同节点,可结合工作负载的亲和能力实现容器Pod调度到指定节点的功能。 污点:默认为空。支持给节点加污点来设置反亲和性,每个节点最多配置5条污点。
5b.yaml 运行微调脚本finetune_multi_gpus.sh cd /home/ma-user/CogVideo/sat/ bash vae_cache.sh bash finetune_multi_gpus.sh 以上微调文档提示来自官方文档,有关可用微调脚本参数及其功能的全面文档
此处如果看不到Connect to Remote选项,请先参考创建Notebook实例章节,创建Notebook实例,并开启该实例的SSH远程开发功能。 也可能是PyCharm ToolKit的版本不正确,请按照文档要求下载新版本的PyCharm ToolKit。
不要将多个容器绑到同一个NPU上,会导致后续的容器无法正常使用NPU功能。 --name ${container_name}:容器名称,进入容器时会用到,此处可以自己定义一个容器名称。
详细信息,请参见分布式训练功能介绍。 1 更多选项 永久保存日志 选择是否打开“永久保存日志”开关。 关闭 事件通知 选择是否打开“事件通知”开关。 关闭 自动停止 当使用付费资源时,可以选择是否打开“自动停止”开关。 关闭 自动重启 选择是否打开“自动重启”开关。
MiniConda与tflite安装包为第三方安装包,ModelArts不对其安全相关问题进行负责,如用户有安全方面的需求,可以对该安装包进行加固后发布成同样名称的文件上传到构建节点。 制作自定义镜像 确认Docker Engine版本。执行如下命令。
在创建Notebook时,默认会开启自动停止功能,在指定时间内停止运行Notebook,避免资源浪费。 只有处于“运行中”状态的Notebook,才可以执行打开、停止操作。 一个账户最多创建10个Notebook。 操作步骤如下: 注册镜像。
MA_TRAIN_AUTO_RESUME False 【可选】【故障快恢】是否开启此功能,【True、False】默认False不开启,当训练中断时重启任务会从最新生成权重文件处继续训练。
MA_TRAIN_AUTO_RESUME False 【可选】【故障快恢】是否开启此功能,【True、False】默认False不开启,当训练中断时重启任务会从最新生成权重文件处继续训练。
docker软件 - 重要 容器插件Ascend-Docker-Runtime未安装 安装容器插件Ascend-Docker-Runtime,否则影响容器使用昇腾卡 docker容器无法挂载NPU卡 Snt3P 300IDuo Snt9B Snt9C 重要 操作系统没有开启IP转发功能
Triton是一个高性能推理服务框架,提供HTTP/gRPC等多种服务协议,支持TensorFlow、TensorRT、PyTorch、ONNXRuntime等多种推理引擎后端,并且支持多模型并发、动态batch等功能,能够提高GPU的使用率,改善推理服务的性能。
自定义脚本代码示例 从OBS中导入模型文件创建模型时,模型文件包需符合ModelArts的模型包规范,推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例(包含推理代码示例)。模型推理代码编写的通用方法及说明请见模型推理代码编写说明。
使用ModelArts Standard自定义算法实现手写数字识别 本文为用户提供如何将本地的自定义算法通过简单的代码适配,实现在ModelArts上进行模型训练与部署的全流程指导。 场景描述 本案例用于指导用户使用PyTorch1.8实现手写数字图像识别,示例采用的数据集为MNIST