检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts通过OBS的API访问OBS中的文件,属于内网还是公网访问? 调用ModelArts API接口创建训练作业和部署服务时,如何填写资源池的参数?
使用窍门 创建项目时,如何快速创建OBS桶及文件夹? 自动学习生成的模型,存储在哪里?支持哪些其他操作? 父主题: 使用自动学习实现零代码AI开发
CUDA和CUDNN run.sh脚本测试ModelArts训练整体流程 ModelArts环境挂载目录说明 infiniband驱动的安装 如何保证训练和调试时文件路径保持一致 父主题: 专属资源池训练
mageNet 512×512和256×256的测试中,DiT-XL/2模型实现了2.27的FID值。 下文以Dit模型为例,介绍如何在昇腾设备上如何进行模型迁移,精度及性能调优。 环境准备 迁移环境准备有以下两种方式: 表1 迁移环境准备方式 方式 说明 ModelArts Notebook
准备AscendSpeed训练代码。 准备镜像 准备训练模型适用的容器镜像。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题: Q
ModelArts中的作业为什么一直处于等待中? ModelArts控制台为什么能看到创建失败被删除的专属资源池? ModelArts训练专属资源池如何与SFS弹性文件系统配置对等链接?
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题:
Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。
OBS操作相关故障 读取文件报错,如何正确读取文件 TensorFlow-1.8作业连接OBS时反复出现提示错误 TensorFlow在OBS写入TensorBoard到达5GB时停止 保存模型时出现Unable to connect to endpoint错误 OBS复制过程中提示“BrokenPipeError:
准备AscendSpeed训练代码。 准备镜像 准备训练模型适用的容器镜像。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题: Q
户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。 按需计费资源 对于按需计费模式的资源,如果不再使用这些资源且需停止计费,请删除相应资源。 通过账单查找云服务资源并停止计费 为
Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI Gallery的资产集市中获取。 后续操作:清除相应资源 在完成预测之后,建议关闭服务,以免产生不必要的计费。 停止运行服务 预测完成后,单击页面右上角的“停止”,即可停止该服务。 单击左上角返回在线服务,在对应的服务名
Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI Gallery的资产集市中获取。 后续操作:清除相应资源 在完成预测之后,建议关闭服务,以免产生不必要的计费。 停止运行服务 预测完成后,单击页面右上角的“停止”,即可停止该服务。 单击左上角返回在线服务,在对应的服务名
Keras是一个用Python编写的高级神经网络API,它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本 在ModelArts管理控制台,创建一个Notebook实例,镜像选择“TensorFlow-1.13”或“TensorFlow-1
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题:
显的改善。 同样功能的PyTorch Pipeline,因为指导要求适配onnx pipeline,两个pipeline本身功能就有差别,如何适配? 由于Diffusers社区的“single model file policy”设计原则,不同的pipeline是不同路径在独立演
py编写指导请见模型推理代码编写说明)。 确认该cuda版本与您安装的mmcv版本是否匹配。 部署时是否需要使用GPU,取决于的模型需要用到CPU还是GPU,以及推理脚本如何编写。 父主题: 服务部署
Shell界面时,可能会出现路径显示异常情况,此时在Cloud Shell中单击回车键即可恢复正常。 图3 路径异常 如何使训练作业保持运行中状态 由于需要训练作业处于“运行中”状态才能登录Cloud Shell,因此本文介绍如何使训练作业保持运行中状态,方便您快速通过Cloud Shell登录运行中的训练容器。
路进行举一反三。Stable Diffusion WebUI的迁移不包含在本文中,具体原因详见Stable Diffusion WebUI如何适配。 AI推理应用运行在昇腾设备上一般有两种方式: 方式1:通过Ascend PyTorch,后端执行推理,又称在线推理。 方式2:通过
到影响。如果您要做分布式训练,建议您只选择一个GPU或NPU规格。 一个资源池中,最多可添加10种规格。 资源调度与切分 自定义驱动 默认关闭。部分GPU和Ascend规格资源池允许自定义安装驱动。集群中默认会安装驱动,无需用户操作。只有需要指定驱动版本时,需要开启。建议在购买C