检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”,在“弹性集群”页面,选择“Lite资源池”页签,查看资源池列表。 在资源池列表中,选择需要进行驱动升级的资源池“ > 驱动升级”。 图1 驱动升级 在“驱动升级”弹窗中,会显示当前专属资源池
线配置,默认基线配置样例如下: --o <output_dir>: <可选>任务完成输出excel表格路径,默认为"./"当前所在路径。 查看性能结果 任务完成之后会在test-benchmark目录下生成excel表格: 性能结果 LLaMAFactory_train_perf
docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward
Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 训练 预训练/微调 介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题: 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导(6.3.912)
练大规模模型时,可以通过设置这个参数来控制日志的输出。 --prompt-type:需要指定使用模型的template。已支持的系列模型可查看:文档更新内容。 输出数据预处理结果路径: 训练完成后,以 llama2-13b 为例,输出数据路径为:/home/ma-user/ws/
练大规模模型时,可以通过设置这个参数来控制日志的输出。 --prompt-type:需要指定使用模型的template。已支持的系列模型可查看:文档更新内容。 handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的ha
制作自定义镜像用于创建Notebook Notebook的自定义镜像制作方法 在ECS上构建自定义镜像并在Notebook中使用 在Notebook中通过Dockerfile从0制作自定义镜像 在Notebook中通过镜像保存功能制作自定义镜像 父主题: 制作自定义镜像用于ModelArts
py中用等CPU侧初始化实现替换完成计算之后再切回device进行计算(下图第731行)。 然后再比对分析发现所有API计算都已对齐结果,转而查看Loss对齐情况。 父主题: 精度对齐
C-6.3.912-xxx.zip 文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。
练大规模模型时,可以通过设置这个参数来控制日志的输出。 --prompt-type:需要指定使用模型的template。已支持的系列模型可查看:文档更新内容。 输出数据预处理结果路径: 训练完成后,以 llama2-13b 为例,输出数据路径为:/home/ma-user/wor
练大规模模型时,可以通过设置这个参数来控制日志的输出。 --prompt-type:需要指定使用模型的template。已支持的系列模型可查看:文档更新内容。 输出数据预处理结果路径: 训练完成后,以 llama2-13b 为例,输出数据路径为:/home/ma-user/ws/
准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、RM奖励模型、DPO偏好训练使用全参/lora训练策略进行训练任务、性能查看。 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.910)
在ModelArts的Notebook中如何在代码中打印GPU使用信息? 用户可通过shell命令或python命令查询GPU使用信息。 使用shell命令 执行nvidia-smi命令。 依赖CUDA nvcc watch -n 1 nvidia-smi 执行gpustat命令。
数据管理(旧版) 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 查询数据集的统计信息 查询数据集监控数据 查询数据集的版本列表 创建数据集标注版本 查询数据集版本详情 删除数据集标注版本 查询样本列表 批量添加样本 批量删除样本 查询单个样本信息 获取样本搜索条件
准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、RM奖励模型、DPO偏好训练使用全参/lora训练策略进行训练任务、性能查看。 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.911)
的模型或其他数据保存在该目录下。 obs_path:必选参数,一个OBS目录。SDK会将local_path中的模型文件自动上传到这里。 查看训练支持的AI框架。 from modelarts.estimatorV2 import Estimator Estimator.get_
准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、RM奖励模型、DPO偏好训练使用全参/lora训练策略进行训练任务、性能查看。 父主题: 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.3.912)
Standard专属资源池 ModelArts支持使用ECS创建专属资源池吗? 在ModelArts中1个节点的专属资源池,能否部署多个服务? 在ModelArts中公共资源池和专属资源池的区别是什么? ModelArts中的作业为什么一直处于等待中? ModelArts控制台为什么能看到创建失败被删除的专属资源池?
创建Notebook实例 查询Notebook实例列表 查询所有Notebook实例列表 查询Notebook实例详情 更新Notebook实例 删除Notebook实例 通过运行的实例保存成容器镜像 查询Notebook支持的有效规格列表 查询Notebook支持的可切换规格列表 查询运行中的Notebook可用时长
docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward