检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包含很多组件，其中MoXing Framework模块是一个基础公共组件，可用于访问OBS服务，和具体的AI引擎解耦，在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。 MoXing Framework模
故障快恢：默认加载${output_dir}/saved_checkpoints中最大迭代次数（iter_000xxxx）Megatron格式权重文件。 lora微调不支持断点续训 启动前需检查latest_checkpointed_iteration.txt文件中内容是否与所需iter_000xxxx数字（
故障快恢：默认加载${output_dir}/saved_checkpoints中最大迭代次数（iter_000xxxx）Megatron格式权重文件。 lora微调不支持断点续训 启动前需检查latest_checkpointed_iteration.txt文件中内容是否与所需iter_000xxxx数字（
选择合适的任务类型。 许可证 必填项，根据业务需求选择合适的许可证类型。 描述 必填项，填写资产简介，模型发布后将显示在模型页签上，方便用户快速了解资产。 支持1~90个字符，请勿在描述中输入涉政、迷信、违禁等相关敏感词，否则发布审核无法通过。 可见范围 “所有用户可见”：表示公开资产，所有用户都可以查看该资产。
故障快恢：默认加载${output_dir}/saved_checkpoints中最大迭代次数（iter_000xxxx）Megatron格式权重文件。 lora微调不支持断点续训 启动前需检查latest_checkpointed_iteration.txt文件中内容是否与所需iter_000xxxx数字（
图1 创建Notebook实例时选择云硬盘EVS存储 单次最大可以扩容100GB，扩容后的总容量不超过4096GB。 云硬盘EVS存储容量最大支持4096GB，达到4096GB时，不允许再扩容。 实例停止后，扩容后的容量仍然有效。计费也是按照扩容后的云硬盘EVS容量进行计费。 云硬盘
故障快恢：默认加载${output_dir}/saved_checkpoints中最大迭代次数（iter_000xxxx）Megatron格式权重文件。 lora微调不支持断点续训 启动前需检查latest_checkpointed_iteration.txt文件中内容是否与所需iter_000xxxx数字（
is corrupted”告警。 A050109 GPU 其他 GPU其他错误。 检测到的其他GPU错误，通常为硬件问题，请联系技术人员支持。 A050147 IB 链路 IB网卡异常。 ibstat查看网卡非Active状态。 A050121 NPU 其他 npu dcmi接口检测到driver异常。
uggingface格式，当前支持QKV-proj、O-proj、gate_up_proj、down_proj模块的挂载。 --max-lora-rank表示挂载lora的最大rank数量，支持8、16、32、64。 --max-loras 表示支持的最大lora个数，最大32。
参数类型 说明 nfs 否 Object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体说明请参见表6。 host_path 否 Object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。具体说明请参见表7。 表12 nfs属性列表
如果填写了“中文名称”，则资产发布后，在镜像页签上会显示该“中文名称”。 描述 填写资产简介，镜像发布后将作为副标题显示在镜像页签上，方便用户快速了解资产。 支持0~90个字符，请勿在描述中输入涉政、迷信、违禁等相关敏感词，否则发布审核无法通过。 创建完成后，跳转至镜像详情页。 上传镜像文件 在镜像详情页，选择“镜像文件”页签。
data/finetune/ LLama-Factory微调数据集预处理参数说明 ModelLink开源仓已经支持LLama-Factory格式的数据预处理，目前仅支持sft全参微调，lora微调。数据集预处理脚本参数说明如下： --input：原始数据集的存放路径。 --out
发耗时是最长的，因此可以先在本地PC的CPU环境进行数据集和模型开发调试。 本例中，因为样例代码已经支持在CPU上进行训练，因此用户能够在CPU上完成整个训练流程。如果代码只支持在GPU或者Ascend上训练，那么可能会报错，需要使用Notebook进行云端调试。 设置断点后单击
BS目录，SDK会将notebook目录code_dir打包上传到obs_path中。 准备训练输出，与单机训练作业调试4相同。 查看训练支持的AI框架，与单机训练作业调试5相同。 保存当前Notebook为新镜像，与单机训练作业调试9相同。 Estimator初始化。 from
Arts 6.3.910 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 基础镜像包 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2
许可证 必填项，根据业务需求选择合适的许可证类型。 描述 必填项，填写资产简介，数据集发布后将显示在数据集页签上，方便用户快速了解资产。 支持1~90个字符，请勿在描述中输入涉政、迷信、违禁等相关敏感词，否则发布审核无法通过。 可见范围 “所有用户可见”：表示公开资产，所有用户都可以查看该资产。
该特性不能和PD分离、Prefix Cache、KV Cache量化特性、multi-lora特性同时使用。 LLama系列、Qwen系列模型支持此特性。 Chunked Prefill参数配置 Chunked Prefill的依赖参数如下表所示。 表1 依赖参数说明 配置项 取值类型
outdir：生成的训练data 地址 end_num：生成的data总条数 used_npus：使用哪些NPU model_type：使用模型类型 目前支持 qwen2 llama1 llama2 及 llama3，其中llama1、2及chat都填写llama model_name：模型地址
outdir：生成的训练data 地址 end_num：生成的data总条数 used_npus：使用哪些NPU model_type：使用模型类型 目前支持 qwen2 llama1 llama2 及 llama3，其中llama1、2及chat都填写llama model_name：模型地址
outdir：生成的训练data 地址 end_num：生成的data总条数 used_npus：使用哪些NPU model_type：使用模型类型 目前支持 qwen2 llama1 llama2 及 llama3，其中llama1、2及chat都填写llama model_name：模型地址
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
