检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
del_size”，默认是可选“create_at”。 order 否 String 排序方式，可选“asc”或“desc”，代表递增排序及递减排序，默认是“desc”。 workspace_id 否 String 工作空间ID，默认为“0”。 表2 get_model_list打印参数说明
准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调。 LoRA微调训练 介绍如何进行LoRA微调训练。 父主题： 主流开源大模
已经创建好训练作业的日志输出位置，例如“obs://cnnorth4-job-test-v2/pytorch/fast_example/log”。 操作步骤 调用认证鉴权接口获取用户的Token。 请求消息体： URI格式：POST https://{iam_endpoint}/v3/auth/tokens
ts在同一个区域。如何查看OBS桶与ModelArts的所处区域，请参见查看OBS桶与ModelArts是否在同一区域。 建议根据业务情况及使用习惯，选择OBS使用方法。 如果您的数据量较小（小于100MB）或数据文件少（少于100个），建议您使用控制台上传数据。控制台上传无需工
910) LLaVA-NeXT基于DevServer适配Pytorch NPU训练微调指导（6.3.910） MiniCPM-V2.0推理及LoRA微调基于DevServer适配PyTorch NPU指导（6.3.910） Qwen-VL基于DevServer适配PyTorch NPU的Finetune训练指导(6
的名称。 如何修改环境变量 用户可以在创建训练作业页面增加新的环境变量，也可以设置新的取值覆盖当前训练容器中预置的环境变量值。 为保证数据安全，请勿输入敏感信息，例如明文密码。 训练容器中预置的环境变量 训练容器中预置的环境变量如下面表格所示，包括表1、表2、表3、表4、表5、表6、表7。
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h Step4 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
package_version String 依赖包版本。不填时默认安装最新版本。不能含有中文及特殊字符&!'"<>=。 package_name String 依赖包名称。请确保包名正确且存在。不能含有中文及特殊字符&!'"<>=。 restraint String 版本限制条件，当且仅当
在“训练作业”页面，删除运行结束的训练作业。您可以单击“操作”列的“删除”，在弹出的提示框中单击“确认”，删除对应的训练作业。 进入OBS，删除本训练作业使用的OBS桶及文件。 查找训练作业 当用户使用IAM账号登录时，训练作业列表会显示IAM账号下所有训练作业。ModelArts提供查找训练作业功能帮助用户快速查找训练作业。
如果您在本地IDEA环境中开发工作流，则Session初始化使用如下方式 # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HU
本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，切换一个c
本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-3rdLLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，执行如下命令安装性能测试的关依赖。
象，常用于模型注册场景 ServiceInputPlaceholder：用于定义在运行时需要确定服务部署所需的模型相关信息，只用于服务部署及服务更新场景 DataSelector：支持多种数据类型的选择，当前仅支持在JobStep节点中使用（仅支持选择OBS或者数据集） 数据选择对象：
必须修改。加载tokenizer与Hugging Face权重时，对应的存放绝对或相对路径。请根据实际规划修改。 do_train true 指示脚本执行训练步骤，用来控制是否进行模型训练的。如果设置为true，则会进行模型训练；如果设置为false，则不会进行模型训练。 cutoff_len 4096
DistributedDataParallel(Net().cuda()) ### DistributedDataParallel End ### 多节点分布式调测适配及代码示例 在DistributedDataParallel中，不同进程分别从原始数据中加载batch的数据，最终将各个进程的梯度进行平均作为
分页查询团队标注任务下的样本列表 查询团队标注的样本信息 查询数据集标签列表 创建数据集标签 批量修改标签 批量删除标签 按标签名称更新单个标签 按标签名称删除标签及仅包含此标签的文件 批量更新样本标签 查询数据集的团队标注任务列表 创建团队标注任务 查询团队标注任务详情 启动团队标注任务 更新团队标注任务
shape的输入。 动态batch 在模型转换阶段通过--configFile参数指定配置文件，并且在配置文件中配置input_shape及dynamic_dims动态参数。其中input_shape的-1表示动态shape所在的维度，dynamic_dims指定动态维度的取值范围，比如“[1~4]
确保容器可以访问公网。 DevServer驱动版本要求23.0.5 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 Template 支持模型参数量 权重文件获取地址 Llama3 llama3 llama3-8b https://huggingface
MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC3 如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelie
file文件组网两种方式。当配置了环境变量MS_RANKTABLE_ENABLE="True"，则msrun会读取rank table file文件内容进行组网。否则默认使用动态组网。 msrun使用如下命令启动训练作业的“启动文件”。 msrun --worker_num=${msrun_worker_num}
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
