检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ta 【可选】dataset_info.json配置文件所属的绝对路径；如使用自定义数据集，yaml配置文件需添加此参数。 是否选择加速深度学习训练框架Deepspeed，可参考表1选择不同的框架。 是，选用ZeRO (Zero Redundancy Optimizer)优化器。
“MA_NUM_GPUS=8” MA_TASK_NAME 作业容器的角色名，例如： MindSpore、PyTorch为worker 强化学习引擎为learner，worker TensorFlow为ps，worker “MA_TASK_NAME=worker” MA_NUM_HOSTS
【下线公告】华为云ModelArts自动学习模块的文本分类功能下线公告 华为云计划于2024/12/06 00:00（北京时间）将AI开发平台ModelArts自动学习模块的文本分类功能正式下线。 下线范围 下线Region：华为云全部Region。 下线影响 ModelArts自动学习-文本分类正式下
oothquant的组合。 kv-cache-int8量化支持的模型请参见表3。 Step1使用tensorRT量化工具进行模型量化，必须在GPU环境 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/
q_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。 quantized_model.save_pretrained("CodeLlama-34b-hf")
2、若量化Deepseek-v2-236b模型，大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
2、如果量化Deepseek-v2-236b模型，大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
oothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com
文生视频模型训练推理 CogVideoX1.5 5b模型基于Lite Server适配PyTorch NPU全量训练指导（6.3.912） CogVideoX模型基于Lite Server适配PyTorch NPU全量训练指导（6.3.911） Open-Sora1.2基于Lite
表示context并行，默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度，则推荐增加CP值（CP ≥ 2）。对应训练参数 context-parallel-size 。 （此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6
模型训练高可靠性 训练作业容错检查 训练日志失败分析 训练作业卡死检测 训练作业重调度 设置断点续训练 设置无条件自动重启 父主题： 使用ModelArts Standard训练模型
该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 LR 2.5e-5 学习率设置。 MIN_LR
ples路径对应的模型文件夹下，例如：llama模型对应量化脚本的路径是examples/llama/convert_checkpoint.py。 执行convert_checkpoint.py脚本进行权重转换生成量化系数。 使用tensorRT量化工具进行模型量化。 在GPU机器上使用tensorRT
数字人模型训练推理 Wav2Lip推理基于Lite Server适配PyTorch NPU推理指导（6.3.907） Wav2Lip训练基于Lite Server适配PyTorch NPU训练指导（6.3.907）
表示context并行，默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度，则推荐增加CP值（CP ≥ 2）。对应训练参数 context-parallel-size 。 （此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6
--max-model-len的值。config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json 问题3：使用llama3.1系列模型进行推理时报错 使用llama3.1系模型进行推理时报错：ValueError:
["ascend"] context.ascend.device_id = 0 模型加载与编译：执行推理之前，需要调用Model的build_from_file接口进行模型加载和模型编译。模型加载阶段将文件缓存解析成运行时的模型。模型编译阶段会耗费较多时间所以建议Model创建一次，编译一次，多次推理。
模型管理权限 表1 模型管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 导入模型 POST /v1/{project_id}/models modelarts:model:create obs:bucket:ListAllMybuckets o
必须修改。指定输出目录。训练过程中生成的模型参数和日志文件将保存在这个目录下 logging_steps 2 用于指定模型训练过程中，多少步输出一次日志。日志包括了训练进度、学习率、损失值等信息。建议设置 save_steps 500 指定模型训练过程中，每多少步保存一次模型。保存的模型可以用于后续的训练或推理任务
文生图模型训练推理 FlUX.1基于Lite Server适配PyTorch NPU推理指导（6.3.912） FLUX.1基于DevSever适配PyTorch NPU Finetune&Lora训练指导（6.3.911） Hunyuan-DiT基于Lite Server部署适配PyTorch
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
