检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--prefill-batching-policy：针对PD分离场景下的P实例调度策略选择，支持fcfs（先来先服务，vllm默认）及gtsf（Group Time Short First，组内等待时间最短优先）两种策略，若负载比较高且请求长度差异大可以选择gtsf进行尝试。 参数定义和使用方式与vLLM0
--prefill-batching-policy：针对PD分离场景下的P实例调度策略选择，支持fcfs（先来先服务，vllm默认）及gtsf（Group Time Short First，组内等待时间最短优先）两种策略，若负载比较高且请求长度差异大可以选择gtsf进行尝试。 参数定义和使用方式与vLLM0
PPO训练暂不支持llama3-70B，存在已知的内存OOM问题，待社区版本修复。 训练策略类型 全参full，配置如下： finetuning_type: full lora，如dpo仅支持此策略；配置如下： finetuning_type: lora lora_target: all
2、PPO训练暂不支持 ZeRO-3存在通信问题，如llama3-70B使用ZeRO-3暂不支持 训练策略类型 全参full，配置如下： finetuning_type: full lora，如dpo仅支持此策略；配置如下： finetuning_type: lora lora_target: all
练参数设置方式。为了更加明确的区分不同策略，以及和llama-factory对齐，6.3.912版本调整以下参数： 新增STAGE，表示训练的阶段，可以选择的参数包括: {pt，sft}。 新增FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full，lora}
参数设置方式。为了更加明确的区分不同策略，以及和llama-factory对齐，6.3.912版本调整以下参数： 新增 STAGE，表示训练的阶段，可以选择的参数包括: {pt, sft}. 新增 FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full, lora}
Administrator、VPCEndpoint Administrator。（Server Administrator、DNS Administrator为依赖策略，会自动被勾选）。 单击“下一步”，授权范围方案选择“所有资源”。 单击“确认”，完成基础权限开通。 步骤4 在ModelArts上创建委托授权
finetuning_type full 用于指定微调策略类型，可选择值full、lora。 如果设置为full，则对整个模型进行微调。这意味着在微调过程中，除了输出层外，模型的所有参数都将被调整以适应新的任务。 lora_target all 采取lora策略方法的目标模块，默认为all dataset
参数设置方式。为了更加明确的区分不同策略，以及和llama-factory对齐，6.3.912版本调整以下参数： 新增 STAGE，表示训练的阶段，可以选择的参数包括: {pt, sft}. 新增 FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full, lora}
参数设置方式。为了更加明确的区分不同策略，以及和llama-factory对齐，6.3.912版本调整以下参数： 新增 STAGE，表示训练的阶段，可以选择的参数包括: {pt, sft}. 新增 FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full, lora}
"description" : "AI inference application development, preconfigured ModelBox and AI engine LibTorch, only SSH connection supported.", "dev_services"
HCCL通信相关环境变量，通常无需设置该环境变量，建议unset该环境变量。具体参考拥塞控制与纠错配置策略 HCCL_RDMA_SL HCCL通信相关环境变量，通常无需设置该环境变量，建议unset该环境变量。具体参考拥塞控制与纠错配置策略 ACLNN_CACHE_LIMIT 用于缓存cann侧的aclnn算子
样例yaml配置文件结构分为 base块：基础配置块。 ModelName块：该模型所需配置的参数，如qwen2.5-7b块。 exp_name：实验块，训练策略-序列长度所需参数配置。 样例yaml文件仅展示常用实验配置，如需其他配置需根据样例自行添加，样例截图如下： 步骤二：执行训练任务 进入t
样例yaml配置文件结构分为 base块：基础配置块。 ModelName块：该模型所需配置的参数，如qwen2.5-7b块。 exp_name：实验块，训练策略-序列长度所需参数配置。 样例yaml文件仅展示常用实验配置，如需其他配置需根据样例自行添加，样例截图如下： 步骤二：执行训练任务 进入t
按节点比例：每批次驱动升级的实例数量为“节点比例*资源池实例总数”。 按实例数量：可以设置每批次驱动升级的实例数量。 对于不同的升级方式，滚动升级选择实例的策略会不同： 如果升级方式为安全升级，则根据滚动节点数量选择无业务的节点，隔离节点并滚动升级。 如果升级方式为强制升级，则根据滚动节点数量随机选择节点，隔离节点并滚动升级。
环境进行固化，提供合适的软件、操作系统、网络等配置策略，通过在硬件上的充分测试，确保其兼容性和性能最合适。 方便自定义，预置镜像已经在SWR仓库中，通过对预置镜像的扩展完成自定义镜像注册。 安全可信，基于安全加固最佳实践，访问策略、用户权限划分、开发软件漏洞扫描、操作系统安全加固等方式，确保镜像使用的安全性。
实际数据或新产生数据中，进行预测、评价、或以可视化和报表的形式把数据中的高价值信息以精辟易懂的形式提供给决策人员，帮助其制定更加正确的商业策略。 父主题： AI开发基础知识
placeholder_type=wf.PlaceholderType.STR, default="0.002", description="训练的学习率策略(10:0.001,20:0.0001代表0-10个epoch学习率0.001，10-20epoch学习率0.0001),如果不指定epoch
String NPU驱动版本，物理资源池中含有ascend规格时可填，例如："C78"。 updateStrategy 否 String 驱动升级策略。可选值如下： force：强制升级，立即升级节点驱动，可能影响节点上正在运行的作业 idle：安全升级，待节点上没有作业运行时进行驱动升级
按节点比例：每批次驱动升级的实例数量为“节点比例*资源池实例总数”。 按实例数量：每批次驱动升级的实例数量为设置的实例数量。 对于不同的升级方式，滚动升级选择节点的策略会不同： 如果升级方式为安全升级，则根据滚动实例数量选择无业务的节点，隔离节点并滚动升级。 如果升级方式为强制升级，则根据滚动实例数量随机选择节点，隔离节点并滚动升级。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
