检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
objects 资源池中的资源规格信列表，包括资源规格和相应规格的资源数量。 network 是 network object 资源池网络参数。创建物理资源池时必选。 jobFlavors 否 Array of strings 资源池支持的作业规格信息列表，内容为作业规格名称。 driver
使用计算资源的用量。 具体费用可参见ModelArts价格详情。 按需计费 规格单价 * 计算节点个数 * 使用时长 包年/包月 规格单价 * 计算节点个数 * 购买时长 计费示例 以下案例中出现的资源规格和费用价格仅供参考，实际价格请参见各服务价格详情。 示例：使用按需计费的专属资源池。计费项：计算资源费用
会替换sc_type中对应的默认参数。 -em / --executor-memory String 否 Spark应用的Executor内存，参数配置例如2G，2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 -ne / --num-executors
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源，请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务（Object
选择AI应用遵循的许可证。 计算规格选择 是 按需选择计算规格。单击“选择”，在弹窗中选择资源规格并设置运行时长控制，单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据，AI Gal
objects 资源池中的资源规格信列表，包括资源规格和相应规格的资源数量。 network network object 资源池网络参数。物理资源池时必选。 jobFlavors Array of strings 资源池支持的作业规格信息列表，内容为作业规格名称。 driver PoolDriver
Server Standard自动学习、Workflow、Notebook、模型训练、模型部署 变更计费模式 不支持 支持变更为包年/包月计费模式。 变更计费模式 变更规格 不涉及 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。
IMAGE_SAVE：Notebook实例保存镜像。 resource_category 否 Array of strings 镜像支持的规格，默认值CPU、GPU。 枚举值如下： CPU GPU ASCEND service_type 否 String 镜像支持服务类型。枚举值如下：
Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169
Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169
用户自行安装了Jupyterlab服务导致冲突的，需要用户本地使用Jupyterlab命令罗列出相关的静态文件路径，删除并且卸载镜像中的Jupyterlab服务； 用户自己业务占用了开发环境官方的8888、8889端口的，需要用户修改自己的进程端口号； 用户的镜像指定了PYTHONPATH、sys.path导致服务启
objects 资源池中的资源规格信列表，包括资源规格和相应规格的资源数量。 network network object 资源池网络参数。物理资源池时必选。 jobFlavors Array of strings 资源池支持的作业规格信息列表，内容为作业规格名称。 driver PoolDriver
objects 资源池中的资源规格信列表，包括资源规格和相应规格的资源数量。 network network object 资源池网络参数。物理资源池时必选。 jobFlavors Array of strings 资源池支持的作业规格信息列表，内容为作业规格名称。 driver PoolDriver
模型配置文件config.json里面定义的“max_position_embeddings”和“seq_length”；如果设置过大，会占用过多显存，影响kvcache的空间。不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM（v0.3.2）
节点池中的资源信息列表，包括资源规格和相应规格的资源数量，自定义配置等。 表5 PoolResource 参数 是否必选 参数类型 描述 flavor 是 String 资源规格名称，比如：modelarts.vm.gpu.t4u8。 count 是 Integer 规格保障使用量。 maxCount
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True；允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。开启时可能提升模型性能。报错则关闭。 --chat-template：对话构建模板，可选参数。如： （1）llava ch
1 指定每个设备的训练批次大小 gradient_accumulation_steps 8 指定梯度累积的步数，这可以增加批次大小而不增加内存消耗。可根据自己要求适配 num_train_epochs 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。可根据自己要求适配
Cluster资源池 管理Lite Cluster节点池 管理Lite Cluster节点 扩缩容Lite Cluster资源池 升级Lite Cluster资源池驱动 升级Lite Cluster资源池单个节点驱动 管理Lite Cluster资源池的游离节点 监控Lite Cluster资源
qwenvl_dataset; bash finetune/finetune_ds.sh; 选择用户自己的专属资源池，以及规格与节点数。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /
PRE_PAID：包周期 cloud_server CloudServer object 云服务信息。 endpoints_response Array of Endpoints objects 实例私有IP信息。 flavor String 实例规格名称。 id String 实例ID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
