检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
代码，默认为空。例如：“#FFFFF0”。 @modelarts:default_shape 否 String 内置属性：物体检测标签的默认形状（物体检测标签专用属性），默认为空。可选值如下： bndbox：矩形。 polygon：多边形。 circle：圆形。 line：直线。
持模型高吞吐量运行。 增强一致性：统一前向传递大小，降低延迟波动，使生成频率更稳定。 降低时延：通过平衡prefill和decode的计算利用率，降低请求P90_ttft（time to first token）、P90_tpot(time per output token)时延
> 订阅应用”页面。 在“订阅应用”列表，单击“版本数量”，在右侧展开版本列表，当订阅模型的版本列表的状态显示为“就绪”时表示模型可以使用。 步骤3：使用订阅模型部署在线服务 模型订阅成功后，可将此模型部署为在线服务 在展开的版本列表中，单击“部署 > 在线服务”跳转至部署页面。
在“运行时长控制”选择是否指定运行时长。 不限时长：不限制作业的运行时长，AI Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长：设置作业运行几小时后停止，当AI Gallery工具链服务运行时长达到指定时长时，系统将会暂停作业。时长设置不能超过计算资源的剩余额度。 说明：
镜像健康接口配置请参考模型配置文件编写说明中health参数说明。 模型健康检查配置问题，需重新创建模型或者创建模型新版本，配置正确的健康检查，使用新的模型或版本重新部署服务。了解模型健康检查请参考制作模型镜像并导入中的“健康检查”参数说明。 父主题： 服务部署
Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI Gallery在线推理服务部署模型 Gallery CLI配置工具指南 计算规格说明
ID号。 如果cuda相关运算设置的卡ID号在所选规格范围内，但是依旧出现了上述报错。可能是该资源节点中存在GPU卡损坏的情况，导致实际能检测到的卡少于所选规格。 处理方法 建议直接根据系统分卡情况下传进去的CUDA_VISIBLE_DEVICES去设置，不用手动指定默认的。 如
回到ModelArts控制台界面再次单击界面上的“VS Code接入”按钮。 方法二：出现如下图报错，是由于VS Code版本过低，建议升级VS Code版本为1.57.1或者最新版。 原因分析二 本地系统为Linux，由于使用root用户安装VS Code，打开VS Code显示信息It
# 需要的三方依赖包的版本和下载地址 |──scripts_llamafactory/ # llamafactory兼容旧版本启动方式目录 |──scripts_modellink/ # modelLink兼容旧版本启动方式目录
SAVE_INTERVAL 1000 用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时，生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_IT
SAVE_INTERVAL 1000 用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时，生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_IT
SAVE_INTERVAL 1000 用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时，生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_IT
tput_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练
<镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明： <镜像仓库地址>：可在SWR控制台上查询，容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组织名称>：前面步骤中自己创建的组织名称。示例：ma-group <镜像名称>:<版本名称>：定义镜像名称。示例：pytor
<镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明： <镜像仓库地址>：可在SWR控制台上查询，容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组织名称>：前面步骤中自己创建的组织名称。示例：ma-group <镜像名称>:<版本名称>：定义镜像名称。示例：pytor
<镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明： <镜像仓库地址>：可在SWR控制台上查询，容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组织名称>：前面步骤中自己创建的组织名称。示例：ma-group <镜像名称>:<版本名称>：定义镜像名称。示例：pytor
tput_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练
tput_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练
tput_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练
表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gradient_accumulation_steps:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
