检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GPU推理业务迁移至昇腾的通用指导 简介 昇腾迁移快速入门案例 迁移评估 环境准备 模型适配 精度校验 性能调优 迁移过程使用工具概览 常见问题 推理业务迁移评估表 父主题： GPU业务迁移至昇腾训练推理
0：打标者 1：审核者 2：团队管理者 3：数据集拥有者 status Integer 标注成员的当前登录状态。可选值如下： 0：未发送邀请邮件 1：已发送邀请邮件但未登录 2：已登录 3：标注成员已删除 update_time Long 更新时间。 worker_id String
Gallery”获取他人共享的内容，快速完成构建。在您完成模型的训练和导入之后，您可以将自己的模型分享至“AI Gallery”，进行知识共享。 登录ModelArts管理控制台，在左侧导航栏中选择“模型管理”，进入模型列表页面。 单击模型的“版本数量”，在展开的版本列表中，单击“操作”列的“发布”进入发布页面。
创建用户组并加入用户 主用户账号下面可以创建多个子账号，并对子账号的权限进行分组管理。此步骤介绍如何创建用户组、子账号、并将子账号加入用户组中。 主用户登录管理控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入IAM服务。 图1 统一身份认证 创建用户组。在左侧菜单栏中，选择“用户
tput_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练
tput_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练
tput_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练
性能预期：QPS 20/s - 业务访问方式 推理业务访问：“客户端 -> 云服务” 或 “云客户端 -> 云服务”。 推理业务时延要求，客户端到云服务端到端可接受时延。 例如：当前是“客户端 -> 云服务”模式，客户端请求应答可接受的最长时延为2秒。 - 模型参数规模，是否涉及分布式推理
表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gradient_accumulation_steps:
Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI Gallery在线推理服务部署模型 Gallery CLI配置工具指南 计算规格说明
0：打标者 1：审核者 2：团队管理者 3：数据集拥有者 status 否 Integer 标注成员的当前登录状态。可选值如下： 0：未发送邀请邮件 1：已发送邀请邮件但未登录 2：已登录 3：标注成员已删除 update_time 否 Long 更新时间。 worker_id 否 String
--gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。 --trust-remote-code：是否相信远程代码。 高阶参数说明： --enable-prefix-caching：如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefi
--gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。 --trust-remote-code：是否相信远程代码。 --distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示
--gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。 --trust-remote-code：是否相信远程代码。 --chat-template：对话构建模板，可选参数。如：llava chat-template：${vllm_path}/ex
--gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。 --trust-remote-code：是否相信远程代码。 --distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示
tput_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况，将trainer_log.jsonl文件长传至可视化工具页面，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练
性能预期：QPS 20/s - 业务访问方式 推理业务访问：“客户端 -> 云服务” 或 “云客户端 -> 云服务”。 推理业务时延要求，客户端到云服务端到端可接受时延。 例如：当前是“客户端 -> 云服务”模式，客户端请求应答可接受的最长时延为2秒。 - 模型参数规模，是否涉及分布式推理
AI Gallery的数据模块支持数据集的共享和下载。在AI Gallery的“数据”中，可以查找并下载满足业务需要的数据集。也可以将自己本地的数据集发布至AI Gallery中，共享给其他用户使用。 “资产集市 > 算法”：共享了算法。 AI Gallery的算法模块支持算法的共享和订阅。在AI
在IOS系统里打开ModelArts的Notebook时，字体显示异常。 解决方法 设置Terminal的“fontFamily”为“Menlo”。 操作步骤 登录ModelArts管理控制台，选择“开发空间>Notebook”。 创建Notebook实例之后，在Notebook列表中，单击目标Not
表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gradient_accumulation_steps:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
