检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
endpoints_response Array of Endpoints objects 实例私有IP信息。 flavor String 实例规格名称。 id String 实例ID。 key_pair_name String 密钥对名称。 name String 实例名称。 order_id
export_params ExportParams object 导出数据集任务的参数。 flavor Flavor object 训练资源规格。 image_brightness Boolean 是否通过图片亮度来聚类。 image_colorfulness Boolean 是否通过图片色彩来聚类。
单击模型名称，进入模型详情页面，查看模型详情信息。 部署服务并查看详情 在模型详情页面，单击右上角“部署>在线服务”，进入服务部署页面，模型和版本默认选中，选择合适的“实例规格”（例如CPU：2核 8GB），其他参数可保持默认值，单击“下一步”，跳转至服务列表页，当服务状态变为“运行中”，服务部署成功。 单击服务
部署，需要先联系您所在企业的华为方技术支持购买Cluster资源。 本方案目前仅适用于企业客户，并且需要用户具备k8s集群相关技能。 资源规格要求 推荐使用“西南-贵阳一”Region上的Cluster资源 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch
在“注册镜像”页面，“镜像源”选择上一步上传到SWR自有镜像仓中的镜像名，作为模型推理使用的镜像，“架构”选择“ARM”，“类型”选中“ASCEDN”和“CPU”，按需选择规格，单击“立即注册”。 图7 选择已上传的镜像源 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令，会在当前目录生成cert
单击模型名称，进入模型详情页面，查看模型详情信息。 部署服务并查看详情 在模型详情页面，单击右上角“部署>在线服务”，进入服务部署页面，模型和版本默认选中，选择合适的“实例规格”（例如CPU：2核 8GB），其他参数可保持默认值，单击“下一步”，跳转至服务列表页，当服务状态变为“运行中”，服务部署成功。 单击服务
apis参数代码示例。 确认信息填写无误，单击“立即创建”，完成模型创建。 在模型列表中，您可以查看刚创建的模型及其对应的版本。当模型状态变更为“正常”时，表示模型创建成功。在此页面，您还可以进行创建新版本、快速部署服务、发布模型等操作。 后续操作 部署服务：在“模型列表”中，单
本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称
本文档适配昇腾云ModelArts 6.3.910版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 获取软件和镜像 表1 获取软件和镜像 分类
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
启动后，ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来存储临时文件。“/cache”目录大小请参考训练环境中不同规格资源“/cache”目录的大小。 训练输出路径参数 建议设置一个空目录为训练输出路径。在训练代码中，您需要解析输出路径参数。系统后台会自动
昇腾云服务6.3.904版本说明 昇腾云服务6.3.904版本发布支持的软件包和能力说明如下，软件包获取路径：Support-E网站。 发布包 软件包特性说明 配套说明 备注 昇腾云模型代码 三方大模型，包名：AscendCloud-3rdLLM PyTorch框架下支持如下模型训练：
本文档适配昇腾云ModelArts 6.3.910版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 获取软件和镜像 表1 获取软件和镜像 分类
需要先联系您所在企业的华为方技术支持购买DevServer资源。 本方案新增了300IDUO的支持。 本方案目前仅适用于企业客户。 资源规格要求 推理部署推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B和300IDUO。 获取软件和镜像 表1
GBS/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量
GBS/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量
GBS/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量
PlaceholderType.JSON, description="训练资源规格" ) ) ), depend_
基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理
基于LLM模型的GPU训练业务迁移至昇腾指导 场景介绍 环境准备 迁移适配 精度对齐 性能调优 常见问题 父主题： GPU业务迁移至昇腾训练推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
