检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用MaaS部署的模型服务 在ModelArts Studio大模型即服务平台部署成功的模型服务支持在其他业务环境中调用。 约束限制 只有“状态”是“运行中”的模型服务才支持被调用。 步骤一：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。
图1 模型开发过程 ModelArts提供了模型训练的功能，方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据，选择不同规格的资源池用于模型训练。 请参考以下指导在ModelArts Standard上训练模型。 图2 ModelArts Standard模型训练流程
方式一提供的权重是开发者在社区贡献的权重，如果是用于生产环境的业务，建议选择方式二，通过DeepSeek官方发布的FP8权重进行转换。 约束限制 由于模型权重较大，请确保您的磁盘有足够的空间放下所有权重，例如DeepSeek-V3在转换前权重约为640G左右，在转换后权重约为1.3T左右。
内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地亚哥 CodeLab ModelArts提供了CodeLab功能，其中预置了免费的算力规格，开发者可以一键进入开发环境，直接免费体验Notebook功能。另外，针对AI Gallery社区发布的Notebook样例（.ipynb
本例的Dockerfile将基于MindSpore基础镜像mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3，升级到cann 5.1.RC2和MindSpore1.8.1，构建一个面向AI任务的镜像。 加载镜像模板后，Dockerfile文件自动加载，在“
sorFlow、Caffe等不在本指导的讨论范围中。 已完成迁移环境准备，且代码、预训练模型、数据等训练必需内容已经上传到环境中。 约束和限制 安装插件后，大部分能力能够对标在GPU上的使用，但并不是所有行为和GPU上是一一对应的。例如在torch_npu下，当PyTorch版本低于2
提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.908版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
输入参数的说明，用户可以自定义描述。 获取方式 输入参数的获取方式，默认使用“超参”，也可以选择“环境变量”。 输入约束 开启后，用户可以根据实际情况限制数据输入来源。输入来源可以选择“数据存储位置”或者“ModelArts数据集”。 如果用户选择数据来源为ModelArts数据集，还可以约束以下三种：
单击模型名称，进入模型详情页面，查看模型详情信息。 部署服务并查看详情 在模型详情页面，单击右上角“部署>在线服务”，进入服务部署页面，模型和版本默认选中，选择合适的“实例规格”（例如CPU：2核 8GB），其他参数可保持默认值，单击“下一步”，跳转至服务列表页，当服务状态变为“运行中”，服务部署成功。 单击服务
在“注册镜像”页面，“镜像源”选择上一步上传到SWR自有镜像仓中的镜像名，作为模型推理使用的镜像，“架构”选择“ARM”，“类型”选中“ASCEDN”和“CPU”，按需选择规格，单击“立即注册”。 图7 选择已上传的镜像源 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令，会在当前目录生成cert
endpoints_response Array of Endpoints objects 实例私有IP信息。 flavor String 实例规格名称。 id String 实例ID。 key_pair_name String 密钥对名称。 name String 实例名称。 order_id
endpoints_response Array of Endpoints objects 实例私有IP信息。 flavor String 实例规格名称。 id String 实例ID。 key_pair_name String 密钥对名称。 name String 实例名称。 order_id
单击模型名称，进入模型详情页面，查看模型详情信息。 部署服务并查看详情 在模型详情页面，单击右上角“部署>在线服务”，进入服务部署页面，模型和版本默认选中，选择合适的“实例规格”（例如CPU：2核 8GB），其他参数可保持默认值，单击“下一步”，跳转至服务列表页，当服务状态变为“运行中”，服务部署成功。 单击服务
启动后，ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来存储临时文件。“/cache”目录大小请参考训练环境中不同规格资源“/cache”目录的大小。 训练输出路径参数 建议设置一个空目录为训练输出路径。在训练代码中，您需要解析输出路径参数。系统后台会自动
endpoints_response Array of Endpoints objects 实例私有IP信息。 flavor String 实例规格名称。 id String 实例ID。 key_pair_name String 密钥对名称。 name String 实例名称。 order_id
GBS/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量
GBS/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量
GBS/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量
经济成本。 增量训练特别适用于以下情况： 数据流更新：在实际应用中，数据可能会持续更新，增量训练允许模型适应新的数据而不必重新训练。 资源限制：如果重新训练一个大型模型成本过高，增量训练可以是一个更经济的选择。 避免灾难性遗忘：在传统训练中，新数据可能会覆盖旧数据的知识，导致模型
提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.909版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
