检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其
本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Cluster上的训练方案。训练框架使用的是ModelLink。 本方案目前仅适用于企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制
Lite Server上，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成Open-Sora-Plan1.0训练和推理。 方案概览 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 适配的Cann版本是cann_8.0.rc2。
AI模型开发完成后，在ModelArts服务中可以将AI模型创建为模型，将模型快速部署为推理服务，您可以通过调用API的方式把AI推理能力集成到自己的IT平台，或者批量生成推理结果。 图1 推理简介 训练模型：可以在ModelArts服务中进行，也可以在您的本地开发环境进行，本地开发的模型需要上传到华为云OBS服务。
本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts
售出和购买商品需要您按照指导注册华为帐号并开通华为云。如果您是卖家则需要完成实名认证并进行华为云云商店入驻。 如果您是卖家，您可以在云商店查看自己售卖的商品是否上架成功。在云商店右上方单击“卖家中心 > 进入卖家中心”，选择“商品管理 > 我的商品”查看在售卖的商品。 如果您是买家，您可以在云商店搜索
本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制
单击目标Workflow进入详情页面。 在详情页面您可以查看Workflow的“描述”、“交付”、“版本”、“限制”和“评论”等信息。 在详情页面单击“订阅”。 如果订阅的是非华为云官方资产，则会弹出“温馨提示”页面，勾选并阅读《数据安全与隐私风险承担条款》和《华为云AI Gallery服务协议》后
Gallery CLI配置工具指南 安装Gallery CLI配置工具 使用Gallery CLI配置工具下载文件 使用Gallery CLI配置工具上传文件 父主题： AI Gallery（新版）
构建模型 自定义模型规范 自定义镜像规范 使用AI Gallery SDK构建自定义模型 父主题： 发布和管理AI Gallery模型
合作伙伴 注册伙伴 发布解决方案 父主题： AI Gallery（旧版）
Session鉴权 （可选）Session鉴权 用户名密码认证模式 用户AK-SK认证模式
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务
数据管理 数据集管理 数据集版本管理 样本管理 导入任务管理 导出任务管理 Manifest管理 标注任务管理
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题： 数据管理
导入任务管理 查询导入任务列表 创建导入任务 查询导入任务状态 父主题： 数据管理
训练管理 训练作业 资源和引擎规格接口
Lite Cluster资源配置 Lite Cluster资源配置流程 配置Lite Cluster网络 配置kubectl工具 配置Lite Cluster存储 （可选）配置驱动 （可选）配置镜像预热
Lite Cluster资源使用 在Lite Cluster资源池上使用Snt9B完成分布式训练任务 在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 在Lite Cluster资源池上使用Snt9B完成推理任务
监控Lite Cluster资源 使用AOM查看Lite Cluster监控指标 使用Prometheus查看Lite Cluster监控指标 父主题： Lite Cluster资源管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
