检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0/0、端口为8080的请求放行。 否 str cluster_id 专属资源池ID，默认为空，不使用专属资源池。使用专属资源池部署服务时需确保集群状态正常；配置此参数后，则使用集群的网络配置，vpc_id参数不生效；与下方real-time config中的cluster_id同时配置时，优先使用real-time
放被挂载的NPU。 检查containerd是否安装。 containerd -v # 检查containerd是否安装 在创建CCE集群时，会选择containerd作为容器引擎，并默认给机器安装。如尚未安装，说明机器操作系统安装错误。需要重新纳管机器，重新安装操作系统。
PAAS.NODE： 主机指标、网络指标、磁盘指标和文件系统指标的命名空间 PAAS.SLA：SLA指标的命名空间 PAAS.AGGR：集群指标的命名空间 CUSTOMMETRICS：默认的自定义指标的命名空间 表6 dimensions 参数 参数类型 描述 name String
另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
HCCL RANK_TABLE_FILE文件说明 Ascend HCCL RANK_TABLE_FILE文件提供Ascend分布式训练作业的集群信息，用于Ascend芯片分布式通信，可以被HCCL集合通信库解析。该文件格式有模板一和模板二两个版本。 ModelArts提供的是模板二
高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探这些。 容量
WebUI套件用于推理的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买Cluster资源。 本方案目前仅适用于企业客户，并且需要用户具备k8s集群相关技能。 资源规格要求 推理部署推荐使用“西南-贵阳一”Region上的Cluster资源。 获取软件 获取插件代码包AscendCloud-6
选择“明细账单”，在账单列表中，单击复制资源名称。 图5 复制资源名称 登录ModelArts管理控制台，在左侧导航栏选择“AI专属资源池 > 弹性集群Cluster”，进入Standard资源池列表页面。 在搜索框中输入2中复制的资源名称，单击图标即可查找到该资源。 图6 查找资源 单击操作列的“更多
关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。
idle：安全升级，待节点上没有作业运行时进行驱动升级 表12 PoolStatus 参数 参数类型 描述 phase String 资源池集群状态。可选值如下： Creating：创建中 Running：运行中 Abnormal：资源池不正常 Deleting：删除中 Error：资源池错误
join：训练进程拉起后，msrun进程是否仍存在，默认配置为“True”，等待所有进程退出后再退出。 cluster_time_out：集群组网超时时间，默认是“600s”，可通过环境变量“MSRUN_CLUSTER_TIME_OUT”控制。 rank_table_file：rank
HPS：超节点服务 userdata 否 String 创建服务器时，用户自己定义数据。 hps_cluster_id 否 String 超节点集群网络信息，仅创建超节点需要该参数。 表3 ChargingInfo 参数 是否必选 参数类型 描述 charging_mode 是 String
idle：安全升级，待节点上没有作业运行时进行驱动升级 表12 PoolStatus 参数 参数类型 描述 phase String 资源池集群状态。可选值如下： Creating：创建中 Running：运行中 Abnormal：资源池不正常 Deleting：删除中 Error：资源池错误
训练脚本说明 训练启动脚本说明和参数配置 训练tokenizer文件说明 断点续训和故障快恢说明 父主题： 工作负载Pod异常
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 准备Notebook（可选） 父主题： 工作负载Pod异常
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡。
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli是
准备镜像 镜像方案说明 ECS获取和上传基础镜像 ECS中构建新镜像（可选） 父主题： 准备工作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
