检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附录：工作负载Pod异常问题和解决方法 Pod状态为Pending 当Pod状态长时间为“Pending”，事件中出现“实例调度失败”的信息时，可根据具体事件信息确定具体问题原因。 图1 pod状态pending 通过以下命令打印Pod日志信息。 kubectl describe
工作负载Pod异常 Pod状态为Pending 当Pod状态为“Pending”，事件中出现“实例调度失败”的信息时，可根据具体事件信息确定具体问题原因。具体参考链接为工作负载状态异常定位方法。 通过以下命令打印Pod日志信息。 kubectl describe pod ${pod_name}
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
工作负载Pod异常 Pod状态为Pending 当Pod状态为“Pending”，事件中出现“实例调度失败”的信息时，可根据具体事件信息确定具体问题原因。具体参考链接为工作负载状态异常定位方法。 通过以下命令打印Pod日志信息。 kubectl describe pod ${pod_name}
工作负载Pod异常 Pod状态为Pending 当Pod状态为“Pending”，事件中出现“实例调度失败”的信息时，可根据具体事件信息确定具体问题原因。具体参考链接为工作负载状态异常定位方法。 通过以下命令打印Pod日志信息。 kubectl describe pod ${pod_name}
修复Standard专属资源池故障节点 Standard专属资源池支持对故障节点进行修复操作，目前提供了替换节点、高可用冗余节点、重置节点和重启节点等方式。华为云技术支持在故障定位和性能诊断时，部分运维操作需要用户授权才可进行，本章节同时也介绍了如何进行授权操作。 故障节点处理方式
查看批量服务详情 当模型部署为批量服务成功后，您可以进入“批量服务”页面，来查看服务详情。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署>批量服务”，进入“批量服务”管理页面。 单击目标服务名称，进入服务详情页面。 您可以查看服务的“名称”、“状态”等信息，详情说明请参见表1。
在Standard上部署SD WebUI推理服务 本文档主要介绍如何在ModelArts Standard的推理环境上部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 完成在DevServer上部署SD WebUI推理服务章节的任务后，如果还需要在Mo
配置仪表盘查看指标数据 Grafana中可以自定义配置各种视图的仪表盘，ModelArts也提供了针对集群的配置模板。本章节通过使用ModelArts提供的模板查看指标和创建Dashboards查看指标的方式，说明如何进行仪表盘配置。Grafana的更多使用请参考Grafana官方文档。
创建训练任务 针对专属池场景，应注意挂载的目录设置和调试时一致。 登录ModelArts管理控制台，检查当前账号是否已完成访问授权的配置。如果未完成，请参考使用委托授权。针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作
创建Standard专属资源池 本章节主要介绍创建Standard专属资源池的详细操作。 前提条件 已经创建虚拟私有云。 已经创建子网。 步骤一：创建网络 ModelArts网络是承载ModelArts资源池节点的网络连接，基于华为云的VPC进行封装，对用户仅提供网络名称以及CI
重置节点后无法正常使用？ 问题现象 当ModelArts Lite的CCE集群在资源池上只有一个节点，且用户设置了volcano为默认调度器时，在ModelArts侧进行重置节点的操作后，节点无法正常使用，节点上的POD会调度失败。 原因分析 在ModelArts侧进行节点重置后
VS Code连接Notebook方式介绍 Visual Studio Code (VS Code) 是一个流行的代码编辑器，它支持多种编程语言和开发环境。支持通过VS Code连接和使用Jupyter Notebook。 当用户创建完成支持SSH的Notebook实例后，使用VS
创建网络 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群 Cluster”，进入“弹性集群 Cluster”页面。 切换到“网络”页签，单击“创建”，弹出“创建网络”页面。 图1 网络列表 在“创建网络”弹窗中填写网络信息。 网络名称：创建网络时默认生成网络名称，也可自行修改。
在ModelArts上如何提升训练效率并减少与OBS的交互？ 场景描述 在使用ModelArts进行自定义深度学习训练时，训练数据通常存储在对象存储服务（OBS）中，且训练数据较大时（如200GB以上），每次都需要使用GPU资源池进行训练，且训练效率低。 希望提升训练效率，同时减
创建训练任务 登录ModelArts管理控制台，检查当前账号是否已完成访问授权的配置。如果未完成，请参考使用委托授权针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作业”，默认进入“训练作业”列表。单击“创建训练作业”进入创建训练作业页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
