检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题1:在训练过程中遇到NPU out of memory 解决方法: 容器内执行以下命令,指定NPU内存分配策略的环境变量,开启动态内存分配,即在需要时动态分配内存,可以提高内存利用率,减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF = exp
问题1:在训练过程中遇到NPU out of memory 解决方法: 容器内执行以下命令,指定NPU内存分配策略的环境变量,开启动态内存分配,即在需要时动态分配内存,可以提高内存利用率,减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF = exp
ChatGLM3-6B或GLM-4-9B调优转换后的模型无法使用权重校验。 处理方法 ChatGLM3-6B或GLM-4-9B模型调优后,不建议进行权重校验。 父主题: Studio
Calling扩展大语言模型对外部环境的理解 本示例将展示如何定义一个获取送货日期的函数,并通过LLM来调用外部API来获取外部信息。 操作步骤 设置Maas的api key和模型服务地址。 import requests from openai import OpenAI client
理精度不理想、模型推理性能不理想、使用Visual Studio报错、使用Xcode构建APP报错等,您可以先查看日志信息进行定位分析。 多数场景下的问题可以通过日志报错信息直接定位。如果日志的信息不能定位问题,您可以通过设置环境变量调整日志等级,打印更多调试日志。 关于如何对MindSpore
处理方法 使用Qwen2.5-72B-1K或Qwen2.5-32B模型的Checkpoint创建模型时,建议关闭权重校验。 父主题: Studio
GPU A系列裸金属服务器无法获取显卡如何解决 问题现象 在A系列裸金属服务器上使用PyTorch一段时间后,出现获取显卡失败的现象,报错如下: > torch.cuda.is_available() /usr/local/lib/python3.8/dist-packages/torch/cuda/__init__
在“我的搭档”页面,按需选择场景化模板。 图6 选择场景化模板 在新的对话窗口,单击左下方的配置图标,在“对话设置”对话框,选择已配置的ModelArts Studio提供方,单击“保存”。 图7 对话设置 使用MaaS的模型进行多轮对话、文案生成、摘要提取等操作。 图8 文案生成示例 父主题: DeepSeek系列模型推理
86版本软件导致的,需要用户使用较低版本的VS Code 。 解决方案 使用VS Code 1.85版本软件。下载链接:https://code.visualstudio.com/updates/v1_85。 父主题: VS Code连接开发环境失败故障处理
适配断点续训,操作指导请参见设置断点续训练。 当训练过程中触发了自动重启,则系统会记录重启信息,在训练作业详情页可以查看故障恢复详情,具体请参见训练作业重调度。 开启无条件自动重启 开启无条件自动重启有2种方式:控制台设置或API接口设置。 控制台设置 在创建训练作业页面,开启“
String 内存。 表48 Npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表49 Memory 参数 参数类型 描述 size Integer 内存大小。 unit
设置断点续训练 什么是断点续训练 断点续训练是指因为某些原因(例如容错重启、资源抢占、作业卡死等)导致训练作业还未完成就被中断,下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。 断点续训练是通过checkpoint机制实现。 checkp
下载工具源码使用。 集群分析工具 MindStudio-Insight 性能可视化工具,采集好的profiling数据可通过该工具进行可视化展示,辅助人工进行profiling数据查看和分析。 windows版本工具,下载链接见教程内。 MindStudio-Insight用户指南 PyTorch
token。 表63 MindStudioInsight 参数 参数类型 描述 url String 训练作业的MindStudio Insight地址。 token String 训练作业的MindStudio Insight token。 请求示例 查询训练作业。设置查询训练作业限制个数
大或者训练层数太多,亦或者其他原因,导致出现“内存不够”问题,最终导致该容器实例崩溃。 出现此问题后,系统将自动重启Notebook,来修复实例崩溃的问题。此时只是解决了崩溃问题,如果重新运行训练代码仍将失败。 如果您需要解决“内存不够”的问题,建议您创建一个新的Notebook
方法2:可以参考如下方法调整代码中的参数,减少内存占用。如果代码调整后仍然出现内存不足的情况,请使用方法1。 调用sklearn方法silhouette_score(addr_1,siteskmeans.labels),可以指定参数sample_size来减少内存占用。 调用train方法的时候
pip源中的pip包更新了,之前能跑通的代码,在包更新之后产生了不兼容的情况,例如transformers包,导致import的时候出现了错误。 用户代码问题,出现了内存越界、非法访问内存空间的情况。 未知系统问题导致,建议先尝试重建作业,重建后仍然失败,建议提工单定位。 处理方法 如果存在之前能跑通,什么都没修改,
String 内存。 表47 Npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表48 Memory 参数 参数类型 描述 size Integer 内存大小。 unit
seed(seed) 设置random随机生成器的种子。 np.random.seed(seed) 设置numpy中随机生成器的种子。 torch.manual_seed(seed) 设置当前CPU的随机种子。 torch.cuda.manual_seed(seed) 设置当前GPU的随机种子。
用户如何设置默认的kernel? 用户希望打开Notebook默认的kernel为自己自定义的kernel。 解决方式: 在Terminal里执行如下命令在镜像里指定环境变量。 # python-3.7.10这里指用户想设置的kernel名称 export KG_DEFAULT_