检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
性能调优 Profiling数据采集 使用Advisor工具分析生成调优建议 调优前后性能对比 父主题: Dit模型PyTorch迁移与精度性能调优
准备工作 准备资源 准备权重 准备代码 准备镜像 准备Notebook 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.907)
昇腾迁移快速入门案例 ModelArts提供了两个昇腾迁移案例,方便您快速了解并完成昇腾迁移过程。 约束限制 当前仅贵阳一区域支持选择本案例中的规格及镜像。 操作步骤 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”管理页面。
主流开源大模型基于Lite Server适配PyTorch NPU训练指导(6.3.906) 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 父主题: LLM大语言模型训练推理
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
准备权重 获取对应模型的权重文件,获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件,例如在桶中创建文件夹。将下载的权重文件上传至OBS中,得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
准备代码 本教程中用到的模型软件包如下表所示,请提前准备好。 获取配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-3rdLLM-6.3.905-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
MindSpore日志提示“ retCode=0x91, [the model stream execute failed]” 问题现象 使用mindspore进行训练时,出现如下报错: [ERROR] RUNTIME(3002)model execute error, retCode=0x91
日志提示“Runtimeerror: Dataloader worker (pid 46212 ) is killed by signal: Killed BP” 问题现象 训练作业日志运行出现如下报错:Runtimeerror: Dataloader worker (pid 46212
维护厂家型号需要满足什么条件 维护厂家型号需要满足以下条件: 当前用户拥有更新权限。 部件是当前用户检出或者当前用户拥有管理员权限。 当前页面是工作副本页。 当前用户属于“TQC”群组。 不是样品编码。 不是Item分层分级规则赋予的更新权限。 父主题: 部件与物料清单
管理虚拟机部署组件应用配置 ServiceStage提供了配置管理能力。通过创建统一的配置文件,您可以将组件所在环境和应用的系统信息(例如环境关联的IP、端口、数据库地址,应用关联的应用名称等)填充到配置文件对应的变量中,通过文件挂载实现一次配置、多环境组件发布和升级。 本章节指导您管理组件的配置文件:
在WiseDBA中执行SQL查询及表结构查询 WiseDBA数据查询功能可以帮助业务简化现网的SQL查询流程,避免SRE直接操作数据库。 前提条件 需要具备AppStage服务运维岗位权限、服务研发岗位权限、运维管理员权限或基础运维岗位权限,权限申请操作请参见AppStage组织成员申请权限。
TypeError: not supported between instances of 'str' and 'float' 问题现象 在judge日志中出现TypeError: not supported between instances of 'str' and 'float'提示。
judge长时间处于SUBMIT状态直至失败 问题现象 judge记录一直处于提交未执行SUBMIT状态,直至失败FAIL。 可能原因 后端任务内存溢出,可以在训练日志中的ad-agent日志找到报错java.lang.OutOfMemoryError:Java heap space。
重试/停止/运行Workflow节点 重试/停止/继续运行Workflow节点 重试 当单个节点运行失败时,用户可以通过重试按钮重新执行当前节点,无需重新启动工作流。在当前节点的运行状况页面,单击“重试”。在重试之前您也可以前往权限管理页面修改配置,节点重试启动后新修改的配置信息可以在当前执行中立即生效。
同步Lite Server服务器状态 Lite Server为一台弹性裸金属服务器,当用户在云服务器页面修改了裸金属服务器状态后,您可通过“同步”功能,同步其状态至ModelArts。 登录ModelArts管理控制台。 在左侧导航栏中,选择“AI专属资源池 > 弹性节点 Server”,进入“节点”列表页面。
查询微服务引擎专享版列表 功能介绍 查询微服务引擎专享版列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/enginemgr/engines
获取微服务引擎专享版用户Token 功能介绍 仅用于开启了安全认证的微服务引擎专享版。 在访问开启了安全认证的微服务引擎专享版的接口前,需要先调用该接口获取用户Token,该Token是访问接口的唯一凭据。 发送访问请求时需要在请求头中带上该Token,格式为: Authorization:Bearer
根据环境ID删除环境 功能介绍 此API通过环境ID删除环境。 调试 您可以在API Explorer中调试该接口。 URI DELETE /v2/{project_id}/cas/environments/{environment_id} 表1 路径参数 参数 是否必选 参数类型
账号管理 您可以使用微服务引擎下关联了admin角色权限的账号登录该微服务引擎控制台,根据实际业务需求创建新账号或对该引擎下已创建的指定账号进行管理操作。 表1 账号管理操作说明 操作 说明 新增账号 根据实际业务需求创建新账号,把合适的角色同账号关联,使用该账号的用户则具有对该微服务引擎的相应的访问和操作权限。