检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古大模型服务(PanguLargeModels)致力于深耕行业,打造多领域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深,带您玩转盘古大模型
部署ABI Weblogic 12c中部署 Weblogic管理控制台访问地址:http://服务器IP:7001/console。在IE浏览器里键入该地址,进入Weblogic控制台登录页面,输入用户名和密码进行登录。 图1 部署1 登录成功后,就出现Weblogic的控制台管理界面,如下:
使用MobaXterm工具SSH连接Notebook后,经常断开或卡顿,如何解决? 问题现象 MobaXterm成功连接到开发环境后,过一段时间会自动断开。 可能原因 配置MobaXterm工具时,没有勾选“SSH keepalive”或专业版MobaXterm工具的“Stop server
报错“ssh: connect to host xxx.pem port xxxxx: Connection refused”如何解决? 问题现象 原因分析 网络不通;端口不通。 解决方法 检查实例是否运行。 请前往ModelArts控制台查看实例是否处于运行状态,如果实例已停止
如何将Java或者Tomcat应用打包成压缩包用于虚拟机部署方式部署组件? 使用虚拟机部署方式部署组件时,ServiceStage支持将Java或者Tomcat应用打包成zip或者tar.gz压缩包用于部署。 应用压缩包内目录总体结构说明 Java应用压缩包示例:https://github
发布已定义的流程服务编排 发布流程服务编排 登录流程引擎。 在左侧导航栏中,选择“流程编排服务 > 流程服务编排”,进入“流程服务编排”页面。 在“流程服务编排”页面,您可以通过如下方式发布流程服务编排。 单个发布:在“服务状态”为“草稿”的流程服务编排所在行,单击。 图1 单个发布流程服务编排
绑定目标服务到应用网关 为应用网关绑定目标服务,以便网关获取组件微服务地址。 操作步骤 为准备资源时创建的应用网关创建服务来源,请参考创建服务来源。 服务来源参数请参考下表进行设置。 参数名称 参数说明 来源类型 目标服务的来源,选择“CSE ServiceComb引擎”。 来源名称
管理禁用资产 当用户不再使用某些组件、库或桥接器时,可在AstroZero环境配置中禁用相应资产。资产禁用后,可在此处查看、启用或删除已禁用的资产。 管理禁用资产 在AstroZero服务控制台,单击“进入首页”,进入应用开发页面。 在页面左上方单击,选择“环境管理 > 环境配置”,进入环境配置。
管理页面模板 AstroZero支持用户将高级页面发布为页面模板,便于后续复用,减少重复开发,提高交付效率。在页面模板管理中,可以管理该账号下所有用户创建的高级页面模板。 管理页面模板 在AstroZero服务控制台,单击“进入首页”,进入应用开发页面。 在页面左上方单击,选择“环境管理
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.908)
训练tokenizer文件说明 在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可在创建的Notebook中对tokenizer文件进行编辑。 Yi模型 在使用Yi模型的chat版本时,由于transformer 4.3
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.911)
使用kv-cache-int8量化 kv-cache-int8是实验特性,在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化,支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,如果直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行 install.sh文件,来安装依赖以及下载完整代码。
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具,通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.909)
训练性能测试 流程图 训练性能测试流程图如下图所示: 图1 训练性能测试流程 执行训练任务 进入test-benchmark目录执行训练命令,可以多次执行,卡数及其它配置参考NPU卡数取值表按自己实际情况决定。 单机<可选>: # 默认8卡 benchmark-cli train
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具,通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。
训练tokenizer文件说明 在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可在创建的Notebook中对tokenizer文件进行编辑。 LLama2模型 在当前的软件版本中,由于transformers的版本过高(transformers==4
将已归档的弹性云服务器主机恢复至可用状态 弹性云服务器主机长时间不使用会进入到归档状态,归档状态即一种暂时回收的状态。恢复主机状态可以将已归档主机恢复到可用状态。 前提条件 已获取基础运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 恢复主机状态 进入AppStage运维中心。