正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看环境变量的值:单击,可以查看当前环境变量的值。 新增环境变量:单击“新增”,在编辑环境变量弹窗中配置“变量名称”和“变量值”,单击“确定”完成配置。 修改环境变量:单击,在编辑环境变量弹窗中修改“变量名称”或“变量值”,单击“确定”完成配置。 删除环境变量:单击,确认永久删除环境变量,单击“确定”完成删除。
e的编译任务,从而能够在推理时支持多种shape的输入。 动态batch 在模型转换阶段通过--configFile参数指定配置文件,并且在配置文件中配置input_shape及dynamic_dims动态参数。其中input_shape的-1表示动态shape所在的维度,dyn
限制。这种场景下,建议找到原始镜像重新构建环境进行保存。 解决方法 找到原始镜像重新构建环境。建议使用干净的基础镜像,最小化的安装运行依赖内容,并进行安装后的软件缓存清理,然后保存镜像。 父主题: 镜像保存故障
域。 配置训练作业参数 在PyCharm中,打开训练代码工程和训练启动文件,然后在菜单栏中选择“ModelArts > Training Job > New...”。 图1 选择作业配置 在弹出的对话框中,设置训练作业相关参数,详细参数说明请参见表1。 表1 训练作业配置参数说明
模型训练前,一般会先对代码进行调试,ModelArts提供多种方式创建调试训练作业。 ModelArts提供了云化版本的JupyterLab,无需关注安装配置,即开即用。 ModelArts也提供了本地IDE的方式开发模型,通过开启SSH远程开发,本地IDE可以远程连接到调试训练作业中,进行调
User:用户名,例如:ma-user - HostName:IP地址 - Port:端口号 在VS Code中手工配置远程连接时,在本地的ssh config文件中增加配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”
User:用户名,例如:ma-user - HostName:IP地址 - Port:端口号 在VS Code中手工配置远程连接时,在本地的ssh config文件中增加配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”
与优化,一般来说分段对比GPU的运行性能会有比较好的参考。算子级的调优某些情况下如果是明显的瓶颈或者性能攻坚阶段,考虑到门槛较高,可以联系华为工程师获得帮助。 精度问题根因和表现种类很多,会导致问题定位较为复杂,一般还是需要GPU上充分稳定的网络(包含混合精度)再到NPU上排查精
CUDA is not enabled” 原因分析 出现该问题的可能原因如下: 新安装的包与镜像中带的CUDA版本不匹配。 处理方法 必现的问题,使用本地Pycharm远程连接Notebook调试安装。 先远程登录到所选的镜像,使用“nvcc -V”查看目前镜像自带的CUDA版本。
重转换。 Step1 修改训练超参配置 SFT微调脚本qwen.sh,存放在xxx-Ascend/llm_train/AscendSpeed/scripts/qwen目录下。训练前,可以根据实际需要修改超参配置。 微调任务配置,操作同预训练配置类似,不同点为RUN_TYPE类型不
Step1 修改训练超参配置 SFT全参微调脚本glm3_base.sh,存放在Ascenxxx-Ascend/llm_train/AscendSpeed/scripts/glm3目录下。训练前,可以根据实际需要修改超参配置。 微调任务配置,操作同预训练配置类似,不同点为RUN_T
可提升在昇腾硬件后端上运行模型的性能。 AKG的配置也是在模型转换阶段进行配置(即执行converter_lite命令时),通过指定对应的配置文件akg.cfg,设置对应的akg优化级别,并且在模型转换时参考样例进行对应的配置。 # akg.cfg [graph_kernel_param]
图1 netron中查看inputShape 精度选择。 精度选择需要在模型转换阶段进行配置,执行converter_lite命令式通过--configFile参数指定配置文件路径,配置文件通过precision_mode参数指定精度模式。可选的参数有“enforce_fp32
者方法 第三方pip源中的python包版本更新,导致在训练作业中安装的python包的版本可能也会发生变化。如训练作业之前无此问题,后面一直有此问题,则考虑是此原因。 处理方法 通过Notebook调试。 安装时指定版本。如:pip install xxx==1.x.x 第三方
/ : * ? " < > | ' &”。 选择运行环境:CPU、GPU或ASCEND。 勾选“我已阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》”。 图2 发布AI Gallery Notebook 界面提示成功创建分享后,返回至AI
使用PyCharm上传数据至Notebook 前提条件 本地已安装2019.2-2023.2之间(包含2019.2和2023.2)版本的PyCharm专业版。SSH远程开发功能只限PyCharm专业版。单击PyCharm工具下载地址下载并完成安装。 Step1 下载并安装PyCharm ToolKit 在PyCharm中选择“File
是否必选 参数类型 描述 os.modelarts/name 是 String 用户指定的network名称。 os.modelarts/workspace.id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。
如果存在之前能跑通,什么都没修改,过了一阵跑不通的情况,先去排查跑通和跑不通的日志是否存在pip源更新了依赖包,如下图,安装之前跑通的老版本即可。 图1 PIP安装对比图 推荐您使用本地Pycharm远程连接Notebook调试。 如果上述情况都解决不了,请联系技术支持工程师。 建议与总结
LoRA微调超参配置 本章节介绍LoRA微调训练前的超参配置,可以根据实际需要修改。 LoRA微调训练脚本baichuan2.sh,存放在llm_train/AscendSpeed/script/baichuan2/目录下。训练前,可以根据实际需要配置超参配置。 微调任务配置,操作同预
数据集创建节点的输出列表。 是 CreateDatasetOutput或者CreateDatasetOutput的列表 properties 数据集创建相关的配置信息。 是 DatasetProperties title title信息,主要用于前端的名称展示。 否 str description 数据集创建节点的描述信息。