检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio大模型即服务平台(下面简称为MaaS),使用Qwen2-7B模型可以实现新闻自动分类,能够高效处理和分类大量新闻内容。 该解决方案可以应用于如下场景: 新闻门户网站: 自动将新闻内容归类到相应板块,如科技、体育或国际新闻,以提升用户体验和内容检索效率。 社交媒体平台: 对用户分享的新闻链接进行智能分类,帮助用户迅速定位到感兴趣的话题。
使用ModelArts Studio的Qwen2-7B模型框架实现对话问答 仅“华东二”和“西南-贵阳一”区域支持使用ModelArts Studio大模型即服务平台(MaaS)。 MaaS是白名单功能,如果有试用需求,请先申请权限。 场景描述 本案例用于指导用户使用ModelArts
在ModelArts的Notebook中使用VS Code调试代码无法进入源码怎么办? 如果已有launch.json文件,请直接看步骤三。 步骤一:打开launch.json文件 方法一:单击左侧菜单栏的Run(Ctrl+Shift+D)按钮,再单击create a launch
在ModelArts中如何将Notebook A的数据复制到Notebook B中? 目前不支持直接将Notebook A的数据复制到Notebook B,如果需要复制数据,可参考如下步骤操作: 将Notebook A的数据上传至OBS; 下载OBS中的数据至Notebook B。
在Lite Cluster资源池上使用Snt9B完成推理任务 场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务,随后登录至该Pod容器内部署在线服务,并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。
CogVideoX1.5 5b模型基于DevServer适配PyTorch NPU全量训练指导(6.3.912) 本文档主要介绍如何在ModelArts的DevServer环境中,使用NPU卡对CogVideoX模型进行全量微调。本文档中提供的脚本,是基于原生CogVideoX的
InternVL2基于DevServer适配PyTorch NPU训练指导(6.3.912) 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展InternVL2-8B, InternVL2-26B和Intern
昇腾云服务6.3.904版本说明 昇腾云服务6.3.904版本发布支持的软件包和能力说明如下,软件包获取路径:Support-E网站。 发布包 软件包特性说明 配套说明 备注 昇腾云模型代码 三方大模型,包名:AscendCloud-3rdLLM PyTorch框架下支持如下模型训练:
图模式 什么是PTA图模式 PTA图模式使用TorchAir框架(继承自PyTorch框架Dynamo模式)在昇腾NPU上进行图模式推理,可达到最大化消除算子下发瓶颈的目的。推荐在小模型以及MOE模型的场景开启PTA图模式,如Qwen2-1.5B,Qwen2-0.5B,mixtr
在Lite Cluster资源池上使用Snt9B完成分布式训练任务 场景描述 本案例介绍如何在Snt9B上进行分布式训练任务,其中Cluster资源池已经默认安装volcano调度器,训练任务默认使用volcano job形式下发lite池集群。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。
推理业务迁移到昇腾的通用流程,可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制,访问Stable Diffusion链接时需使用代理服务器,否则可能无法访问网站。 在Stable Diffusion迁移适配时,更多的时候是在适配Diffusers和Stable
mc2融合算子报错 Yi-34B、Qwen1.5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件:AscendFactory/scripts_modellink/{model_name}/3_training
因增加nfa和使用npu_geglu算子(用于训练和推理加速),将diffusers源码包中的attention.py和attention_processor.py替换成代码包中对应的文件。 图2 文件替换 可以使用find命令来查找diffusers源码包位置。 find / -name attention
下载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 若用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 Notebook中构建新镜像方案
载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上方案时,都会下载Mega
载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上方案时,都会下载Mega
载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要
载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要
stable-diffusion-v1-5 pytorch_models 此处由于Huggingface网站的限制以及模型文件的大小原因,很可能会下载失败。您可以登录Huggingface网站,从浏览器下载模型后,再手动上传到物理机/home/pytorch_models目录下。 通过git下载sd
载Megatron-LM、MindSpeed、ModelLink源码,并将以上源码打包至镜像环境中。 如果用户希望修改源码,则需要使用新镜像创建容器,在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上方案时,都会下载Mega