检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布技术文章（AI说） AI Gallery中的“AI说”，是一个AI开发人员的交流园地。在这里可以阅读其他用户分享的技术文章，并参与评论。也可以发布分享个人技术文章。 前提条件 已入驻AI Gallery。 发布技术文章 进入AI Gallery首页，单击“AI说”，在下拉框中单击“AI说 >”，进入AI说首页。
发布免费算法 在AI Gallery中，您可以将个人开发的算法免费分享给他人使用。 前提条件 在ModelArts的算法管理中已准备好待发布的算法。创建算法的相关操作请参见创建算法。 创建算法时，算法代码存储的OBS桶内不能存在文件和文件夹重名的情况，这样算法可能会发布失败。如果算法发布成功，则代码开放会失败。
团队标注使用说明 数据标注任务中，一般由一个人完成，但是针对数据集较大时，需要多人协助完成。ModelArts提供了团队标注功能，可以由多人组成一个标注团队，针对同一个数据集进行标注管理。 团队标注功能仅在以下Region支持：华北-北京四、华北-北京一、华东-上海一、华南-广州
如果样本数少于待分配成员时，部分成员会存在未分配到样本的情况。样本只会分配给labeler，比如10000张都是未标注，且5个都是labeler的话，那就是每个人分2000。 父主题： Standard数据准备
推理业务迁移到昇腾的通用流程，可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制，访问Stable Diffusion链接时需使用代理服务器，否则可能无法访问网站。 在Stable Diffusion迁移适配时，更多的时候是在适配Diffusers和Stable
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch
following packages that were not found in your environment: flash_attn 根因：昇腾环境暂时不支持flash_attn接口 规避措施：修改dynamic_module_utils.py文件，将180-184行代码注释掉 vim
下载Megatron-LM、MindSpeed、ModelLink源码，并将以上源码打包至镜像环境中。 若用户希望修改源码，则需要使用新镜像创建容器，在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 Notebook中构建新镜像方案
Telnet 23 使用Telnet协议访问网站。 SMTP 25 SMTP服务器所开放的端口，用于发送邮件。 基于安全考虑，TCP 25端口出方向默认被封禁，申请解封请参考TCP 25端口出方向无法访问时怎么办？。 HTTP 80 使用HTTP协议访问网站。 POP3 110 使用POP3协议接收邮件。
载Megatron-LM、MindSpeed、ModelLink源码，并将以上源码打包至镜像环境中。 如果用户希望修改源码，则需要使用新镜像创建容器，在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上方案时，都会下载Mega
载Megatron-LM、MindSpeed、ModelLink源码，并将以上源码打包至镜像环境中。 如果用户希望修改源码，则需要使用新镜像创建容器，在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上方案时，都会下载Mega
载Megatron-LM、MindSpeed、ModelLink源码，并将以上源码打包至镜像环境中。 如果用户希望修改源码，则需要使用新镜像创建容器，在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上方案时，都会下载Mega
载Megatron-LM、MindSpeed、ModelLink源码，并将以上源码打包至镜像环境中。 如果用户希望修改源码，则需要使用新镜像创建容器，在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上方案时，都会下载Mega
ed参数。 是否开启NPU FlashAttention融合算子，具体约束详见NPU_Flash_Attn融合算子约束 是，配置以下参数。 flash_attn: sdpa 否，注释掉flash_attn: sdpa参数 是否使用固定句长。 是，配置以下参数 packing: true
问题3：训练过程报错：ImportError: XXX not found in your environment: flash_attn 根因：昇腾环境暂时不支持flash_attn接口 规避措施：修改dynamic_module_utils.py文件，将180-184行代码注释掉 vim
载Megatron-LM、MindSpeed、ModelLink源码，并将以上源码打包至镜像环境中。 如果用户希望修改源码，则需要使用新镜像创建容器，在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 使用以上方案时，都会下载Mega
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
