检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在维基百科数据集中，它有四列，分别是id、url、title和text。可以指定–json-key标志来选择用于训练的列。
在维基百科数据集中，它有四列，分别是id、url、title和text。可以指定–json-key标志来选择用于训练的列。
在维基百科数据集中，它有四列，分别是id、url、title和text。可以指定–json-key标志来选择用于训练的列。
算子：使用CANN基础算子和高性能融合算子，同时支持用户自定义算子，持续迭代优化，提高推理效率。 模型：结构实现和社区一致，Huggingface模型开箱即用，同时可以快速适配新模型。 调用：提供高性能算子下发和图模式两种方案，兼顾性能和灵活性。
满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC
满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC
满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC
是否开启NPU FlashAttention融合算子，具体约束详见NPU_Flash_Attn融合算子约束 是，配置以下参数。 flash_attn: sdpa 否，注释掉flash_attn: sdpa参数 是否使用固定句长。
支持单机多卡推理 ATB模式支持w8a16量化，推理性能提升 配套CANN8.0.RC1镜像 无 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE场景 昇腾随机数生成算子与GPU保持一致 支持GroupNorm+transpose+BMM融合算子
步骤三 启动任务 Yi-34B、Qwen1.5系列、GLM4-9B模型执行lora微调策略任务如产生产生mc2融合算子错误，可参考mc2融合算子报错 创建test-benchmark，该目录存放训练生成的权重文件及训练日志可以多次执行， # 任意目录创建 mkdir test-benchmark
aoe_unet_graph.mindir --device=Ascend --numThreads=1 --parallelNum=1 --workersNum=1 --warmUpLoopCount=100 --loopCount=100 图1 调优前模型 图2 调优后模型 AOE优化成功的mindir已经融合了优化的知识库
在维基百科数据集中，它有四列，分别是id、url、title和text。可以指定–json-key标志来选择用于训练的列。
FA配置 超参数为use-flash-attn，决定训练过程中的Attention模块是否使用融合flash attention算子（性能较优）或者使用小算子。
是否开启NPU FlashAttention融合算子，具体约束详见NPU_Flash_Attn融合算子约束 是，配置以下参数。 flash_attn: sdpa 否，配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。
是否开启NPU FlashAttention融合算子，具体约束详见NPU_Flash_Attn融合算子约束 是，配置以下参数。 flash_attn: sdpa 否，配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。
(6.3.906) 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 新增random随机数算子，优化FFN算子，满足AIGC等场景 新增自定义交叉熵融合算子
是否开启NPU FlashAttention融合算子，具体约束详见NPU_Flash_Attn融合算子约束 是，配置以下参数。 flash_attn: sdpa 否，配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。
是否开启NPU FlashAttention融合算子，具体约束详见NPU_Flash_Attn融合算子约束 是，配置以下参数。 flash_attn: sdpa 否，配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。
6 disable_affinity_api False 否 关闭亲和算子（融合算子、亲和优化器）API分析。对于首次从gpu迁移至npu的训练任务性能分析，建议保留该参数，替换亲和算子API通常能获得一定性能收益。
AOE性能自动调优 AKG MindSpore自动调优工具，提供算子自动优化和算子自动融合的功能，推荐在mindspore-lite离线推理场景下使用。 下载工具源码使用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
