检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
unzip AscendCloud-*.zip unzip AscendCloud-LLM-*.zip Yi-34B、Qwen1.5系列、GLM4-9B模型执行lora微调策略任务如产生产生mc2融合算子错误，可参考mc2融合算子报错 上传tokenizers文件到工作目录中的
Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据，主要包括PyTorch层算子信息、CANN层算子信息、底层NPU算子信息、以及算子内存占用信息等，可以全方位分析PyTorch训练时的性能状态。
Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据，主要包括PyTorch层算子信息、CANN层算子信息、底层NPU算子信息、以及算子内存占用信息等，可以全方位分析PyTorch训练时的性能状态。
- 自定义算子 是否有自定义算子，CPU还是CUDA，复杂程度。 例如：有5个CUDA自定义算子。1个高复杂度算子，基于C++开发2000行代码。4个中等复杂度算子，基于C++开发，平均每个自定义算子约500行代码。 - 动态shape 是否需要支持动态shape。
- 自定义算子 是否有自定义算子，CPU还是CUDA，复杂程度。 例如：有5个CUDA自定义算子。1个高复杂度算子，基于C++开发2000行代码。4个中等复杂度算子，基于C++开发，平均每个自定义算子约500行代码。 - 动态shape 是否需要支持动态shape。
可参考mc2融合算子报错 父主题： 准备工作
二进制调优使能，减少算子编译耗时，在train.py头文件导入之后添加 （修改点：增加第37行）。
设置数据处理类型“数据选择”，填写相应算子的设置参数，算子的详细参数参见数据去重算子（SimDeduplication算子）和数据去冗余算子（RRD算子）。 图1 设置场景类别和数据处理类型 设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。
rnn类算子、ReduceSum、ReduceMean等算子可能与确定性计算存在冲突，如果开启确定性计算后多次执行的结果不相同，则考虑存在这些算子。 否 函数示例 seed_all函数的随机数种子，取默认值即可，无须配置；第二个参数默认关闭，不开启确定性计算时也无须配置。
设置数据处理类型选择“数据校验”，填写相应算子的设置参数，算子的详细参数参见数据清洗算子（PCC算子）。 图2 设置场景类别和数据处理类型 设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。
部分集合通信算子要求通信域内各rank结果一致，如AllReduce、AllGather等，利用这一特性，工具将多机模型训练中产生的通信输出存盘，并传输到同一节点来比较其一致性，从而确定模型中通信算子的精度是否存在问题。
算子：使用CANN基础算子和高性能融合算子，同时支持用户自定义算子，持续迭代优化，提高推理效率。 模型：结构实现和社区一致，Huggingface模型开箱即用，同时可以快速适配新模型。 调用：提供高性能算子下发和图模式两种方案，兼顾性能和灵活性。
设置数据处理类型为“数据增强”，填写相应算子的设置参数，算子的详细参数参见数据扩增算子说明、数据生成算子（StyleGan算子）和数据域迁移算子（CycleGan算子）。 图1 设置场景类别和数据处理类型 设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。
Lite Cluster高危操作一览表 当您在CCE、ECS或BMS服务控制台直接操作ModelArts Lite Lite Cluster资源时，可能会导致资源池部分功能异常。下表可帮助您定位异常出现的原因，风险操作包括但不限于以下内容。
自动高性能算子生成工具AKG AKG（Auto Kernel Generator）对深度神经网络中的算子进行优化，并提供特定模式下的算子自动融合功能。提升在昇腾硬件后端上运行网络的性能。 AKG由三个基本的优化模块组成：规范化、自动调度和后端优化。
基于PyTorch上的第三方开发库非常多，例如transformers、accelerate、deepspeed以及Megatron-LM等，这些三方库昇腾也做了类似PyTorch Adapter的适配插件库。您可以在Gitee的昇腾官方仓库按需使用插件库。
icAgent icagent default CCE默认安装当前适配版本 无约束 CCE基础组件，用于日志和监控。 父主题： Lite Cluster使用前必读
包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE场景 昇腾随机数生成算子与GPU保持一致 支持GroupNorm+transpose+BMM融合算子 FFN推理算子支持geglu激活函数 支持配套pybind推理的10+算子（matmul
设置数据处理类型为“数据清洗”，填写相应算子的设置参数，算子的详细参数参见数据校验算子说明（MetaValidation算子）。 图2 设置场景类别和数据处理类型 设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。
Matmul_all_reduce融合算子。 使用Matmul_all_reduce融合算子能提升全量推理性能；该算子要求驱动和固件版本为Ascend HDK 24.1.RC1.B011及以上，默认不开启。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
