检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型的开发训练，是基于之前的已有数据（有可能是测试数据），而在得到一个满意的模型之后，需要将其应用到正式的实际数据或新产生数据中，进行预测、评价、或以可视化和报表的形式把数据中的高价值信息以精辟易懂的形式提供给决策人员，帮助其制定更加正确的商业策略。 父主题： AI开发基础知识
软件包，请严格遵照版本配套关系使用本文档。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。 仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件
AscendCloud-6.3.910-xxx.zip 说明： 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。 说明：
Notebook及线下虚拟机中与云端服务交互，使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、OBS数据复制等。 使用场景 ma-cli已经集成在ModelArts开发环境Notebook中，可以直接使用。 登录ModelArts控制台，在“开发空间
Turbo文件系统联动，可以实现数据灵活管理、高性能读取数据等。通过OBS上传训练所需的模型文件、训练数据等，再将OBS中的数据文件导入到SFS Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格。
当前固定随机性操作可分为工具固定和人工固定两种。 工具固定Seed 对于网络中随机性的固定，msprobe提供了固定Seed的方式，只需要在config.json文件中添加对应seed配置即可。 msprobe工具提供了seed_all接口用于固定网络中的随机数。如果客户使用了工具但取用了其他随机种子，则必须使用客户的随机种子固定随机性。
微调大师：“训练中” AI应用：“运行中” 在线推理服务：“运行中” 计费规则 资源整点扣费，按需计费。 计费的最小单位为秒，话单上报后的每一小时对用户账号进行一次扣费。如果使用过程中暂停、终止了消耗资源的AI Gallery工具链服务，即服务不处于计费的状态中，则系统不会立即扣
Advisor页面的Report选项，可以看到已提交的性能诊断任务详情。 图8 查看性能诊断任务结果 当前支持的状态有“分析中（Analyzing）、成功（Success）和失败（Failed）”。分析中的任务根据性能诊断数据量大小预计将在1~10分钟内完成；成功的任务可单击Report列的View链接
afana查看AOM保存的所有ModelArts Standard的所有指标。具体参见使用Grafana查看AOM中的监控指标。 通过Grafana插件查看AOM中的监控指标的操作流程如下： 安装配置Grafana 安装配置Grafana有在Windows上安装配置Grafana
Arts较多功能需使用OBS中存储的数据，用户可使用OBS SDK进行调用，使用OBS存储您的数据。 OBS提供了多种语言SDK供选择，开发者可根据使用习惯下载OBS SDK进行调用。使用OBS SDK前，需下载OBS SDK包，然后在本地开发环境中安装使用。 详细指导 ：《OBS
”导入模型，则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像，后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全，详细信息可以参见推理基础镜像列表。 推荐将旧版镜像切换为统一镜像，旧版镜像后续将会逐渐下线。 待下线的基本镜像不再维护。 统
该指标描述NPU光模块RX Los flag count instance_id，npu Lite Server支持的事件列表 通过对接CES，可以将业务中的重要事件或对云资源的操作事件收集到CES云监控服务，并在事件发生时进行告警。Lite Server支持的事件来源主要是BMS，具体事件列表如下。
matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam
本案例需要创建一个Notebook，以便能够通过它访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、创建训练任务及性能查看。
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.905）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
功能描述 阶段 相关文档 1 Notebook连接大数据服务特性 介绍如何将ModelArts Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接，让数据工程师能便捷地使用Notebook进行大数据开发，以及如何在DataArts Studio服务配置Notebook文件定时调度任务。
的版本信息。 处理方法 为避免训练作业Pytorch Mox日志反复输出的问题，需要您在“启动文件”中添加如下代码，当“MOX_SILENT_MODE = “1””时，可在日志中屏蔽mox的版本信息： import os os.environ["MOX_SILENT_MODE"]
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.909）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
