检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rving.csv中，示例如下图所示。 图2 动态benchmark测试结果（示意图） 投机推理benchmark验证 本章节介绍如何进行投机推理benchmark验证。 已经上传投机推理benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU训练指导（6.3.905）
Kernel”如何处理？ 问题现象 现象：创建Notebook文件后，右上角的Kernel状态为“No Kernel”。 原因分析 可能因为用户工作目录下的code.py和创建kernel依赖的import code文件名称冲突。 解决方案 查看“/home/ma-user/log
权重。量化后的权重包括原始权重和kvcache的scale系数。 抽取kv-cache量化系数。 该步骤的目的是将步骤1中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales
模型的开发训练，是基于之前的已有数据（有可能是测试数据），而在得到一个满意的模型之后，需要将其应用到正式的实际数据或新产生数据中，进行预测、评价、或以可视化和报表的形式把数据中的高价值信息以精辟易懂的形式提供给决策人员，帮助其制定更加正确的商业策略。 父主题： AI开发基础知识
其他故障 Notebook中无法打开“checkpoints”文件夹 创建新版Notebook无法使用已购买的专属资源池，如何解决？ 在Notebook中使用tensorboard命令打开日志文件报错Permission denied 父主题： 开发环境
资源池 创建资源池失败 Standard资源池节点故障定位 资源池推理服务一直初始化中如何解决 专属资源池关联SFS Turbo显示异常
送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目录中。 代码目录如下: benchmark_tools
预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称，默认为text。在维基百科数据集中，它有四列，分别是i
权重。量化后的权重包括原始权重和kvcache的scale系数。 抽取kv-cache量化系数。 该步骤的目的是将步骤1中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.909）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU训练指导（6.3.906）
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.908）
1_preprocess_data.sh 、2_convert_mg_hf.sh中的具体python指令，并在Notebook环境中运行执行。用户可通过Notebook中创建.ipynb文件，并编辑以下代码可实现Notebook环境中的数据与OBS中的数据进行相互传递。 import moxing as mox
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 离线训练安装包准备说明 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.910）
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 离线训练安装包准备说明 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.911）
权重。量化后的权重包括原始权重和kvcache的scale系数。 抽取kv-cache量化系数。 该步骤的目的是将步骤1中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales
LabelingStep 属性 描述 是否必填 数据类型 name 数据集标注节点的名称，命名规范(只能包含英文字母、数字、下划线（_）、中划线（-），并且只能以英文字母开头，长度限制为64字符)，一个Workflow里的两个step名称不能重复 是 str inputs 数据集标注节点的输入列表
按需计费：规格单价 * 计算节点个数 * 使用时长 包年/包月：规格单价 * 计算节点个数 * 购买时长 具体计费请以ModelArts价格计算器中的价格为准。 ModelArts Standard专属资源池、自动学习、Workflow、Notebook、训练作业、在线/批量/边缘服务 ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
