检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
out_file_name：输出的sharegpt格式文件地址。 prefix_name：预训练json文件的前缀字段名称，例如：您是一个xxx专家，您需要回答下面问题。prefix_name可设置为None，此时预训练数据集只有input和output两段输入。 input
out_file_name：输出的sharegpt格式文件地址。 prefix_name：预训练json文件的前缀字段名称，例如：您是一个xxx专家，您需要回答下面问题。prefix_name可设置为None，此时预训练数据集只有input和output两段输入。 input
out_file_name：输出的sharegpt格式文件地址。 prefix_name：预训练json文件的前缀字段名称，例如：您是一个xxx专家，您需要回答下面问题。prefix_name可设置为None，此时预训练数据集只有input和output两段输入。 input
String 自动化搜索作业的yaml配置路径，需要提供一个OBS路径。如：“obs://bucket/file.yaml”。 autosearch_framework_path String 自动化搜索作业的框架代码目录，需要提供一个OBS路径。如：“obs://bucket/files/”。
NPU卡存在HBM的ECC错误，此事件上报相应错误信息 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理 NPU: HCCS交换机端口故障 NpuHccsPortFault 重要 NPU的L1 1520交换机端口发生故障 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理
置，否则精度会异常；其他模型不建议开启，因为性能会有损失。 Step2 部署模型 在ModelArts控制台的AI应用模块中，将模型部署为一个AI应用。 登录ModelArts控制台，单击“资产管理 > AI应用 > 创建”，开始创建AI应用。 设置创建AI应用的相应参数。此处仅
en系模型），开启并行可以减少显存占用，以提升推理吞吐量。 Step2 部署模型 在ModelArts控制台的AI应用模块中，将模型部署为一个AI应用。 登录ModelArts控制台，单击“资产管理 > AI应用 > 创建”，开始创建AI应用。 设置创建AI应用的相应参数。此处仅
hostPath: path: ${node-path} 参数说明： ${container_name}：容器名称，此处可以自己定义一个容器名称，例如ascend-vllm。 ${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}
可在右侧下拉框选择已有数据集，或单击“创建数据集”前往新建数据集。 已有数据集：在“数据集”右侧的下拉框中选择，仅展示同类型的数据集供选择。 创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明： “输出路径”是存储自动学习在运行过程中所有产物的路径。
可在右侧下拉框选择已有数据集，或单击“创建数据集”前往新建数据集。 已有数据集：在“数据集”右侧的下拉框中选择，仅展示同类型的数据集供选择。 创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明： “输出路径”是存储自动学习在运行过程中所有产物的路径。
可在右侧下拉框选择已有数据集，或单击“创建数据集”前往新建数据集。 已有数据集：在“数据集”右侧的下拉框中选择，仅展示同类型的数据集供选择。 创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明： “输出路径”是存储自动学习在运行过程中所有产物的路径。
的值的目标路径（Json PATH）。当前支持且仅支持对模型相关所有参数的替换更新，因此前缀固定为“/config/”。例如，当期望更新第一个模型中的实例数量，则路径为“/config/0/instance_count”。 value 否 String 替换的目标值。 响应参数 状态码：
进入容器安装推理依赖软件步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，切换一个conda环境，执行如下命令安装性能测试的关依赖。 conda activate python-3.9.10 pip install -r
examples/deepspeed/ds_z3_config.json 可选项。用于指定DeepSpeed的配置文件相对或绝对路径。DeepSpeed是一个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage
可在右侧下拉框选择已有数据集，或单击“创建数据集”前往新建数据集。 已有数据集：在“数据集”右侧的下拉框中选择，仅展示同类型的数据集供选择。 创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明： “输出路径”是存储自动学习在运行过程中所有产物的路径。
可在右侧下拉框选择已有数据集，或单击“创建数据集”前往新建数据集。 已有数据集：在“数据集”右侧的下拉框中选择，仅展示同类型的数据集供选择。 创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “标签列” 可自行选择您需要预测的列名。 标签列是预测模型的输出。模型训练步骤将
MBS 4 表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
MBS 1 表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
MBS 1 表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
autosearch_config_path 否 String 自动化搜索作业的yaml配置路径，需要提供一个OBS路径。 autosearch_framework_path 否 String 自动化搜索作业的框架代码目录，需要提供一个OBS路径。 command 否 String 自定义镜像场景下，训练作业的自定义镜像的容器的启动命令。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
