检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元模型来源：选择“从对象存储服务（OBS）中选择”。 选择元模型：从OBS中选择一个模型包。 AI引擎：选择“Custom”。 引擎包：从容器镜像中选择一个镜像。 容器调用接口：端口和协议可根据镜像实际使用情况自行填写。 其他参数保持默认值。 单击“立即创建”，跳转到模型列表页，查看模型状态，当状态变为“正常”，模型创建成功。
el-len。 e5-mistral-7B和gte-Qwen2-7B-instruct模型，使用openai启动服务，发送推理请求使用的是接口curl -X POST http://localhost:port/v1/embedding。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明
msprobe使用手册 性能调优 PyTorch Profiler 性能采集工具，在训练脚本中调用Ascend PyTorch Profiler接口，可在训练过程中采集性能数据文件，包括PyTorch层算子信息、CANN层算子信息、底层NPU算子信息、以及算子内存占用信息等。 包含在torch_npu包中。
<ymin>100<ymin> <xmax>200<xmax> <ymax>200<ymax> 标注文件示例： <annotation> <folder>test_data</folder> <filename>260730932.jpg</filename> <size>
异常中文描述 检测方法 处理建议 NT_NPU_DEVICE NPU 其他 npu dcmi device异常。 NPU设备异常，昇腾dcmi接口中返回设备存在重要或紧急告警。 可能是亚健康，建议先重启节点，如果重启节点后未恢复，发起维修流程。 NT_NPU_NET NPU 链路 npu
fig_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。 精度评测新建一个conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。命令中的$work_dir 是benchmark_eval的绝对路径。 conda
fig_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。 精度评测新建一个conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。命令中的$work_dir 是benchmark_eval的绝对路径。 conda
file：存放在本地的云上开发环境私钥文件，即在创建开发环境实例时创建并保存的密钥对文件。 单击将连接重命名，可以自定义一个便于识别的名字，单击OK。 配置完成后，单击Test Connection测试连通性。 选择Yes，显示Successfully connected表示网络可以连通，单击OK。 在最下方再单击OK保存配置。
Open-Sora-Plan1.0基于DevServer适配PyTorch NPU训练推理指导（6.3.907） 本文档主要介绍如何在ModelArts Lite DevServer上，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成Open-Sora-Plan1
“选择标注团队”：任务类型设置为“指定标注团队”，需在此参数中指定一个团队，同时勾选此团队中某几个成员负责标注。下拉框中将罗列当前账号下创建的标注团队及其成员。 “选择标注接口人”：任务类型设置为“指定标注管理员”，需在所有团队的“Team Manager”中选择一人作为管理员。 “自动将新增图片同步给标注团队”
acceptSamples 给样本添加标签 dataset updateSamples 发送邮件给团队标注任务的成员 dataset sendEmails 接口人启动团队标注任务 dataset startWorkforceTask 更新团队标注任务 dataset updateWorkforceTask
acceptSamples 给样本添加标签 dataset updateSamples 发送邮件给团队标注任务的成员 dataset sendEmails 接口人启动团队标注任务 dataset startWorkforceTask 更新团队标注任务 dataset updateWorkforceTask
执行convert_to_sharegpt.py 文件。 python convert_to_sharegpt.py \ --input_file_path data_test.json \ --out_file_name ./data_for_sharegpt.json \ --prefix_name instruction
执行convert_to_sharegpt.py 文件。 python convert_to_sharegpt.py \ --input_file_path data_test.json \ --out_file_name ./data_for_sharegpt.json \ --prefix_name instruction
执行convert_to_sharegpt.py 文件。 python convert_to_sharegpt.py \ --input_file_path data_test.json \ --out_file_name ./data_for_sharegpt.json \ --prefix_name instruction
stom），显示引擎包地址。 运行环境 如果元模型来源于训练作业/对象存储服务（AI引擎为预置引擎），显示元模型依赖的运行环境。 容器调用接口 如果元模型来源于对象存储服务（AI引擎为Custom）/容器镜像，显示模型启动的协议和端口号。 推理代码 如果元模型来源于训练作业且为旧版训练作业，则显示推理代码的存放路径。
Workflow(name="data-select-demo", desc="this is a test workflow", steps=[condition_step, job_step_1
_JOB_DIR}/demo-code”目录中，“demo-code”为存放代码目录的最后一级OBS目录。例如，“代码目录”选择的是“/test/code”，则训练代码文件会被下载到训练容器的“${MA_JOB_DIR}/code”目录中。 启动文件 必填，选择代码目录中训练作业的Python启动脚本。
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。
对于偶现且劣化现象出现的step数不固定的场景，则需要确保能采集到该不固定的step。 profiling数据采集请参考Ascend PyTorch Profiler接口采集。文档中包含torch_npu.profiler.profile、dynamic_profile等多种采集方式。任意torch_npu版本均支持torch_npu
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
