检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
please wait moment." 出现该错误，是因为模型报错太多。当模型报错太多时，会触发dispatcher的熔断机制，导致预测失败。建议您检查模型返回结果，处理模型报错问题，可尝试通过调整请求参数、降低请求流量等方式，提高模型调用的成功率。 父主题： 服务预测
包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu
包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu
包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu
如果是多机训练，转换前需将多机权重目录（iter_xxxxxxx）下的mp_rank_xx_xxx文件夹整合到一起后再进行转换，合并后结果如下图所示。 图1 合并权重文件 该脚本的执行需要在/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ModelLink目录下执行。
} 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
} 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu
模型描述信息，不超过100个字符，且不能包含特殊字符!<>=&’”。 execution_code 否 String 存放执行脚本的OBS路径。推理脚本必须放于模型所在路径（请参见“source_location”参数）的model目录下，名称固定为：“customize_service
包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu
包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu
} 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
、可以独享的网络资源。 security_group_id 否 String 安全组，默认为空，当配置了vpc_id则此参数必填。安全组起着虚拟防火墙的作用，为服务实例提供安全的网络访问控制策略。安全组须包含至少一条入方向规则，对协议为TCP、源地址为0.0.0.0/0、端口为8080的请求放行。
包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu
nnect to Host in New Window按钮。 图5 打开开发环境 在新打开的选择Notebook运行环境页面中，选择“Linux”。 图6 选择Notebook运行环境 图7 开发环境远程连接成功 Step3 安装云端Python插件 在新打开的VS Code界面
2.2.8.0aa484aa”以安装最新moxing framework版本，其他参数填写请参见创建训练作业。 配置完成后，可以在训练作业脚本中使用“moxing.file.copy_parallel”接口加速数据下载。 需要时可以通过在训练作业的“环境变量”中设置“MOX_C_
包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu
网络规划。 账号冻结导致创建失败？ 查看资源池失败报错信息，存在"frozen deposit fail"，表示账号冻结导致资源创建失败。检查账号状态和资源欠费情况，账号解冻后重新购买资源。 订单取消导致资源创建失败？ 查看资源池失败报错信息，存在"the operation is
请根据构建日志报错信息，定位服务预测失败原因，修改模型推理代码后，重新导入模型进行预测。 经典案例：在线服务预测报错MR.0105 出现其他情况，优先检查客户端和外部网络是否有问题。 以上方法均未解决问题，请联系系统管理员。 父主题： 服务预测
requirements are installed’ 原因分析 出现该问题的可能原因如下： 用户/训练系统，将CUDA_VISIBLE_DEVICES传错了，检查CUDA_VISIBLE_DEVICES变量是否正常。 用户选择了1/2/4卡这些规格的作业，然后设置了CUDA_VISIBLE_DEVI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
