检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
整个运维过程会对服务请求失败和资源占用过高的场景进行监控，当超过阈值时发送告警通知。 图2 监控告警流程图 方案优势 通过端到端的服务运维配置，可方便地查看业务运行高低峰情况，并能够实时感知在线服务的健康状态。 约束限制 端到端服务运维只支持在线服务，因为推理的批量服务和边缘服务无CES
网络调整公告 ModelArts针对网络进行安全加固和优化，新的网络模式可以为用户的资源提供更好的隔离性，提升云上资源的安全。为保障您的网络安全，建议您后续使用新网络创建Standard资源池。 表1 上线局点 上线局点 上线时间 华东二 2024年10月29日 20:00 父主题：
当用户使用自定义引擎时，默认开启动态加载，模型包与镜像分离，在服务部署时动态将模型加载到服务负载。 配置健康检查 大模型场景下导入的模型，要求配置健康检查，避免在部署时服务显示已启动但实际不可用。 图3 采用自定义引擎，开启动态加载并配置健康检查示例图 部署在线服务 部署服务时，需满足以下参数配置： 自定义部署超时时间
IEF节点边缘服务部署失败 问题现象 部署边缘服务时，出现“异常”状态。 原因分析1 部署边缘服务时，使用到IEF纳管的边缘节点，就需要用户给ModelArts的委托赋予Tenant Administrator权限，否则将无法成功部署边缘服务。具体可参见IEF的权限说明。 处理方法1
【下线公告】华为云ModelArts MindStudio/ML Studio/ModelBox镜像下线公告 华为云ModelArts服务MindStudio，ML Studio，ModelBox镜像将在2024年6月30日00:00（北京时间）正式退市。 下线范围 下线Region：华为云全部Region
表1 批量服务参数 参数 说明 名称 批量服务名称。 服务ID 批量服务的ID。 状态 批量服务当前状态。 任务ID 批量服务的任务ID。 实例规格 批量服务的节点规格。 实例数 批量服务的节点个数。 任务开始时间 本次批量服务的任务开始时间。 环境变量 批量服务创建时填写的环境变量。
修改批量服务配置 对于已部署的服务，您可以修改服务的基本信息以匹配业务变化，更换模型的版本号，实现服务升级。 您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
会有损失。 如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化或使用SmoothQuant量化章节对模型做量化处理。 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm
拼装响应体等。 操作步骤 WebSocket在线服务开发操作步骤如下： 上传镜像至容器镜像服务 使用镜像创建模型 使用模型部署在线服务 WebSocket在线服务调用 上传镜像至容器镜像服务 将准备好的本地镜像上传到容器镜像服务（SWR）。 使用镜像创建模型 登录ModelArts管理控制台，进入“
在遇到资源不足的情况时，ModelArts会进行三次重试，在服务重试期间，如果有资源释放出来，则服务可以正常部署成功。 如果三次重试后依然没有足够的资源，则本次服务部署失败。参考以下方式解决： 如果是在公共资源池部署服务，可等待其他用户释放资源后，再进行服务部署。 如果是在专属资源池部署服务，在满足模型需求的前提下
云上迁移适配故障 无法导入模块 训练作业日志中提示“No module named .*” 如何安装第三方包，安装报错的处理方法 下载代码目录失败 训练作业日志中提示“No such file or directory” 训练过程中无法找到so文件 ModelArts训练作业无法解析参数，日志报错
USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不
=ray】，其他参数与正常启服务一致即可。具体参考本文单机场景下OpenAI服务的API接口启动在线推理服务方式。 推理请求测试 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见启动在线推理服务。 通过OpenAI服务API接口启动服务使用以下推理测试命令。${d
批量服务输入/输出obs目录不存在或者权限不足 问题现象 输入输出目录不存在，报如下错误 "error_code": "ModelArts.3551", "error_msg": "OBS path xxxx does not exist." 当访问目录权限不足时，报如下错误 "error_code":
ModelArts在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。 如果实例数设置为1，表示后台的计算模式是单机模式；如果实例数设置大于1，表示后台的计算模
process the new request 原因分析 该报错是因为发送预测请求后，服务出现停止后又启动的情况。 处理方法 需要您检查服务使用的镜像，确定服务停止的原因，修复问题。重新创建模型部署服务。 父主题： 服务部署
菜单栏中选择“模型部署>在线服务”，进入在线服务管理页面。 单击在线服务列表“操作”列的“更多>删除”删除服务。 勾选在线服务列表中的服务，然后单击列表左上角“删除”按钮，批量删除服务。 单击目标服务名称，进入服务详情页面，单击右上角“删除”删除服务。 删除操作无法恢复，请谨慎操作。
ModelArts版本配套关系表 当前华为云中国站和国际站所有Region均已上线ModelArts 6.8.0版本。 ModelArts 6.8.0版本中针对Ascend Snt9B资源的周边依赖组件配套版本关系如下表所示。 表1 ModelArts 6.8.0版本配套关系表 强依赖组件
如果您有自己的算法，想改造适配后迁移到ModelArts Standard平台上进行训练和推理，您可以参考使用自定义算法构建模型（手写数字识别）。 更多入门实践，请参考《ModelArts入门实践》章节。如果您有其他疑问，您也可以通过华为云社区问答频道来与我们联系探讨。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
