检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
is_personal_cluster 否 Boolean 是否查询专属资源池支持的服务部署规格列表，默认为false。 infer_type 否 String 推理方式，枚举值如下： real-time：在线服务，默认值 batch：批量服务 edge: 边缘服务 limit 否 String 指定每一页返回的最大条目数，默认为1000。
参数类型 描述 model 是 无 Str 通过OpenAI服务API接口启动服务时，推理请求必须填写此参数。取值必须和启动推理服务时的model ${model_path}参数保持一致。 通过vLLM服务API接口启动服务时，推理请求不涉及此参数。 prompt 是 - Str 请求输入的问题。
pid: 997 服务异常进程反复重启导致预测请求无法发送到服务实例。 可以通过以下方式解决问题： 缩小预测请求数量看是否问题还复现，如果不复现是因为负载过大导致服务进程退出，需要扩容实例数量或者提升规格。 推理代码本身存在错误，请排查推理代码解决。 父主题： 服务预测
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
据量化方式选择对应参数，可选awq，smoothquant，gptq。 distributed_executor_backend是开启多进程服务方式，选择ray开启。 model：模型启动模式，可选vllm，openai或hf，hf代表huggingface。 tasks：评测数据集任务，比如openllm。
上传数据和算法至SFS（首次使用时需要） 前提条件 ECS服务器已挂载SFS，请参考ECS服务器挂载SFS Turbo存储。 在ECS中已经创建ma-user和ma-group用户，请参考在ECS中创建ma-user和ma-group。 已经安装obsutil，请参考下载和安装obsutil。
callbacks suppressed 问题现象 弹性文件服务（Scalable File Service，SFS）提供按需扩展的高性能文件存储（NAS），可以在裸金属服务器中通过网络协议挂载使用，SFS支持NFS和CIFS的网络协议。在使用裸金属服务器时， 将数据放在SFS盘中， 并发建立多个
查看在线服务详情 当模型部署为在线服务成功后，您可以进入“在线服务”页面，来查看服务详情。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署 > 在线服务”，进入“在线服务”管理页面。 单击目标服务名称，进入服务详情页面。 您可以查看服务的“名称”、“状态”等信息，详情说明请参见表1。
本章节介绍如何申请弹性公网IP并绑定到弹性云服务器。通过本文档，您可以实现弹性云服务器访问公网的目的。 使用华为云账号登录CCE管理控制台。 找到购买Cluster资源时选择的CCE集群，单击名称进入CCE集群详情页面，单击“节点管理”页签，在“节点”页签中单击需要登录的节点名称，跳转至弹性云服务器页面。 图1
在“模型部署”页面，单击“我的服务”页签，在目标服务右侧，单击操作列的“停止”。 在“停止服务”对话框，单击“确定”。 启动部署服务 在“模型部署”页面，单击“我的服务”页签，在目标服务右侧，单击操作列的“启动”。 在“启动服务”对话框，仔细阅读提示信息，单击“确定”。 服务状态为运行中时会产生费用。
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。 原因分析 从日志报错信息No CUDA runtime is
WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。 前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的模型导入
vLLM的调度和输入准备的CPU开销可能会导致NPU利用率不足，开启multi-step调度可以有效解决这个问题，开启multi-step调度后会在执行一次调度和输入准备后，连续n步运行模型。通过NPU在n步之间连续处理，而无需等待CPU，可以将CPU开销分散到n步中，从而显著减少NPU空闲时间，提升整体性能。
拼装响应体等。 操作步骤 WebSocket在线服务开发操作步骤如下： 上传镜像至容器镜像服务 使用镜像创建模型 使用模型部署在线服务 WebSocket在线服务调用 上传镜像至容器镜像服务 将准备好的本地镜像上传到容器镜像服务（SWR）。 使用镜像创建模型 登录ModelArts管理控制台，进入“
基础配置参数说明 参数名称 说明 资源类型 裸金属服务器是一款兼具弹性云服务器和物理机性能的计算类服务器，为您和您的企业提供专属的云上物理服务器。 弹性云服务器是一种可随时自助获取、可弹性伸缩的云服务器，可帮助您打造可靠、安全、灵活、高效的应用环境，确保服务持久稳定运行，提升运维效率。 计费模式
表1 批量服务参数 参数 说明 名称 批量服务名称。 服务ID 批量服务的ID。 状态 批量服务当前状态。 任务ID 批量服务的任务ID。 实例规格 批量服务的节点规格。 实例数 批量服务的节点个数。 任务开始时间 本次批量服务的任务开始时间。 环境变量 批量服务创建时填写的环境变量。
ModelArts在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。 如果实例数设置为1，表示后台的计算模式是单机模式；如果实例数设置大于1，表示后台的计算模
nd/ 图14 训练进程 查看卡占用情况，如图所示，此时0号卡被占用，说明进程正常启动。 npu-smi info //查看卡信息 图15 查看卡信息 训练任务大概会运行两小时左右，训练完成后自动停止。若想停止训练任务，可执行下述命令关闭进程，查询进程后显示已无运行中python进程。
调用MaaS部署的模型服务 在ModelArts Studio大模型即服务平台部署成功的模型服务支持在其他业务环境中调用。 约束限制 只有“状态”是“运行中”的模型服务才支持被调用。 步骤一：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。
service_id 否 String 服务ID，在创建服务时即可在返回体中获取，也可通过查询服务列表接口获取当前用户拥有的服务，其中service_id字段即为服务ID。默认不过滤服务ID。 service_name 否 String 服务名称，由用户创建时指定，默认不过滤服务名。 model_id
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
