检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适用于Standard开发环境，模型训练，服务部署，请参考下表。镜像的URL、包含的依赖项等详细信息请参考ModelArts统一镜像列表。
--port：推理服务端口。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5 --parallel-num：每轮并发数，支持多个，如 1 4 8 16 32。
--port：推理服务端口。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5 --parallel-num：每轮并发数，支持多个，如 1 4 8 16 32。
--port：推理服务端口。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5 --parallel-num：每轮并发数，支持多个，如 1 4 8 16 32。
计费项 ModelArts服务的计费项由ModelArts计算资源费用和对象存储、云硬盘等基础资源费用组成。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 适用的功能模块 计算资源费用 计费因子：包括vCPU、GPU和NPU。
若buildkitd的服务运行状态如下图所示，则表示服务运行成功。
可选值如下： 0：OBS桶（默认值） 1：GaussDB(DWS)服务 2：DLI服务 3：RDS服务 4：MRS服务 5：AI Gallery 6：推理服务 schema_maps 否 Array of SchemaMap objects 表格数据对应的schema映射信息。
{ "from": "function_call", "value": "工具参数" }, { "from": "observation
图2 上传至model目录 创建模型，源模型来源选择“从对象存储服务（OBS）中选择”，元模型选择至model目录，AI引擎选择Custom，引擎包选择步骤3构建的镜像。
该容器即为服务端。
GPU A系列裸金属服务器使用CUDA cudaGetDeviceCount()提示CUDA initializat失败 问题现象 在A系列GPU裸金属服务器上，系统环境是ubuntu20.04+nvidia515+cuda11.7，使用Pytorch2.0时出现如下错误： CUDA
删除服务 删除服务存在如下两种删除方式。 根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。
通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 无 请求示例 如下删除服务ID为xxxxxx的模型服务为例。
本地Linux机器的操作等同ECS服务器上的操作，请参考本案例。 登录ECS控制台，购买弹性云服务器，镜像选择“公共镜像”，推荐使用ubuntu18.04的镜像；系统盘设置为100GiB。具体操作请参考购买并登录弹性云服务器。
父主题： 服务管理
父主题： 服务管理
服务管理概述 服务管理，包括将已创建成功的模型部署为在线服务或本地服务。可以实现在线预测、本地预测、服务详情查询、查看服务日志等功能。
父主题： 服务管理
表2 Query参数 参数 是否必选 参数类型 描述 service_id 否 String 服务ID，在创建服务时即可在返回体中获取，也可通过查询服务列表接口获取当前用户拥有的服务，其中service_id字段即为服务ID。默认不过滤服务ID。
invocation_times Number 服务的总调用次数。 failed_times Number 服务调用失败次数。 is_shared Boolean 是否是订阅的服务。 shared_count Number 订阅的服务数。 父主题： 服务管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
