检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
real-time代表在线服务,将模型部署为一个Web Service,并且提供在线的测试UI与监控能力,服务一直保持运行。 batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web Service,需提前在IEF(智能边缘服务)创建好节点。
NA NA 读取次数 ma_node_disk_reads_completed_total 成功完成的读取总次数。 - ≥0 NA NA NA 合并读取的次数 ma_node_disk_reads_merged_total 合并读取的次数。 - ≥0 NA NA NA 读取字节数 m
为帮助您更好地管理Kubernetes集群内的节点,ModelArts支持通过节点池来管理节点。一个节点池包含一个节点或多个节点,能通过节点池批量配置一组节点。 在资源池详情页,单击“节点池管理”页签,您可以创建、更新和删除节点池。 图1 节点池管理 创建节点池 当您需要更多节点池时
建议设置一个空目录为训练输出路径。在训练代码中,您需要解析输出路径参数。系统后台会自动上传训练输出至指定的训练输出路径,请保证您设置的桶路径有写入权限和读取权限。 在ModelArts中,训练代码需包含以下步骤: (可选)引入依赖 当您使用自定义脚本创建算法的时候,如果您的模型引用了其他依赖,您需要在“算法管理
在Workflow中使用大数据能力(DLI/MRS) 功能介绍 该节点通过调用MRS服务,提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时,可以根据已有数据使用该节点进行训练计算。 使用案例 在华为云MR
添加资源标签 功能介绍 给指定Notebook资源添加标签,支持批量添加,当添加的标签key已存在,则覆盖该标签的value。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
部署服务 ModelArts支持将模型部署为在线服务、批量服务和边缘服务。 部署为在线服务 部署为批量服务 访问服务 服务部署完成后,针对在线服务和边缘服务,您可以访问并使用服务,针对批量服务,您可以查看其预测结果。 访问在线服务 查看批量服务预测结果
real-time代表在线服务,将模型部署为一个Web Service,并且提供在线的测试UI与监控能力,服务一直保持运行。 batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web Service,需提前在IEF(智能边缘服务)创建好节点。
/v1/{project_id}/services/{service_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 service_id 是 String 服务ID。 请求参数 表2
应的服务类型。 将模型部署为实时推理作业 将模型部署为一个Web Service,并且提供在线的测试UI与监控功能,部署成功的在线服务,将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 图2 不同类型的推理作业使用场景
如下图所示,支持对多节点批量进行删除、退订、重启、重置、开启/关闭高可用冗余操作,具体介绍请参见修复Standard专属资源池故障节点。还支持对节点批量添加、编辑、删除资源标签操作,“包年/包月”的节点支持批量续费、批量开通/修改自动续费功能。 图2 节点批量操作 如下图所示,在单
ModelArts modelarts:service:get modelarts:service:create modelarts:service:update modelarts:service:delete modelarts:service:getLogs 在工作流中管理ModelArts在线服务
finished_time Number 批量服务完成时间,距“1970.1.1 0:0:0 UTC”的毫秒数;仅当服务是批量服务时返回。 infer_type String 推理方式,取值包含: real-time:在线服务 batch:批量服务 edge:边缘服务 service_name String
model_service.tfserving_model_service import TfServingBaseService PyTorch PTServingBaseService from model_service.pytorch_model_service import
单个账号最多可创建20个在线服务。 是 提交工单申请提升配额 更多信息,请参见部署在线服务。 Standard推理部署批量服务 单个账号最多可创建1000个批量服务。 否 更多信息,请参见部署批量服务。 Standard推理部署边缘服务 单个账号最多可创建1000个边缘服务。 否 无 Standard专属资源池
}/services/{service_id} 响应示例 状态码:200 服务详情 { "service_id" : "f76f20ba-78f5-44e8-893a-37c8c600c02f", "service_name" : "service-demo", "tenant"
predictor_instance.get_service_info() print(predictor_info) 参数说明 表1 get_service_info返回参数说明 参数 参数类型 描述 service_id String 服务ID。 service_name String 服务名称。
TCP/IP端口。 Oracle 1521 Oracle通信端口,弹性云服务器上部署了Oracle SQL需要放行的端口。 MySQL 3306 MySQL数据库对外提供服务的端口。 Windows Server Remote Desktop Services 3389 Wind
使用构建的神经网络完成推理过程。 在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务(Web Service)。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫Ascend芯片,是华为自主研发的高计算力低功耗的AI芯片。 资源池 Mode
部署服务 ModelArts modelarts:service:* 部署、启动、查新、更新模型服务。 建议配置。 仅在严格授权模式开启后,需要显式配置左侧权限。 LTS lts:logs:list 查询和展示LTS日志。 按需配置。 批量服务 OBS obs:object:GetObject