检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您需要将ModelArts Standard集成到第三方系统,用于二次开发,请使用API方式访问ModelArts,具体操作和API详细描述,请参见《API参考》。 云原生方式 如果您使用的是ModelArts Lite Server形态,您可以通过弹性公网IP直接访问云主机,详情请参见《ModelArts
ModelArts的API或SDK支持模型下载到本地吗? ModelArts的API和SDK不支持模型下载到本地,但训练作业输出的模型是存放在对象存储服务(OBS)里面的,您可以通过OBS的API或SDK下载存储在OBS中的文件,具体请参见从OBS下载文件。 父主题: API/SDK
API/SDK ModelArts SDK、OBS SDK和MoXing的区别? ModelArts的API或SDK支持模型下载到本地吗? ModelArts的SDK支持哪些安装环境? ModelArts通过OBS的API访问OBS中的文件,算内网还是公网? 调用API提交训练作业后,能否绘制作业的资源占用率曲线?
查询数据处理任务版本的结果展示 功能介绍 查询数据处理任务版本的结果展示。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/
在开发环境中部署本地服务进行调试 可以通过部署本地服务来进行调试,即在导入模型或模型调试后,在开发环境Notebook中部署Predictor进行本地推理。 只支持使用ModelArts Notebook部署本地服务。 开发环境本地服务Predictor和在线服务Predictor说明
调整模型后,部署新版本AI应用能否保持原API接口不变? ModelArts提供多版本支持和灵活的流量策略,您可以通过使用灰度发布,实现模型版本的平滑过渡升级。修改服务部署新版本模型或者切换模型版本时,原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。
ap-add的启动命令,在模型发布时将会置空。 “apis定义” 提供模型对外Restfull api数据定义,用于定义模型的输入、输出格式。apis定义填写规范请参见模型配置文件编写说明中的apis参数说明,示例代码请参见apis参数代码示例。 确认信息填写无误,单击“立即创建”,完成模型创建。
自定义镜像完成AI应用的创建,并部署成在线服务。 操作流程如下: 本地构建镜像:在本地制作自定义镜像包,镜像包规范可参考创建AI应用的自定义镜像规范。 本地验证镜像并上传镜像至SWR服务:验证自定义镜像的API接口功能,无误后将自定义镜像上传至SWR服务。 将自定义镜像创建为AI
开发环境的应用示例 本节通过调用一系列API,以创建开发环境实例为例介绍ModelArts API的使用流程。 概述 创建开发环境实例的流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用查询支持的镜像列表接口查看开发环境的镜像类型和版本。
rts控制台、API、SDK,无论访问方式封装成何种形式,其本质都是通过ModelArts提供的REST风格的API接口进行请求。 ModelArts的接口均需要进行认证鉴权以此来判断是否通过身份认证。通过控制台发出的请求需要通过Token认证鉴权,调用API接口认证鉴权支持Token认证和AK/SK认证两种方式。
本节通过调用一系列API,以训练模型为例介绍ModelArts API的使用流程。 概述 使用PyTorch框架创建训练作业的流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用获取训练作业支持的公共规格接口获取训练作业支持的资源规格。
#运行opencompass脚本 ├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 精度评测切换conda环境,确保之前启动服务为vllm接口,进入到benchmark_eval目录下,执行如下命令。
终止训练作业 功能介绍 终止训练作业,只可终止创建中、等待中、运行中的作业。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id
ap-add的启动命令,在模型发布时将会置空。 “apis定义” 提供模型对外Restfull api数据定义,用于定义模型的输入、输出格式。apis定义填写规范请参见模型配置文件编写说明中的apis参数说明,示例代码请参见apis参数代码示例。 确认信息填写无误,单击“立即创建”,完成模型创建。
停止Notebook实例 功能介绍 停止Notebook实例。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project
注册自定义镜像 功能介绍 将用户自定义的镜像注册到ModelArts镜像管理。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/images
创建训练作业 功能介绍 创建训练作业。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/training-jobs 表1 路径参数
使用边缘节点部署边缘服务能否使用http接口协议? 系统默认使用https。如果您想使用http,可以采取以下两种方式: 方式一:在部署边缘服务时添加如下环境变量: MODELARTS_SSL_ENABLED = false 图1 添加环境变量 方式二:在使用自定义镜像导入模型时
【下线公告】华为云ModelArts MindStudio/ML Studio/ModelBox镜像下线公告 华为云ModelArts服务MindStudio,ML Studio,ModelBox镜像将在2024年6月30日00:00(北京时间)正式退市。 下线范围 下线Region:华为云全部Region