检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“添加模型说明”,设置“文档名称”及其“URL”。模型说明最多支持3条。 “部署类型” 选择此模型支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处只选择在线服务,那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 确认信息填写无误,单击“立即创建”,完成模型的创建。
通过OBS创建模型时,构建日志中提示pip下载包失败 通过自定义镜像创建模型失败 导入模型后部署服务,提示磁盘不足 创建模型成功后,部署服务报错,如何排查代码问题 自定义镜像导入配置运行时依赖无效 通过API接口查询模型详情,model_name返回值出现乱码 导入模型提示模型或镜像大小超过限制
Not Allowed 请求超时返回Timeout 自定义镜像导入模型部署上线调用API报错 在线服务预测报错DL.0105 时序预测-time_series_v2算法部署在线服务预测报错 父主题: 推理部署
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 将模型部署为实时推理作业
单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“部署上线 > 在线服务 > 部署”,开始部署在线服务。 图5 部署在线服务 设置部署服务名称,选择Step2 部署模型中创建的AI应用。
/etc/squid/ 打开并配置whitelist.conf文件。 vim whitelist.conf 配置内容为安全控制可访问的地址,支持配置通配符,例如: .apig.cn-east-3.huaweicloudapis.com 如果地址访问不通,请在浏览器配置访问域名。 打开并配置squid
ModelArts在线服务预测请求体大小限制是多少? 服务部署完成且服务处于运行中后,可以往该服务发送推理的请求,请求的内容根据模型的不同可以是文本,图片,语音,视频等内容。 当使用调用指南页签中显示的调用地址(华为云APIG网关服务的地址)预测时,对请求体的大小限制是12MB,超过12MB时,请求会被拦截。
1] OBS桶,OBS并行文件系统,SFS Turbo挂载成功。 [%s] %s volume successfully. - 服务部署和运行过程中,关键事件支持手动/自动刷新。 查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 批量服务”,在服务列表中,
像并创建模型。 在ModelArts管理控制台,使用创建好的模型部署为在线服务。 登录云监控服务CES管理控制台,设置ModelArts服务的告警规则并配置主题订阅方式发送通知。具体操作请参考设置告警规则。 当配置完成后,在左侧导航栏选择“云服务监控 > ModelArts”即可
单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“部署上线 > 在线服务 > 部署”,开始部署在线服务。 图5 部署在线服务 设置部署服务名称,选择Step2 部署模型中创建的AI应用。
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题: 将模型部署为实时推理作业
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题: 将模型部署为实时推理作业
查询支持的服务部署规格 功能介绍 查询支持的服务部署规格列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/services/specifications
G,请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。 在ModelArts控制台,单击“模型部署 > 在线服务 > 部署”,开始部署在线服务。 设置部署服务名称,选择Step2 部署模型中创建的AI应用。选择专属资
系统默认关联您存储在OBS中的配置文件。打开开关,您可以直接在当前界面查看或编辑模型配置文件。 说明: 该功能即将下线,后续请根据“AI引擎”、“运行时依赖”和“apis定义”修改模型的配置信息。 “部署类型” 选择此模型支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处只选择
健康检查:选填,用于指定模型的健康检查。仅当自定义镜像中配置了健康检查接口,才能配置“健康检查”,否则会导致模型创建失败。 apis定义:选填,用于编辑自定义镜像的apis定义。模型apis定义需要遵循ModelArts的填写规范,参见模型配置文件说明。 本样例的配置文件如下所示: [{
面,完成基本配置后单击“下一步:网络配置”,进入网络配置页面,选择1中打通的VPC,完成其他参数配置,完成高级配置并确认配置,下发购买弹性云服务器的任务。等待服务器的状态变为“运行中”时,弹性云服务器创建成功。单击“名称/ID”,进入服务器详情页面,查看虚拟私有云配置信息。 图4
om,引擎包选择步骤3构建的镜像。 图3 创建模型 将创建的模型部署为在线服务,大模型加载启动的时间一般大于普通的模型创建的服务,请配置合理的“部署超时时间”,避免尚未启动完成被认为超时而导致部署失败。 图4 部署为在线服务 调用在线服务进行大模型推理,请求路径填写/v2/mod
型创建成功。在此页面,您还可以进行创建新版本、快速部署服务、发布模型等操作。 后续操作 部署服务:在“模型列表”中,单击模型的操作列的“部署”,在对应版本所在行,单击“操作”列的部署按钮,可以将模型部署上线为创建模型时所选择的部署类型。 父主题: 创建模型
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。在集成至生产环境之前,需要对此API进行调测,您可以使用以下方式向在线服务发起预测请求: 方