检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您使用了ModelArts不支持的AI引擎开发模型,也可通过制作自定义镜像,导入ModelArts创建为AI应用,并支持进行统一管理和部署为服务。 制作流程 场景一: 预置镜像的环境软件满足要求,只需要导入模型包,就能用于创建AI应用,通过镜像保存功能制作。具体案例参考在Noteb
} Step2 构建成功的镜像注册到镜像管理模块 将Step1 在Notebook中构建一个新镜像中构建成功的自定义镜像注册到镜像管理中,方便后续使用。 登录ModelArts控制台,在左侧导航栏中选择“镜像管理”,单击“注册镜像”,进入注册镜像页面。 输入镜像源地址,选择架构和类型后,单击“立即注册”。
service is https"} 部署在线服务使用的模型是从容器镜像中导入时,容器调用接口协议填写错误,会导致此错误信息。 出于安全考虑,ModelArts提供的推理请求都是https请求,从容器镜像中选择导入模型时,ModelArts允许使用的镜像提供https或http服务,但
API接口功能,无误后将自定义镜像上传至SWR服务。 将自定义镜像创建为AI应用:将上传至SWR服务的镜像导入ModelArts的模型管理。 将AI应用部署为在线服务:将导入的模型部署上线。 本地构建镜像 以linux x86_x64架构的主机为例,您可以购买相同规格的ECS或者
在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据导入模型生成的模型对象进行模型详情查询 1 2 3 4 5 6 7 from modelarts.session import Session
API接口功能,无误后将自定义镜像上传至SWR服务。 将自定义镜像创建为AI应用:将上传至SWR服务的镜像导入ModelArts的AI应用。 将AI应用部署为在线服务:将导入的模型部署上线。 本地构建镜像 以linux x86_x64架构的主机为例,您可以购买相同规格的ECS或者
创建数据集 创建数据集,支持从OBS中导入数据。 create_dataset(session, dataset_name=None, data_type=None, data_sources=None, work_path=None, dataset_type=None, **kwargs)
图1 报错SSL certificate problem 可采取忽略SSL证书验证:使用以下命令来克隆仓库,它将忽略SSL证书验证。 git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI
在开发环境中部署本地服务进行调试 可以通过部署本地服务来进行调试,即在导入模型或模型调试后,在开发环境Notebook中部署Predictor进行本地推理。 只支持使用ModelArts Notebook部署本地服务。 开发环境本地服务Predictor和在线服务Predictor说明
图1 报错SSL certificate problem 可采取忽略SSL证书验证:使用以下命令来克隆仓库,它将忽略SSL证书验证。 git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI
在Notebook中通过镜像保存功能制作自定义镜像用于推理 场景说明 本文详细介绍如何将本地已经制作好的模型包导入ModelArts的开发环境Notebook中进行调试和保存,然后将保存后的镜像部署到推理。本案例仅适用于华为云北京四和上海一站点。 操作流程如下: Step1 在Notebook中复制模型包
在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据导入模型或模型调试生成的模型对象进行模型对象删除 1 2 3 4 5 6 from modelarts.session import Session
dn_short.pt”。 处理方法 在模型目录中删除“/home/mind/model/v0432/cdn_short.pt”文件,重新导入模型后进行部署在线服务即可正常预测。 父主题: 服务部署
注册伙伴 仅当暂未注册伙伴的用户可以注册伙伴。 在“AI Gallery”页面中,单击右上角“我的Gallery > 我的主页”进入个人中心页面。 左侧菜单栏选择“解决方案”进入解决方案列表页,单击右上方“发布”进入合作伙伴申请页面。 如果已经是伙伴用户,则会进入发布解决方案页面。
py”,此文件有且只能有一个,模型推理代码编写请参见模型推理代码编写说明。 customize_service.py依赖的py文件可以直接放model目录下,推荐采用相对导入方式导入自定义包。 customize_service.py依赖的其他文件可以直接放model目录下,需要采用绝对路径方式访问。绝对路径获取请参考绝对路径如何获取。
/home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user 通过增加nginx代理,支持https协议。 协议转换为https之后,对外暴露的端口从tfserving的8501变为8080。 Dockerfile中执行如下命令完成nginx的安装和配置。
果不符合预期。 建议与总结 鉴于模型服务有从对象存储服务(OBS)中导入,从容器镜像中导入,从AI Gallery中获取等多种途径,对于上述不同模型服务的来源所产生的常见问题及处理方法建议如下: 从容器镜像中导入:由于此种方式镜像为用户完全自定义的镜像,错误原因会因自定义镜像的不
择CPU和ASCEND。 图8 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert.pem和key.pem,并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。 openssl genrsa
注册API并授权给APP 功能介绍 注册API并将API授权给APP,只有对服务有更新权限的华为云用户可以调用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST
image %s. 请联系技术支持。 异常 xxx大于xxxG,无法导入。 %s [%s] is larger than %dG and cannot be imported. 模型或镜像大小超过限制,请精简模型或镜像后,重新导入。FAQ 异常 用户xxx没有OBS的obs:object:PutObjectAcl权限。