检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Notebook中通过镜像保存功能制作自定义镜像用于推理 场景说明 本文详细介绍如何将本地已经制作好的模型包导入ModelArts的开发环境Notebook中进行调试和保存,然后将保存后的镜像部署到推理。本案例仅适用于华为云北京四和上海一站点。 操作流程如下: Step1 在Notebook中复制模型包
通过APP认证的方式访问在线服务 部署在线服务支持开启APP认证,即ModelArts会为服务注册一个支持APP认证的接口,为此接口配置APP授权后,用户可以使用授权应用的AppKey+AppSecret或AppCode调用该接口。 针对在线服务的APP认证,具体操作流程如下。
择CPU和ASCEND。 图9 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert.pem和key.pem,并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。 openssl genrsa
择CPU和ASCEND。 图9 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert.pem和key.pem,并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。 openssl genrsa
APP密钥。 app_type String APP类型。枚举值如下: APIC:该APP注册在roma connect网关上 APIG:该APP注册在共享API网关上 DEDICATE_APIG:该APP注册在专享API网关上 bounded_api_count Integer APP绑定API数量。
(可选)本地服务器安装ModelArts SDK 如果需要在个人PC或虚拟机上使用ModelArts SDK,则需要在本地环境中安装ModelArts SDK,安装后可直接调用ModelArts SDK轻松管理数据集、创建ModelArts训练作业及创建AI应用,并将其部署为在线服务。
注意:如提示uid重复,则单击“Change uid”,修改json中的uid后单击“Import”。 图4 修改uid 导入成功后,在Dashboards下,即可看到导入的视图,单击视图即可打开监控。 模板使用 导入成功后,单击想查看的模板即可查看响应内容。这里介绍一些常用功能的使用。 切换数据源和资源池 图5
Pytorch通过spawn模式创建了多个进程,每个进程会调用多进程方式使用Mox下载数据。此时子进程会不断销毁重建,Mox也就会不断的被导入,导致打印很多Mox的版本信息。 处理方法 为避免训练作业Pytorch Mox日志反复输出的问题,需要您在“启动文件”中添加如下代码,当“MOX_SILENT_MODE
rts管理控制台使用,支持导入工作流。 将订阅成功的Workflow导入至ModelArts控制台。 方式一:从Workflow详情页进入ModelArts控制台 在Workflow详情页单击“运行”,在弹出来的对话框中选择、填写图1所示信息,单击“导入”跳转至ModelArts控制台的Workflow的详情页。
样本列表。样本属性请见表3。 表3 sample样本属性 参数 参数类型 描述 source String 被标注对象的URI,支持OBS、HTTPS、Content。其中Content为文本内容,例如:“source”:“s3://path-to-jpg”,“source”:“content://I
odelArts的“AI应用管理”中准备好待发布的模型。在“AI应用管理”界面创建或发布模型的相关操作请参见管理AI应用简介。使用容器镜像导入的模型和其他训练产生的模型都支持发布至AI Gallery。 如果是发布HiLens技能,已经在HiLens技能管理中准备好待发布的技能。发布技能的相关操作请参见发布技能。
更多参数填写请参见表2。 表2 数据集的详细参数 参数名称 说明 导入路径 选择需要导入数据的OBS路径,此位置会作为数据集的数据存储路径。 说明: “导入路径”不支持OBS并行文件系统下的路径,请选择OBS对象桶。 创建数据集时,此OBS路径下的数据会导入数据集,后续如果直接在OBS中修改数据,会造
加密算法采用了国际通用的AES算法。 传输中的数据保护 在ModelArts中导入模型时,支持用户自己选择HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐用户使用更加安全的HTTPS协议。 数据完整性检查 推理部署功能模块涉及到的用户模型文件和发布到AIGalle
import_annotations 是否自动导入输入目录下的标注信息,支持检测/图像分类/文本分类。可选值如下: true:导入输入目录下的标注信息(默认值) false:不导入输入目录下的标注信息 否 str、Placeholder import_type 导入方式。可选值如下: dir:目录导入 manifest:按manifest文件导入
预训练模型。 # 1. 调用 init_weights() 来初始化所有模型权重 # 2. 从目录中(本地或者是url)中导入序列化的模型 # 3. 使用导入的模型权重覆盖所有初始化的权重 # 4. 调用 PretrainedConfig.from_pretrained(dir)来将配置设置到self
ModelArts的API或SDK支持模型下载到本地吗? ModelArts的API和SDK不支持模型下载到本地,但训练作业输出的模型是存放在对象存储服务(OBS)里面的,您可以通过OBS的API或SDK下载存储在OBS中的文件,具体请参见从OBS下载文件。 父主题: API/SDK
later”,同时在“日志”页签中,无任何信息。 图1 部署在线服务异常 解决方法 出现此问题现象,通常是因为您部署的模型过大导致的。解决方法如下: 精简模型,重新导入模型和部署上线。 购买专属资源池,在部署上线为在线服务时,使用专属资源池进行部署。 父主题: 服务部署
将数据预热到SFS Turbo 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 在ECS服务器挂载SFS Turbo已经将SFS Turb
时指定的profile。 注册新镜像 构建完成后,将新镜像注册到ModelArts镜像管理服务中,进而能够在ModelArts中使用该镜像。 有两种方式来注册镜像。 方式一:使用ma-cli image register命令来注册镜像。注册命令会返回注册好的镜像信息,包括镜像id
通过自定义镜像创建模型失败 导入模型后部署服务,提示磁盘不足 创建模型成功后,部署服务报错,如何排查代码问题 自定义镜像导入配置运行时依赖无效 通过API接口查询模型详情,model_name返回值出现乱码 导入模型提示模型或镜像大小超过限制 导入模型提示单个模型文件超过5G限制