-
环境准备 - AI开发平台ModelArts
环境准备 开通裸金属服务器资源(请见DevServer资源开通),并在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 启动华为云预置镜像环境,本案例使用的贵阳一的镜像环境。 #shell docker run --privileged --name chatglm-test
-
部署服务 - AI开发平台ModelArts
dge。 real-time代表在线服务,将模型部署为一个Web Service,并且提供在线的测试UI与监控能力,服务一直保持运行。 batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。 edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web
-
更新服务配置 - AI开发平台ModelArts
更新服务配置 更新当前服务对象配置。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数;其它平台的Session鉴权请参考Session鉴权。 方式1:根据部署在线服务生成的服务对象进行更新服务配置 1 2 3 4 5 6 7
-
在线服务处于运行中状态时,如何填写推理请求的request header和request body - AI开发平台ModelArts
人员非法调用。所以在预测请求的header信息中包含的是调用者的身份信息,在body部分是需要进行预测的内容。 header的部分需要按照华为云的相关机制进行认证,body部分需要根据模型的要求如前处理脚本的要求,如自定义镜像的要求进行输入。 处理方法 Header: 在调用指南
-
启动团队标注任务 - AI开发平台ModelArts
0:打标者 1:审核者 2:团队管理者 3:数据集拥有者 status 否 Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录 3:标注成员已删除 update_time 否 Long 更新时间。 worker_id 否 String
-
创建和修改工作空间 - AI开发平台ModelArts
iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名,代表服务的部署区域。 返回状态码“201 Created”,在响应Header中获取“X-Subjec
-
访问在线服务(Token认证) - AI开发平台ModelArts
epal_length”、“sepal_width”等。 参数填写完成,单击“send”发送请求,结果会在“Response”下的对话框里显示。 文件输入形式的预测结果样例如图6所示,返回结果的字段值根据不同AI应用可能有所不同。 文本输入形式的预测结果样例如图7所示,请求体包含
-
查看AI应用列表 - AI开发平台ModelArts
说明 版本 AI应用当前版本。 状态 AI应用当前状态。 部署类型 AI应用支持部署的服务类型。 AI应用大小 AI应用的大小。 模型来源 显示AI应用模型的来源。 创建时间 AI应用的创建时间。 描述 AI应用的描述。 操作 部署:将AI应用发布为在线服务、批量服务或边缘服务。 发布:将AI应用发布至AI
-
(可选)本地安装ma-cli - AI开发平台ModelArts
whl ...... Successfully installed ma_cli.*.*.* 在安装ma-cli时会默认同时安装所需的依赖包。当显示“Successfully installed”时,表示ma-cli安装完成。 如果在安装过程中报错提示缺少相应的依赖包,请根据报错提示执行如下命令进行依赖包安装。
-
开发环境的应用示例 - AI开发平台ModelArts
iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名,代表服务的部署区域。 返回状态码“201 Created”,在响应Header中获取“X-Subjec
-
Ascend-Powered-Engine - AI开发平台ModelArts
针对GPU场景的镜像中安装了对应版本的CUDA(由英伟达推出的统一计算架构)驱动,而Ascend-Powered-Engine引擎的镜像中都安装了与底层硬件版本适配的CANN(华为针对AI场景推出的异构计算架构)驱动。 规格和节点个数 下面以选择“Ascend: 8 *** | ARM: 192 核 720 GB”规
-
创建团队标注任务 - AI开发平台ModelArts
0:打标者 1:审核者 2:团队管理者 3:数据集拥有者 status 否 Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录 3:标注成员已删除 update_time 否 Long 更新时间。 worker_id 否 String
-
启动/停止实例 - AI开发平台ModelArts
通过对运行中的裸金属实例进行停止操作,停止对资源的消耗。当需要使用的时候,对于停止状态的弹性裸金属,可以通过启动操作重新使用弹性裸金属。 登录ModelArts管理控制台。 在左侧菜单栏中选择“专属资源池 > 弹性裸金属”。 执行如下操作,启动或停止弹性裸金属。 启动弹性裸金属:
-
准备环境 - AI开发平台ModelArts
如果使用DevServer资源,请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254
-
Step2 注册新镜像 - AI开发平台ModelArts
像支持ASCEND芯片,“XXX”为鉴权时指定的profile。 图1 注册镜像 方式二:在ModelArts Console上注册镜像 登录ModelArts控制台,在左侧导航栏选择“镜像管理”,进入镜像管理页面。 单击“注册镜像”。请将完整的SWR地址复制到这里即可,或单击可直接从SWR选择自有镜像进行注册。
-
同步裸金属服务器状态 - AI开发平台ModelArts
同步裸金属服务器状态 当用户在云服务器页面修改了裸金属服务器状态后,可同步其状态至ModelArts的弹性裸金属实例。 登录ModelArts管理控制台。 在左侧导航栏中,选择“专属资源池 > 弹性裸金属”,进入“弹性裸金属”列表页面。 在弹性裸金属列表中,单击操作列的“同步”,
-
准备环境 - AI开发平台ModelArts
购买并开通DevServer资源 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254
-
风险操作 - AI开发平台ModelArts
升级、修改、休眠集群、删除集群等。 可能影响ModelArts侧基本功能,包括但不限于资源池管理、节点管理、扩缩容、驱动升级等。 节点 退订、移除、关机、污点管理、修改登录密码、修改网络安全组、切换/重装操作系统等。 可能影响ModelArts侧基本功能,包括但不限于节点管理、扩缩容、驱动升级等。 网络 修改/删除集群关联网段。
-
查看AI应用的事件 - AI开发平台ModelArts
正常 模型运行时依赖未更新。 Model running dependencies not updated. - 正常 模型运行时依赖已更新。正在重新构建镜像 Model running dependencies updated. Rebuild the image. - 异常 触发SWR限流,请稍后重试。
-
推理服务访问公网 - AI开发平台ModelArts
推理服务访问公网 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部,访问公网服务地址的方案。如下图所示: