正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 有两种方式进入体验页面,任选一种方式进入即可。
使用主用户的账号登录ModelArts服务管理控制台。请注意选择左上角的区域,例如“华南-广州”。 在左侧导航栏单击“权限管理”,进入“权限管理”页面。 单击“添加授权”。
部署AI应用 登录AI Gallery。 单击“模型”进入模型列表。 选择需要部署为AI应用的模型,单击模型名称进入模型详情页。 在模型详情页,选择“部署 > AI应用”进入创建AI应用页面。 在创建AI应用页面填写相关参数。
套餐包 购买方式 登录ModelArts管理控制台,在“总览”页中,单击“购买套餐包”,进入“购买套餐包”页面。可根据需要,自行购买适用规格的套餐包。 适用场景 ModelArts服务支持购买套餐包,根据用户选择使用的资源不同进行收费。
使用AOM看Lite Cluster监控指标 监控已有指标 ModelArts会定期收集资源池中各节点的关键资源(GPU、NPU、CPU、Memory等)的使用情况并上报到AOM,用户可直接在AOM上查看默认配置好的基础指标,详细步骤如下: 登录控制台,搜索AOM,进入“应用运维管理
首先创建一个Pod以承载服务,随后登录至该Pod容器内部署在线服务,并最终通过新开一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1,已经把测试数据和代码打进镜像中。
Step1 检查环境 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。
cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc2 驱动 23.0.5 PyTorch 2.1.0 Step1 检查环境 SSH登录机器后
cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc2 驱动 23.0.5 PyTorch 2.1.0 Step1 检查环境 SSH登录机器后
cann_8.0.rc3-py_3.10-hce_2.0.2312-aarch64-snt9b-20240829092203-4ccf328 表2 模型镜像版本 模型 版本 CANN cann_8.0.RC3 驱动 23.0.6 PyTorch 2.2.0 Step1 检查环境 SSH登录机器后
showmount -e localhost ModelArts节点信息配置 登录主控节点的Linux机器。 ssh <用户名>@<节点IP> 用户名:登录服务器的用户名。 节点IP:登录服务器的IP地址。若节点是云服务器,可在云服务器控制台中查询。 配置固件启动参数。
部署模型服务 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
使用镜像 登录“AI Gallery”。 选择“资产集市 > 镜像”,进入镜像页面,该页面展示了所有共享的镜像。 搜索业务所需的镜像,请参见查找和收藏资产。 单击目标镜像进入详情页面。 在详情页面您可以查看镜像的AI引擎框架、使用芯片、镜像URL、包含的依赖项等信息。
模型资产上架 登录AI Gallery,选择右上角“我的Gallery”。 在左侧“我的资产 > 模型”下,选择未发布的模型,单击模型名称,进入模型详情页。 在模型详情页,单击右侧“发布”,在发布模型页面编辑发布信息后,单击“发布”。
镜像资产上架 登录AI Gallery,选择右上角“我的Gallery”。 在“我的资产 > 镜像”下,选择未发布的镜像,单击镜像名称,进入镜像详情页。 在镜像详情页,单击右侧“发布”,在发布镜像页面编辑发布信息后,单击“发布”。
pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240528150158-b521cc0 表2 模型镜像版本 模型 版本 CANN cann_8.0.rc2 PyTorch 2.1.0 Step1 检查环境 SSH登录机器后
Step1 检查环境 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。
管理Workflow工作流 启动Workflow 登录ModelArts管理控制台,在左侧导航栏选择“开发空间>Workflow”,进入Workflow总览页面。 有3种操作方式运行工作流。
方法一:使用JupyterLab打开Notebook实例准备环境 登录ModelArts控制台,进入“开发空间>Notebook”。 单击“创建”,进入创建页面,选择默认参数后,单击“立即创建”,确认信息无误后单击“提交”。
操作步骤 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>批量服务”,进入“批量服务”管理页面。 单击状态为“运行完成”的目标服务名称,进入服务详情页面。 您可以查看服务的“名称”、“状态”、“服务ID”、“输入数据目录位置”、“输出数据目录位置”和“描述”。