检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 从Launcher页面打开VS Code接入 如果本地已安装VS Code,请单击“打开Visual Studio Code”,进入“Visual Studio Code”页面。
CUDA版本需要参考专属资源池的GPU驱动版本,自主进行适配,GPU驱动版本可在专属资源池详情页面查看。 父主题: Standard镜像相关
图1 注册镜像 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”列表页面。 单击“创建”,进入“创建Notebook”页面,请参见如下说明填写参数。
图3 配置Grafana 单击“Prometheus”,进入Prometheus配置页面。 图4 进入Prometheus配置页面 参考下图进行配置。 图5 配置Grafana数据源 Grafana安装方式不同,Grafana版本也可能不同,图5仅为示例,请以实际配置界面为准。
在Notebook实例详情页面获取开发环境IP地址(例如:dev-modelarts-cnnorth4.huaweicloud.com)和端口号。 图1 Notebook实例详情页面 准备好密钥对。
在“创建训练作业”页面,填写相关参数信息,然后单击“提交”。 创建方式:选择“自定义算法”。 启动方式:选择“自定义”。 镜像:选择上传的自定义镜像。
单击“购买AI专属节点”,进入“购买AI专属节点”页面,在该页面填写相关参数信息。 表2 基础配置参数说明 参数名称 说明 资源类型 裸金属服务器是一款兼具弹性云服务器和物理机性能的计算类服务器,为您和您的企业提供专属的云上物理服务器。
在微调大师页面,单击操作列的“查看模型”跳转到微调获得的新模型的详情页面。选择“模型文件”页签可以查看微调产物。各文件说明请参见表3。
登录ModelArts管理控制台,在左侧导航栏选择“资产管理 > 镜像管理”,然后在“镜像管理”页面右上角单击“注册镜像”。 在“注册镜像”页面,选择已上传的镜像源,“架构”选择“ARM”,“类型”选中“ASCEDN”和“CPU”,按需选择规格,然后单击“立即注册”。
迁移环境准备 迁移环境准备有以下两种方式: 表1 方式说明 序号 名称 说明 方式一 ModelArts Notebook 该环境为在线调试环境,主要面向演示、体验和快速原型调试场景。 优点:可快速、低成本地搭建环境,使用标准化容器镜像,官方Notebook示例可直接运行。
在“模型部署”页面,单击“我的服务”页签,在右上角单击“部署模型服务”进入部署页面,完成创建配置。 表1 部署模型服务 参数 说明 服务设置 服务名称 自定义部署模型服务的名称。 支持1~64位,以中文、大小写字母开头,只包含中文、大小写字母、数字、中划线、下划线的名称。
在ModelArts Studio左侧导航栏中,选择“模型体验”进入体验页面。 在“模型体验”页面,单击“请选择服务”,在模型列表中选择模型服务,单击“确定”。 在“模型体验”页面右上角,单击“参数设置”,按需拖动或直接输入数值配置推理参数。
单击模型名称,进入模型详情页面。 在“我的版本”区域,单击“新增版本”。 在“新增版本”页面,配置模型新版本的参数。 表3 新增模型版本 参数 说明 新版本号 系统自动编号,不可修改。 版本描述 模型简介。支持100字符。 选择基础模型版本 选择基础模型的版本。
若要在生产环境中进行精度测试,还需修改benchmark_eval/config/config.json中app_code,app_code获取方式见访问在线服务(APP认证)。
当没有合适的企业项目时,可以单击“新建企业项目”跳转到企业项目管理页面,创建新的企业项目再绑定。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 授权类型 必填,选择工作空间的访问权限。
本案例详细介绍如何使用自定义镜像创建模型,并部署成在线服务。
在IAM服务的用户组列表页面,单击“授权”,进入到授权页面,为子账号配置权限。勾选步骤2中创建的“ma_sfs_turbo”策略。单击“下一步”和“确定”。 在已有的ModelArts委托权限中,追加IAM ReadOnlyAccess权限。
在ModelArts Lite专属资源池列表,单击资源池名称,进入专属资源池详情页面。 在基本信息页面单击CCE集群,跳转到CCE集群详情页面。 在左侧导航栏选择“插件市场”,搜索“Volcano调度器”。
结果会显示在模型详情页面的“模型精度”模块。 apis 否 api数据结构数组 表示模型接收和返回的请求样式,为结构体数据。 即模型可对外提供的Restful API数组,API数据结构如表3所示。示例代码请参见apis参数代码示例。
在线服务 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。将模型部署为一个Web Service,并且提供在线的测试UI与监控能力。