检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
odal-Large-Language-Models at Evaluation)。 配置需要使用的NPU卡,例如:实际使用的是第1张和第2张卡,此处填写为“0,1”,以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 步骤一:配置精度测试环境
详情页面,规格页签,查看专属资源池磁盘信息。当服务部署失败,提示磁盘空间不足时,请参考服务部署、启动、升级和修改时,资源不足如何处理? 图2 查看专属资源池磁盘信息 创建模型 使用大模型创建模型,选择从对象存储服务(OBS)中导入,需满足以下参数配置: 采用自定义引擎,开启动态加载
odal-Large-Language-Models at Evaluation)。 配置需要使用的NPU卡,例如:实际使用的是第1张和第2张卡,此处填写为“0,1”,以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 步骤一:配置精度测试环境
odal-Large-Language-Models at Evaluation)。 配置需要使用的NPU卡,例如:实际使用的是第1张和第2张卡,此处填写为“0,1”,以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 步骤一:配置精度测试环境
行,同时一直收费,自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能,且默认值为“1小时后”。 目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。 如果您购买了套餐
署页面。 完成服务的配置,部分配置如下: 选择模型及版本:选择使用镜像创建模型创建完成的模型及版本 升级为WebSocket:打开开关 图2 升级为WebSocket 单击“下一步”,确认配置后“提交”,完成在线服务的部署。返回在线服务列表页,查看服务状态变为“运行中”,表示服务部署成功。
录,但不能与输出位置为同一目录。 单击“确定”,自动跳转至AI Gallery的个人中心“我的下载”页签。等待五分钟左右下载完成即可。 图2 下载数据集 订阅工作流 登录ModelArts管理控制台,左侧菜单栏选择“开发空间>Workflow”,进入Workflow详情页。 在详
描述 模型的简要描述。 填写元模型来源及其相关参数。当“元模型来源”选择“从容器镜像中选择”时,其相关的参数配置请参见表2。 图1 从容器镜像中选择模型 表2 元模型来源参数说明 参数 说明 “容器镜像所在的路径” 单击从容器镜像中导入模型的镜像,其中,模型均为Image类型,且
py执行预检。 msprobe -f pytorch run_ut -api_info ./dump.json 这里-api_info指定的是步骤2导出的dump.json文件,表示整网计算过程中API的输入输出情况。执行完成run_ut命令之后将输出api_precision_comp
单击模型的“版本数量”,在展开的版本列表中,单击“操作”列的“发布”进入发布页面。 在发布弹出框中,单击“前往AI 云商店”进入商店。 图2 前往云商店 进入云商店后,请参考发布AI资产类商品操作指导。 发布至AI大赛 华为云人工智能大赛面向开发者组织了一些开发者大赛,您可以在M
1+cu111-cp37-cp37m-linux_x86_64.whl “+”符号的URL编码为“%2B”,在上述网站中搜索目标文件名时,需要将原文件名中的“+”符号替换为“%2B”。 例如“torch-1.8.1%2Bcu111-cp37-cp37m-linux_x86_64.whl”。 下载Miniconda3安装文件。
obs:object:PutObjectAcl obs:object:ModifyObjectMetaData 使用OBS桶中的数据集运行训练作业。 按需配置。 委托 表2 训练作业所需委托 业务场景 依赖的服务 委托授权项 说明 配置建议 训练作业 OBS obs:bucket:ListBucket obs:object:GetObject
的参数配置请参见表2。 针对从OBS导入的元模型,ModelArts要求根据模型包规范,编写推理代码和配置文件,并将推理代码和配置文件放置元模型存储的“model”文件夹下。如果您选择的目录下不符合模型包规范,将无法创建模型。 图1 从OBS中选择元模型 表2 元模型来源参数说明
步骤三:使用订阅模型部署在线服务 模型订阅成功后,可将此模型部署为在线服务 在展开的版本列表中,单击“部署 > 在线服务”跳转至部署页面。 图2 部署模型 在部署页面,参考如下说明填写关键参数。 “名称”:自定义一个在线服务的名称,也可以使用默认值,此处以“商超商品识别服务”为例。 “资源池”:选择“公共资源池”。
选择“我的订阅”页签,进入个人订阅的模型列表。 在模型列表选择需要推送的模型,单击“应用控制台”列的服务名称将模型推送至不同应用控制台。 图2 选择应用控制台 如果订阅的是ModelArts模型,在弹出的“选择云服务区域”页面选择ModelArts所在的云服务区域,单击“确定”跳转
迁移过程使用工具概览 基础的开发工具在迁移的预置镜像和开发环境中都已经进行预置,用户原则上不需要重新安装和下载,如果预置的版本不满足要求,用户可以执行下载和安装与覆盖操作。 模型自动转换评估工具Tailor 为了简化用户使用,ModelArts提供了Tailor工具,将模型转换、
设置算法启动方式(预置框架+自定义) 图2 使用预置框架+自定义镜像创建算法 需根据实际算法代码情况设置“镜像”、“代码目录”和“启动文件”。选择的预置框架和编写算法代码时选择的框架必须一致。例如编写算法代码使用的是TensorFlow,则在创建算法时也要选择TensorFlow。 表2 使用预置框架+自定义镜像创建算法
型导入至ModelArts中,创建为AI应用,进行统一管理。 1、如果您是在ModelArts中训练得到的模型,可直接从训练中导入模型。 2、如果您在本地或其他平台训练得到模型,可先将模型上传至OBS,再从OBS中导入模型。 从OBS导入元模型(手动配置) 从训练中选择元模型 使用自定义镜像创建AI应用
并联系技术支持进行处理。 若选择了重部署修复方式,实例会立即关机并迁移到新服务器,本地盘数据会被清空,请提前做好业务迁移和数据备份。 图2 修复节点 授权运维 华为云技术支持在故障定位和性能诊断时,部分运维操作需要用户授权才可进行。您可在资源池详情页的节点页签下,找到对应节点,在操作列单击“更多
会被删除。 查看训练效果 启动模型微调任务后,在微调大师列表单击操作列的“任务详情”,在弹窗中选择“指标效果”页签,可以查看训练效果。 表2 训练效果的指标介绍 指标名称 指标说明 NPU/GPU利用率 在训练过程中,机器的NPU/GPU占用情况(横坐标时间,纵坐标占用率)。 显存利用率