正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。 产品架构 ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、AI应用管理、AI应用部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。
注册镜像。登录ModelArts控制台,在左侧导航栏选择“镜像管理”,进入镜像管理页面。单击“注册镜像”,镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可,或单击可直接从SWR选择自有镜像进行注册,类型加上“GPU”,如图1所示。 图1 注册镜像 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间
ptFunction对象返回,不会产生dump数据。而目前该装饰器在torch_npu下不生效,NPU会按照普通函数执行,因此能够采集到数据。从精度对比角度考虑,先删除@torch.jit.script可以保证这块GPU和NPU dump的数据对齐。 compare表中Cosin
通过容器名称进入容器中。 docker exec -it ${container_name} bash Step4 下载原始模型包 从HuggingFace官网下载moondream2模型包到本地,下载地址:https://huggingface.co/vikhyatk/moondream2/tree/2024-03-06。
AI应用的ID。 描述 单击编辑按钮,可以添加AI应用的描述。 部署类型 AI应用支持部署的服务类型。 元模型来源 显示元模型的来源,主要有从训练中选择、从对象存储服务(OBS)中选择、从容器镜像中选择。不同来源的元模型,AI应用显示的参数会不同。 训练作业名称 若元模型来源于训练作业,
MindSpeed昇腾大模型加速库 |──ModelLink/ # ModelLink端到端的大语言模型方案 |——megatron/ # 注意:该文件夹从Megatron-LM中复制得到 |——... 父主题: 准备镜像
来源训练作业的ID,模型是从训练作业产生的可填写,用于溯源;如模型是从第三方元模型导入,则为空。默认值为空。非模板参数 model_type 是 String 模型类型,取值为TensorFlow/Image/PyTorch/Template/MindSpore,从配置文件读取。公共参数
|──ModelLink/ # ModelLink端到端的大语言模型方案 |——megatron/ # 注意:该文件夹从Megatron-LM中复制得到 |——... 您可
String 来源训练作业的ID,模型是从训练作业产生的可填写,用于溯源;如模型是从第三方元模型导入,则为空,默认值为空。 source_job_version 否 String 来源训练作业的版本,模型是从训练作业产生的可填写,用于溯源;如模型是从第三方元模型导入,则为空,默认值为空。
数据输入支持的标注格式不同,ModelArts目前支持的标注格式及其说明请参见不同类型数据集支持的功能列表。 从AI Gallery下载数据 当用户没有准备数据时,可以从AI Gallery上下载数据创建数据集。选择“AI Gallery”并选中列表中的一个资产。 下载至OBS桶
gz在OBS上的路径(需将文件设置为公共读)。 单机单卡运行脚本: # 在代码主目录下创建一个run.sh,内容如下 #!/bin/bash # 从obs中下载数据到本地SSD盘 DIS_DATA_PATH=/cache SRC_DATA_PATH=${imagenet数据集在obs中分享链接}
可以在Huggingface开源社区获取AWQ量化后的模型权重;或者获取FP16/BF16的模型权重之后,通过autoAWQ工具进行量化。 方式一:从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ
Gallery首页,选择“资产集市 > 算法”,进入算法页面。 单击“发布”,弹出“选择云服务区域”,选择区域后单击“确定”跳转到“发布资产到AI Gallery”页面。 在发布资产页面,填写相关信息,发布资产。 如果是发布新资产。 “发布方式”选择“创建新资产”。 填写“资产标题”。即在AI
PyTorch(torch_npu)。 在torch_npu安装后,该部分并没有直接植入到PyTorch中生效,需要用户显式调用。 #torch npu初始化 import torch_npu 调用后,前端会通过monkey-patch的方式注入到torch对象中,后端会注册NPU设备以及HCCL的参数面通信能力,这样就可以运行torch
登录ModelArts管理控制台,进入“AI应用”页面中,单击“创建应用”,进入AI应用创建页面,设置相关参数如下: 元模型来源:选择“从对象存储服务(OBS)中选择”。 选择元模型:从OBS中选择一个模型包。 AI引擎:选择“Custom”。 引擎包:从容器镜像中选择一个镜像。 容器调用接口:端口和协议可根据镜像实际使用情况自行填写。
在代码目录中的.sh复制到容器之后,需要添加“x”可执行权限。 bash: /bin/ln: Permission denied 因安全问题,不支持用户开通使用In命令。 bash:/home/ma-user/.pip/pip.conf:Permission Denied 因从V1切换到V2
建议配置。 仅在严格授权模式开启后,需要显式配置左侧权限。 SWR SWR Admin SWR Admin为SWR最大权限,用于: 从自定义镜像导入。 从OBS导入时使用自定义引擎。 按需配置。 OBS obs:bucket:ListAllMybuckets obs:bucket:HeadBucket
查看训练作业事件 训练作业的(从用户可看见训练任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应训练作业的详情页面进行查看。 方便用户更清楚的了解训练作业运行过程,遇到任务异常时,更加准确的排查定位问题。当前支持的作业事件如下所示: 训练作业创建成功 训练作业创建失败报错:
|──ModelLink/ # ModelLink端到端的大语言模型方案 |——megatron/ # 注意:该文件夹从Megatron-LM中复制得到 |——... 您可
入不同的元模型进行调优。 描述 AI应用的简要描述。 填写元模型来源及其相关参数。当“元模型来源”选择“从对象存储服务(OBS)中选择”时,其相关的参数配置请参见表2。 针对从OBS导入的元模型,ModelArts要求根据模型包规范,编写推理代码和配置文件,并将推理代码和配置文件