-
在线服务和边缘服务有什么区别? - AI开发平台ModelArts
将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远,对于实时性要求高的计算需求,把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。而终端设备通常计算能力不足,无法与云端相比。在此情况下,通过在靠近终端设备的地方建立边缘
-
创建项目 - AI开发平台ModelArts
的数据集供选择。 创建数据集:前往创建数据集页面创建一个新的数据集。具体可参考如何创建数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。
-
创建项目 - AI开发平台ModelArts
的数据集供选择。 创建数据集:前往创建数据集页面创建一个新的数据集。具体可参考如何创建数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。
-
精度对齐 - AI开发平台ModelArts
script装饰器,torch_npu能采到数据,而GPU上则不行的原因为:@torch.jit.script装饰器会将装饰函数作为ScriptFunction对象返回,不会产生dump数据。而目前该装饰器在torch_npu下不生效,NPU会按照普通函数执行,因此能够采集到数据。从精度对比角度考虑,先删除@torch
-
场景介绍 - AI开发平台ModelArts
架Pytorch_npu+华为自研Ascend Snt9b硬件,为用户提供了开箱即用的预训练和全量微调方案。 本方案目前配套的是AscendCloud-3rdLLM-6.3.T041版本,仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 操作流程 图1
-
配额说明 - AI开发平台ModelArts
配额说明 本服务应用的基础设施如下: 弹性云服务器 云硬盘 虚拟私有云 云容器引擎 其配额查看及修改请参见关于配额。
-
查询团队标注的样本信息 - AI开发平台ModelArts
"sample_type" : 0, "labels" : [ ], "source" : "https://test-obs.obs.xxx.com:443/detect/data/dataset-car-and-person/IMG_kitti_0000_000016
-
使用基础镜像构建新的训练镜像 - AI开发平台ModelArts
get-docker.sh 准备名为context的文件夹。 mkdir -p context 准备可用的pip源文件pip.conf 。本示例使用华为开源镜像站提供的pip源,其pip.conf文件内容如下。 [global] index-url = https://repo.huaweicloud
-
如何保证训练和调试时文件路径保持一致 - AI开发平台ModelArts
如何保证训练和调试时文件路径保持一致 云上挂载路径 Notebook中挂载SFS后,SFS默认在“/home/ma-user/work”路径下。在创建训练作业时,设置SFS Turbo的“云上挂载路径”为“/home/ma-user/work”,使得训练环境下SFS也在“/home/ma-user/work”路径下。
-
训练网络迁移总结 - AI开发平台ModelArts
与优化,一般来说分段对比GPU的运行性能会有比较好的参考。算子级的调优某些情况下如果是明显的瓶颈或者性能攻坚阶段,考虑到门槛较高,可以联系华为工程师获得帮助。 精度诊断过程当前确实门槛较高,一般还是需要GPU上充分稳定的网络(包含混合精度)再到NPU上排查精度问题。常见的精度调测
-
训练作业失败,如何使用开发环境调试训练代码? - AI开发平台ModelArts
错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VsCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 业务代码问题
-
创建项目 - AI开发平台ModelArts
的数据集供选择。 创建数据集:前往创建数据集页面创建一个新的数据集。具体可参考如何创建数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。
-
Notebook基础镜像x86 自定义专用镜像 - AI开发平台ModelArts
安装所需的软件包即可使用。 此类镜像为最基础的镜像,主要应对用户做自定义镜像时基础镜像太大的问题,所以镜像中未安装任何组件;如果需使用OBS SDK相关功能,推荐使用ModelArts SDK进行文件复制等操作,详细操作请参考文件传输。 镜像一:conda3-cuda10.2-cudnn7-ubuntu18
-
场景介绍 - AI开发平台ModelArts
0亿参数的模型,即:Llama2-7B、Llama2-13B、Llama2-70B。 方案概览 本文档利用训练框架Pytorch_npu+华为自研Ascend Snt9b硬件,为用户提供了开箱即用的预训练和全量微调方案。 本文档以Llama2-70B为例,同时适用于Llama2-
-
Step3 制作自定义镜像 - AI开发平台ModelArts
timeout = 120 在华为开源镜像站https://mirrors.huaweicloud.com/home中,搜索pypi,可以查看pip.conf文件内容。 准备可用的apt源文件Ubuntu-Ports-bionic.list。本示例使用华为开源镜像站提供的apt源,执行如下命令获取apt源文件。
-
Step3 制作自定义镜像 - AI开发平台ModelArts
timeout = 120 在华为开源镜像站https://mirrors.huaweicloud.com/home中,搜索pypi,可以查看pip.conf文件内容。 准备可用的apt源文件Ubuntu-Ports-bionic.list。本示例使用华为开源镜像站提供的apt源,执行如下命令获取apt源文件。
-
场景介绍 - AI开发平台ModelArts
npu+华为自研Ascend Snt9b硬件,为用户提供了开箱即用的预训练和全量微调方案。同时利用昇腾高性能算子库Ascend Transformer Boost(ATB)和适配昇腾平台的大模型推理服务Text Generation Inference(TGI) + 华为自研Ascend
-
PyCharm ToolKit连接Notebook - AI开发平台ModelArts
Step5 使用插件连接云上Notebook 与Notebook断开连接的状态下,单击Notebook名称,根据提示启动本地IDE与Notebook的连接(默认启动时间4小时)。 图5 启动连接Notebook 连接状态下,单击Notebook名称,根据提示断开本地IDE与云上Notebook的连接。
-
Notebook自定义镜像约束 - AI开发平台ModelArts
不满足以上镜像规范,所制作的镜像使用可能会出现故障,请用户检查镜像规范,并参考Notebook自定义镜像故障基础排查自行排查,如未解决请联系华为技术工程师协助解决。 父主题: Notebook中使用自定义镜像
-
模型适配 - AI开发平台ModelArts
模型适配 MindSpore Lite是华为自研的推理引擎,能够最大化地利用昇腾芯片的性能。在使用MindSpore Lite进行离线推理时,需要先将模型转换为mindir模型,再利用MindSpore Lite作为推理引擎,将转换后的模型直接运行在昇腾设备上。模型转换需要使用converter_lite工具。