正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tokenized_full_prompt 本案例中 alpaca_gpt4_data.json 数据集包含有以下字段: instruction:描述模型应执行的任务。指令中的每一条都是唯一的。 input:任务的可选上下文或输入。instruction 对应的内容会与 input 对应的内容拼接后作为指令,即指令为
支持用户使用超参搜索功能。 在0代码修改的基础下,实现算法模型的超参搜索。需要完成以下步骤: 准备工作 创建算法 创建训练作业 查看超参搜索作业详情 准备工作 数据已完成准备:已在ModelArts中创建可用的数据集,或者您已将用于训练的数据集上传至OBS目录。 请准备好训练脚本
基于AIGC模型的GPU推理业务迁移至昇腾指导 场景介绍 迁移环境准备 pipeline应用准备 应用迁移 迁移效果校验 模型精度调优 性能调优 常见问题 父主题: GPU业务迁移至昇腾训练推理
日志提示Compile graph failed 日志提示Custom op has no reg_op_name attr 父主题: GPU推理业务迁移至昇腾的通用指导
通过智能标注方式标注数据 创建智能标注作业 确认智能标注作业的数据难例 使用自动分组智能标注作业 父主题: 标注ModelArts数据集中的数据
数据处理场景介绍 ModelArts平台提供的数据处理功能,基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后,数据一般是不能直接满足训练要求的。为了保障数据质量,以免对后续操作(如数据标注、模型训练等)带
如何处理使用opencv.imshow造成的内核崩溃? 问题现象 当在Notebook中使用opencv.imshow后,会造成Notebook崩溃。 原因分析 opencv的cv2.imshow在jupyter这样的client/server环境下存在问题。 而matplotlib不存在这个问题。
如何提升训练效率,同时减少与OBS的交互? 场景描述 在使用ModelArts进行自定义深度学习训练时,训练数据通常存储在对象存储服务(OBS)中,且训练数据较大时(如200GB以上),每次都需要使用GPU资源池进行训练,且训练效率低。 希望提升训练效率,同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。
AI引擎Scikit_Learn0.18.1的运行环境怎么设置? 在ModelArts的算法管理页面,创建算法时勾选“显示旧版镜像”,选择XGBoost-Sklearn引擎即可。 ModelArts创建算法操作请参见创建算法。 ModelArts创建训练作业操作请参见创建训练作业。
原因分析 出现该问题的可能原因如下: 用户的自定义镜像中无ascend_check工具,导致启动预检失败。 用户的自定义镜像中的ascend相关工具不可用,导致预检失败。 处理方法 通过给训练作业加环境变量“MA_DETECT_TRAIN_INJECT_CODE”并将对应的值设置成0,就
境安装,可以方便的替换驱动、固件和上层开发包,具有root权限,结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 开通裸金属服务器资源请见DevServer资源开通,在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导,使用ModelArts提供的基础容器镜像请见容器环境搭建。
训练代码迁移 前提条件 要迁移的训练任务代码在GPU上多次训练稳定可收敛。训练业务代码和数据,应该确保在GPU环境中能够运行,并且训练任务有稳定的收敛效果。 本文只针对基于PyTorch的训练代码迁移。这里假设用户使用的是基于PyTorch的训练代码进行迁移。其他的AI引擎如Tensor
Notebook停止或者重启后,“/cache”下的文件还存在么?如何避免重启? “/cache”目录下存储的是临时文件,在Notebook实例停止或重启后,不会被保存。存储在“/home/ma-user/work”目录下的数据,在Notebook实例停止或重启后,会被保留。 为
数据集可以直接下载至OBS,也可以下载至ModelArts数据集中,不管任何方式,其最终的存储路径均为OBS目录。 下载至OBS时,在下载任务完成后,数据将存储在下载时设置的OBS目录中。请注意下载任务中设置的区域,后续使用SDK或ModelArts控制台时,使用的区域需一致。 下载至数据集时,可以在下载任务完成后,
AscendCloud-3rdAIGC-6.3.905-xxx.zip 文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。 获取路径:Support-E 如果没有软件下载权限,请联系您所在企业的华为方技术支持下载获取。 基础镜像包 swr.cn-southwest-2.myhuaweicloud
NPU的LoRA训练指导(6.3.905) Stable Diffusion(简称SD)是一种基于扩散过程的图像生成模型,应用于文生图场景,能够帮助用户生成图像。SDXL LoRA训练是指在已经训练好的SDXL模型基础上,使用新的数据集进行LoRA微调以优化模型性能的过程。 本
团队标注使用流程 创建和管理团队 创建团队标注任务 审核并验收团队标注任务结果 管理团队和团队成员 父主题: 标注ModelArts数据集中的数据
使用Notebook不同的资源规格,为什么训练速度差不多? 如果用户的代码中训练任务是单进程的,使用Notebook 8核64GB,72核512GB训练的速度是基本一致的,例如用户用的是2核4GB的资源,使用4核8GB,或者8核64GB效果是一样的。 如果用户的代码中训练任务是多进程的,使用Notebook
script可以保证这块GPU和NPU dump的数据对齐。 compare表中Cosine列第一个出现偏差的位置,为einsum算子的输入。 图8 Cosine列的偏差 查看堆栈信息发现是self.inv_freq的值存在精度偏差,再追溯到self.inv_freq的定义片段。 图9 inv_freq的定义片段 通
"version": "1.0" } 转换功能的实现,可参考从0制作自定义镜像用于创建训练作业(MindSpore+Ascend)中所述的Ascend训练脚本的启动脚本。 训练任务在容器中的挂载点说明 使用自定义镜像训练模型时,训练任务在容器中的挂载点参考如表2所示。 表2 训练任务挂载点介绍