检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2-py_3.7-ubuntu_18.04-x86_64)。 “资源池”:选择公共资源池或专属资源池,此处以公共资源池为例。 “类型”:推荐选择GPU。 “规格”:推荐选择GP Tnt004规格,如果没有再选择其他规格。 参数填写完成后,单击“立即创建”进行规格确认。参数确认无误后,单击“提交”,完成Notebook的创建操作。
默认进行计算、通信、下发和内存的全维度分析。可以指定默认值中任意单维度进行分析,如仅指定computation进行计算维度分析,仅指定schedule进行下发维度分析。推荐不填写该参数,即使用默认值进行分析。 4 advisor_analyze_processes 1 否 advisor分析进程数,可选范围为
新下发的训练作业会以第一优先级进行排队。如果排队时间超过30分钟,训练作业会自动退出。该现象表明资源池规格任务紧张,训练作业无法正常启动,推荐您购买专属资源池补充计算节点。 如果您使用专属资源池创建训练作业,容错检查识别的故障节点会被剔除。系统自动补充健康的计算节点至专属资源池。(该功能即将上线)
ckerhub官网查找即可。 构建流程:安装所需的apt包、驱动,配置ma-user用户、导入conda环境、配置Notebook依赖。 推荐使用Dockerfile的方式构建镜像。这样既满足dockerfile可追溯及构建归档的需求,也保证镜像内容无冗余和残留。 每层构建的时候
5b全量微调的详细过程。完成本方案的部署,需要先联系您所在企业的华为方技术支持购买Server资源。 本方案目前仅适用于企业客户。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B单机。 表1 环境要求 名称 版本 driver 23.0.6
ctl工具或k8s API来下发作业。此外,ModelArts还提供了扩缩容、驱动升级等功能,方便您对集群资源进行管理。 图2 使用流程 推荐您根据以下使用流程对Lite Cluster进行使用。 资源开通:您需要开通资源后才可使用Lite Cluster,在开通资源前,请确保完
本文档主要介绍如何利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,完成SDXL Finetune训练。 资源规格要求 推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8
果至OBS服务指定路径,输入和输出数据需要配置2个地方: 训练代码中需解析输入路径参数和输出路径参数。ModelArts Standard推荐以下方式实现参数解析。 1 2 3 4 5 6 7 8 9 10 import argparse # 创建解析 parser
28和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-han-lab/pile-val-backup,注意需指定到val
28和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-han-lab/pile-val-backup,注意需指定到val
images(1GB)、Train/Val annotations(241MB),分别解压后并放入coco文件夹中。 下载完成后,将数据上传至SFS相应目录中。由于数据集过大,推荐先通过obsutil工具将数据集传到OBS桶后,再将数据集迁移至SFS。 在本机机器上运行,通过obsutil工具将本地数据集传到OBS桶。
$IMAGE_DATA_PATH --cfg ./configs/swin/swin_base_patch4_window7_224_22k.yaml 推荐先使用单机单卡运行脚本,待正常运行后再改用多机多卡运行脚本。 多机多卡run.sh中的“VC_WORKER_HOSTS”、“VC_WORK
先联系您所在企业的华为方技术支持购买Cluster资源。 本方案目前仅适用于企业客户,并且需要用户具备k8s集群相关技能。 资源规格要求 推荐使用“西南-贵阳一”Region上的Cluster资源 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2
模型准备 MindSpore Lite提供的模型convertor工具可以支持主流的模型格式到MindIR的格式转换,用户需要导出对应的模型文件,推荐导出为ONNX格式。 如何导出ONNX模型 PyTorch转ONNX,操作指导请见此处。 PyTorch导出ONNX模型样例如下: import
28和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-han-lab/pile-val-backup,注意需指定到val
如果对版本有明确要求,优先使用“EXACT”;如果使用“EXACT”与系统安装包有冲突,可以选择“ATLEAST” 如果对版本没有明确要求,推荐不填写“restraint”、“package_version”,只保留“package_name”参数 表8 health数据结构说明 参数
考创建资源池。 资源规格要求: 硬盘空间:至少200GB。 昇腾资源规格:Ascend: 8*ascend-snt9b表示昇腾8卡规格。 推荐使用“西南-贵阳一”Region上的昇腾资源。 Step2 创建OBS桶 ModelArts使用对象存储服务(Object Storage
考创建资源池。 资源规格要求: 硬盘空间:至少200GB。 昇腾资源规格:Ascend: 8*ascend-snt9b表示昇腾8卡规格。 推荐使用“西南-贵阳一”Region上的昇腾资源。 Step2 创建OBS桶 ModelArts使用对象存储服务(Object Storage
本文档适配昇腾云ModelArts 6.3.912版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包
5b全量微调的详细过程。完成本方案的部署,需要先联系您所在企业的华为方技术支持购买Server资源。 本方案目前仅适用于企业客户。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B单机。 表1 环境要求 名称 版本 driver 23.0.6