检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档主要介绍如何利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,完成SDXL的LoRA微调训练。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8.0
选择“关联资产”页签,单击右上方的“编辑”,在搜索框中输入待关联资产的ID,单击“关联”。 在弹出的“资产信息”页面,单击“确定”即可关联资产。 对已经关联的资产,单击“取消关联”即可取消资产的关联。 发表评论 请确保开启了邮箱通知。 在“AI Gallery”页面中,单击右上角“我的Gallery
VPC访问通道访问在线服务操作步骤如下: 获取ModelArts终端节点服务地址 购买连接ModelArts终端节点 创建DNS内网域名 VPC访问在线服务 提交工单,提供账号ID给华为云技术支持,用于获取ModelArts终端节点服务地址。 购买连接ModelArts终端节点 登录虚拟私有云(VPC)管理控制台,单击左侧导航栏中的“VPC
返回内容如下: prefill_latency(首token时延):请求从到达服务开始到生成首token的耗时 model_prefill_latency(模型计算首token时延):服务从开始计算首token到生成首token的耗时 avg_decode_latency(平均
"./npu_dump/step0", "bench_path": "./bench_dump/step0", "is_print_compare_log": true } 单卡场景npu_path、bench_path、stack_path分别表示从步骤2中NPU环境所生成的dump
mrs:job:batchDelete(批量删除作业) mrs:file:list(查询文件列表) 在工作流中集成MRS 表7 管理模型 业务场景 依赖的服务 依赖策略项 支持的功能 管理模型 SWR SWR Admin 从自定义镜像导入、从OBS导入时使用自定义引擎。 SWR共享版不支持细粒度权限项,因此需要配置Admin权限。
本文档主要介绍如何利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,完成SDXL Finetune训练。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8.0
登录ModelArts管理控制台,在左侧导航栏中选择“模型管理”,进入模型列表页面。 单击左上角的“创建模型”,进入“创建模型”页面。 在“创建模型”页面,填写相关参数。 填写模型基本信息,详细参数说明请参见表1。 表1 模型基本信息参数说明 参数名称 说明 名称 模型名称。支持1~64
克隆GitHub开源仓库文件到JupyterLab 在Notebook的JupyterLab中,支持从GitHub开源仓库Clone文件。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的ModelArts Upload Fil
timm==0.9.16 准备数据集。 下载Kaggle官网提供的imagenet-mini数据集,解压之后文件大小4.1GB。该数据集是从[imagenet-2012]数据集中筛选的少量数据集。 准备预训练权重。 下载Hugging Face权重。 迁移适配。 入口函数train
当创建算法的参数配置完成后,单击“提交”,返回算法管理列表。 在“我的算法”列表,单击算法名称进入详情页,可以查看算法详细信息。 选择“基本信息”页签可以查看算法信息。 “基本信息”页签,单击“编辑”,支持修改除名称和ID之外的算法信息。修改完成,单击“保存”即可完成修改。 选择“训练列表”页签可以查看使用该算法
返回内容如下: prefill_latency(首token时延):请求从到达服务开始到生成首token的耗时 model_prefill_latency(模型计算首token时延):服务从开始计算首token到生成首token的耗时 avg_decode_latency(平均
控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。 temperature 否 1.0 Float 控制采样的随机性的浮点数。较低的值使模型更加确定性,较高的值使模型更加随机。0表示贪婪采样。 stream 否 False Bool
控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。 temperature 否 1.0 Float 控制采样的随机性的浮点数。较低的值使模型更加确定性,较高的值使模型更加随机。0表示贪婪采样。 stream 否 False Bool
控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。 temperature 否 1.0 Float 控制采样的随机性的浮点数。较低的值使模型更加确定性,较高的值使模型更加随机。0表示贪婪采样。 stream 否 False Bool
_notebook_cache_dir_util(cache目录的利用率) 指标维度:根据实际需求选择相应的指标维度。例如service_id:xxx,然后单击“确定”。 监控对象设置完成后,选择“统计方式”和“统计周期”。 “告警条件设置”:触发条件根据实际需求设置。 图1 监控对象指标设置
/configs/swin/swin_base_patch4_window7_224_22k.yaml --local_rank 0 多机多卡运行脚本: # 创建run.sh #!/bin/bash # 从obs中下载数据到本地SSD盘 DIS_DATA_PATH=/cache SRC_DATA_PATH
控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。 temperature 否 1.0 Float 控制采样的随机性的浮点数。较低的值使模型更加确定性,较高的值使模型更加随机。0表示贪婪采样。 stream 否 False Bool
se】默认false不开启,当训练中断时重启任务会从最新生成权重文件处继续训练。可参考断点续训和故障快恢说明 stage pt 表示训练类型。可选择值: pt:预训练 sft:指令微调 finetuning_type full 表示训练策略。可选择值: full:全参微调 lora:lora微调
在版本列表,当“状态”变成“创建成功”时,表示模型新版本创建完成。 查看我的模型详情 在ModelArts Studio左侧导航栏中,单击“我的模型”进入模型列表。 单击模型名称,进入模型详情页面,可以查看模型“基本信息”和“我的版本”。 基本信息:可以查看模型名称、ID、来源模型等信息。