计算维度,识别AICPU算子,部分AICPU算子计算性能较差。 computation - operator dynamic shape 计算维度,检测动态shape,动态shape会触发频繁的算子编译。 computation - operator bound 计算维度,算子计算性能分析
type String 标注类型。 id String 标注ID。 annotation_loc String 标注文件的云存储路径,对于物体检测是必选字段,对于其他类型是可选字段。 annotation_property String 标注属性。 confidence Double
训练场景和方案介绍 Stable Diffusion(简称SD)是一种基于扩散过程的图像生成模型,应用于文生图场景,能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B开展SDXL和SD1.5模型的训
图1 训练输出设置 断点续训练建议和训练容错检查(即自动重启)功能同时使用。在创建训练作业页面,开启“自动重启”开关。训练环境预检测失败、或者训练容器硬件检测故障、或者训练作业失败时会自动重新下发并运行训练作业。 PyTorch版reload ckpt PyTorch模型保存有两种方式。
开启预检,0表示关闭预检。 推荐开启预检,预检可提前发现节点故障、驱动故障。 “1” 表8 卡死检测相关环境变量 变量名 说明 示例 MA_HANG_DETECT_TIME 卡死检测时间。在这段时间内IO无变化则判定为任务卡死。 取值范围:10~720 单位:分钟 默认值:30 “30”
训练场景和方案介绍 Stable Diffusion(简称SD)是一种基于扩散过程的图像生成模型,应用于文生图场景,能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B开展SDXL和SD1.5模型的训
Cluster节点默认会安装os-node-agent插件,用于对节点进行管理,例如: 驱动升级:通过os-node-agent插件下载驱动文件并进行驱动版本升级、回退。 故障检测:通过os-node-agent插件在系统内周期性巡检故障特征,及时发现节点故障。 指标采集:通过os-node-agent插件采集GPU
它指示系统在高并发场景下每秒能处理的请求量。这一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长,影响满意度。因此,能够灵活调整模型的QPS对于保障服务性能、优化用户体验、维持业务流畅及控制成本至关重要。 ModelArts Studio大模型即服
y/row/entry/p/br {""}) (br]、Map<String,String>类型。对于数据预处理任务比较特殊的两个场景物体检测和图像分类,键“task_type”对应的值为“object_detection”或“image_classification”。 表6 WorkPath
nsamples:可选,压缩模型所用的校准数据样本数量,默认128。 seed:可选,随机数种子。 sparsity:可选,剪枝稀疏度,稀疏度越大剪枝压缩率越高,默认0.1。 memory_efficient:可选,优化剪枝过程中的显存使用,推荐传入。 eval:可选,是否进行
nsamples:可选,压缩模型所用的校准数据样本数量,默认128。 seed:可选,随机数种子。 sparsity:可选,剪枝稀疏度,稀疏度越大剪枝压缩率越高,默认0.1。 memory_efficient:可选,优化剪枝过程中的显存使用,推荐传入。 eval:可选,是否进行
batch服务类型可选。输入参数与csv数据的映射关系,仅当mapping_type为csv时需要填写。映射规则与模型配置文件config.json中输入参数的定义方式相似,只需要在每一个基本类型(string/number/integer/boolean)的参数下配置index参数,指定使用csv数据中对应
配置仪表盘查看指标数据 Grafana中可以自定义配置各种视图的仪表盘,ModelArts也提供了针对集群的配置模板。本章节通过使用ModelArts提供的模板查看指标和创建Dashboards查看指标的方式,说明如何进行仪表盘配置。Grafana的更多使用请参考Grafana官方文档。
打包在代码中。 benchmark_eval ├──apig_sdk # ma校验包 ├──cpu_npu # 检测资源消耗 ├── config │ ├── config.json # 服务的配置模板,已配置了ma-standard,tgi示例
y/row/entry/p/br {""}) (br]、Map<String,String>类型。对于数据预处理任务比较特殊的两个场景物体检测和图像分类,键“task_type”对应的值为“object_detection”或“image_classification”。 表6 WorkPath
昇腾系列AI处理器控制CPU频率 赫兹(Hz) >0 系统态(专属池用户可见) NA NA NA HBM ECC检测开关 ma_node_npu_hbm_ecc_enable 0表示ecc检测未使能;1表示ecc检测使能。 - 1:使能 0:未使能 NA NA NA HBM单比特当前错误计数 ma_no
instance_id,npu 12 npu_hbm_ecc_enable HBM ECC开关状态 NPU卡HBM ECC开关状态 - 0:ecc检测未使能 1:ecc检测使能 instance_id,npu 13 npu_hbm_single_bit_error_cnt HBM当前单bit错误数量
查询训练作业指定任务的运行指标 查询训练作业列表 查询超参搜索所有trial的结果 查询超参搜索某个trial的结果 获取超参敏感度分析结果 获取某个超参敏感度分析图像的路径 提前终止自动化搜索作业的某个trial 获取自动化搜索作业yaml模板的信息 获取自动化搜索作业yaml模板的内容
报错处,需要用户分析定位后将自动迁移未能迁移的GPU相关的代码调用修改为NPU对应的接口,请参考昇腾手工迁移文档进行操作。 常见问题 如何检测当前的torch_npu是否正确安装? 您可以使用如下的python命令在对应的运行环境中初步校验torch_npu是否正常安装。 python3
inedFromHF'],一般为 PretrainedFromHF 。 SEQ_LEN 4096 要处理的最大seq length。脚本会检测超出SEQ_LEN长度的数据,并打印log。 父主题: 训练脚本说明
您即将访问非华为云网站,请注意账号财产安全