检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Mindspore版本与CANN版本,CANN版本与Ascend驱动/固件版本均有严格的匹配关系,版本不匹配会导致训练失败。 前提条件 已注册华为账号并开通华为云,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。 Step1 创建OBS桶和文件夹 在OBS服务中创建桶
_cuda_frame failed with error code 0” 原因分析 出现该问题的可能原因如下: pytorch1.4引擎与之前pytorch1.3版本兼容性问题。 处理方法 在images之后添加contigous。 images = images.cuda()
密钥文件内容不正确或格式不正确。 解决方法 请使用正确的密钥文件进行远程访问,如果本地没有正确的密钥文件或文件已损坏,可以尝试: 登录控制台,搜索“数据加密服务 DEW”,选择“密钥对管理 > 账号密钥对”页签,查看并下载正确的密钥文件。 如果密钥不支持下载且已无法找到之前下载的密钥,建议
“nv_peer_mem”是一个Linux内核模块,它允许支持P2P(Peer-to-Peer)的NVIDIA GPU直接进行内存访问(DMA)。这意味着数据可以直接在多个GPU之间传输,而无需经过CPU或系统内存,这可以显著降低延迟并提高带宽。 所以既然nccl-tests能正常测试, 但是达
Shell登录训练容器,且训练作业必须处于“运行中”状态。 前提条件:给子账号配置允许使用Cloud Shell的权限 使用主用户账号登录华为云的管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。 在统一身份认证服务页面的左侧导航选择“权限管理
CPU使用率 该指标用于统计测量对象的CPU使用率。 百分比(Percent) 0~100% 内存利用率 该指标用于统计测量对象已使用内存占申请物理内存总量的百分比。 百分比(Percent) 0~100% GPU显卡使用率 该指标用于统计测量对象已使用的显卡占显卡容量的百分比。
导入模型功能包括: 初始化已存在的模型,根据模型ID生成模型对象。 创建模型。模型对象的属性,请参见查询模型详情。 示例模型文件 以PyTorch为例,编写模型文件。PyTorch模型包结构可参考模型包规范介绍。 OBS桶/目录名 ├── resnet │ ├── model
0镜像时,必现如下报错: “RuntimeError: std:exception” 原因分析 PyTorch1.0镜像中的libmkldnn软连接与原生torch的冲突,具体可参看文档。 处理方法 按照issues中的说明,应该是环境中的库冲突了,因此在启动脚本最开始之前,添加如下代码。
否 String 数据输入类型,支持数据存储位置(OBS)、ModelArts数据集两种方式。 attributes 否 Array of Map<String,String> objects 数据输入为数据集时的相关属性。枚举值: data_format:数据格式。 data_
的pip依赖包。 处理方法 重新构建镜像。 在构建镜像的dockerfile文件中安装pip依赖包,例如安装Flask依赖包。 # 配置华为云的源,安装 python、python3-pip 和 Flask RUN cp -a /etc/apt/sources.list /etc/apt/sources
dataset object 数据输入信息为数据集。 obs obs object 数据输入输出信息为OBS方式。 表19 dataset 参数 参数类型 描述 id String 训练作业的数据集ID。 version_id String 训练作业的数据集版本ID。 obs_url String
LoRA训练 本章节介绍SDXL&SD 1.5模型的LoRA训练过程。LoRA训练是指在已经训练好的模型基础上,使用新的数据集进行LoRA微调以优化模型性能的过程。 启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_lora_train
响应Body参数 参数 参数类型 描述 current Integer 当前页数。 data Array of NotebookResp objects 数据。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表4 NotebookResp
否 String 存储路径。 如果type为“obs”类型,该值必须填写,该值需为有效的OBS桶路径,且以“/”结束。不能指定为OBS桶的根目录,需指定为OBS桶下的具体目录。 如果type为“obsfs”类型,该值需为有效的OBS并行文件系统的桶名(当前CCE不支持挂载子目录)。
本示例,请参见自定义脚本代码示例。 如果您在导入元模型过程中遇到问题,可联系华为云技术支持协助解决故障。 模型包结构示例 TensorFlow模型包结构 发布该模型时只需要指定到“ocr”目录。 OBS桶/目录名 |── ocr | ├── model 必选: 固定子目录名称,用于放置模型相关文件
String 输入数据的名称,支持1到64位只包含英文、数字、下划线(_)和中划线(-)的字符。 type 否 String 输入项类型。枚举值如下: dataset:数据集 obs:OBS data_selector:数据选择 data 否 Object 输入项数据。 value 否
重启可视化作业 功能介绍 重启可视化作业。此接口为异步接口,作业状态请通过查询可视化作业列表与查询可视化作业详情接口获取。 URI POST /v1/{project_id}/visualization-jobs/{job_id}/restart 参数说明如表1所示。 表1 参数说明 参数 是否为必选
当AOM的监控模板不能满足用户诉求时,用户可以使用Grafana可视化工具来查看与分析监控指标。Grafana支持灵活而又复杂多样的监控视图和模板,为用户提供基于网页仪表面板的可视化监控效果,使用户更加直观地查看到实时资源使用情况。 将Grafana的数据源配置完成后,就可以通过Grafana查看AOM保存的所有ModelArts
String 输入数据的名称,支持1到64位只包含英文、数字、下划线(_)和中划线(-)的字符。 type 否 String 输入项类型。枚举值如下: dataset:数据集 obs:OBS data_selector:数据选择 data 否 Object 输入项数据。 value 否
String> 扩展参数。 表12 storage定义数据结构说明 参数 参数类型 说明 type String 存储类型。 当前支持“obs”、“obsfs” 和“evs”,其中,obsfs类型当前仅支持部分专属资源池。若您需要挂载OBS并行文件系统,请提工单。 location Object