检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据集版本详情 根据版本ID查询数据集指定版本的详细信息。 dataset.get_version_info(version_id) 示例代码 查询数据集指定版本的详细信息 from modelarts.session import Session from modelarts
自定义镜像导入配置运行时依赖无效 问题现象 通过API接口选择自定义镜像导入创建模型,配置了运行时依赖,没有正常安装pip依赖包。 原因分析 自定义镜像导入不支持配置运行时依赖,系统不会自动安装所需要的pip依赖包。 处理方法 重新构建镜像。 在构建镜像的dockerfile文件
ModelArts版本配套关系表 当前华为云中国站和国际站所有Region均已上线ModelArts 6.7.0版本。 ModelArts 6.7.0版本中针对Ascend Snt9B资源的周边依赖组件配套版本关系如下表所示。 表1 ModelArts 6.7.0版本配套关系表 强依赖组件 Ascend
器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 Ascend-vLLM版本 本方案支持vLLM的v0.6.3版本。 镜像版本 本方案中用到的基础镜像地址和配套版本关系如下表所示,请提前了解。
Boolean 是否为数据集当前版本。可选值如下: true:数据集当前版本 false:非数据集当前版本 label_stats Array of LabelStats objects 发布版本的各标签统计信息列表。 label_type String 发布版本的标签类型。可选值如下: multi:表示含有多标签样本
MMCV的依赖与PyTorch版本不匹配。 处理方法 可参考链接的内容,根据PyTorch和CUDA版本安装对应版本的MMCV。 父主题: 预置算法运行故障
${USER_CONVERTED_CKPT_PATH}训练过程的权重保存路径,加载路径一致。 故障快恢依赖训练过程的权重保存路径。所以如果开启 MA_TRAIN_AUTO_RESUME=1, 则用户指定的权重加载路径${USER_CONVERTED_CKPT_PATH}不能是训练过程的权重保存路径。 步骤三 启动训练脚本
用户请按照以下思路进行逐步排查: 检查依赖包是否存在 检查依赖包路径是否能被识别 检查训练作业使用的资源规格是否正确 建议与总结 检查依赖包是否存在 如果依赖包不存在,您可以使用以下两种方式完成依赖包的安装。 方式一(推荐使用):在创建我的算法时,需要在“代码目录”下放置相应的文件或安装包。 请根据依赖包的类型,在代码目录下放置对应文件:
用于配置训练作业开始时需要输入数据的路径和训练结束后输出数据的路径。 输入指定的目录在训练开始时,平台会自动将指定的OBS路径下的文件copy到容器内 输出指定的目录在训练过程中,平台会自动将容器内的文件copy到指定的OBS路径下 在“输入”的输入框内设置变量:ORIGINAL
练tokenizer文件说明。 步骤三 修改config.yaml中的${command} 请根据步骤二 修改训练超参配置修改超参值后,修改config.yaml中的${command},替换为容器中执行训练的命令。Llama2-70B建议为4机32卡训练。 多机启动 以 Llama2-70B
如何查看ModelArts的Notebook使用的cuda版本? 执行如下命令查看环境中的cuda版本。 ll /usr/local | grep cuda 举例: 图1 查看当前环境的cuda版本 如图1所示,当前环境中cuda版本为10.2 父主题: Standard Notebook
> 版本管理”,进入数据集“版本管理”页面。 在“版本管理”页面中,选择对应的数据集版本,在数据集版本基本信息区域,单击“设置为当前版本”。设置完成后,版本名称右侧将显示为“当前版本”。 图1 设置当前版本 只有状态为“正常”的版本,才能被设置为当前版本。 删除数据集版本 登录M
一个版本的配置信息,您可以对参数配置进行修改,参数说明请参见创建模型。单击“立即创建”,完成新版本的创建操作。 删除版本 在“模型管理”页面,单击模型的“版本数量”,在展开的版本列表中,单击“操作”列的“删除”,即可删除对应的版本。 如果模型的版本已经部署服务,需先删除关联的服务
免后续无意义的运行时长。 解决方案 专属资源池的Ascend驱动版本需与训练基础镜像中的Cann软件版本版本匹配。 ModelArts上支持的Ascend驱动版本可以在ModelArts专属资源池(NEW)的详情页面查看到。ModelArts上支持的Cann软件版本可以在训练基础
2版本的pip下载了python3的包。具体基础镜像运行环境请参见推理基础镜像列表。 安装pip包有先后依赖关系。 处理方法 到pypi.org上查询依赖的待安装包是否存在,如果不存在则建议使用whl包进行安装(将待安装的whl包放到模型所在的OBS目录下)。 查看待安装包的安装
工作路径的类型。可选值如下: OBS:OBS路径 DATASET:数据集 version_id String 数据集的版本。 version_name String 数据集的版本名称,名称仅包含数字、字母、中划线和下划线,长度是0-32位。 请求示例 查询数据处理任务版本的详情 GET
删除数据处理任务的版本 功能介绍 删除数据处理任务的版本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/proce
停止数据处理任务的版本 功能介绍 停止数据处理任务的版本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/process
demo.sh方式启动(历史版本) 本章节介绍历史版本的训练任务启动方式。6.3.912版本同时兼容历史版本的训练任务启动方式。 步骤一:上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集,可以忽略此步骤。 未上传训练权重文件,具体参考上传代码和权重文件到工作环境。
不同机型的对应的软件配套版本 由于弹性集群资源池可选择弹性裸金属或弹性云服务器作为节点资源,不同机型的节点对应的操作系统、适用的CCE集群版本等不相同,为了便于您制作镜像、升级软件等操作,本文对不同机型对应的软件配套版本做了详细介绍。 裸金属服务器的对应的软件配套版本 表1 裸金属服务器