检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mer-main设置归属为ma-user。 chown -R ma-user:ma-group Swin-Transformer 执行以下命令,去除Shell脚本的\r字符。 cd Swin-Transformer sed -i 's/\r//' run.sh Shell脚本在W
s_data.sh脚本,将执行的python命令复制下来,修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中,再执行python命令。 方法二:用户在Notebook中直接编辑s
process_data.sh脚本,将执行的python命令复制下来,修改环境变量的值,进入到 /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 路径中,再执行python命令。 方法二:用户直接编辑scripts/llama2/1_preprocess_data
模型管理 模型调试 导入模型 查询模型列表 查询模型对象列表 查询模型详情 删除模型
模型管理 创建模型失败,如何定位和处理问题? 导入模型提示该账号受限或者没有操作权限 用户创建模型时构建镜像或导入文件失败 创建模型时,OBS文件目录对应镜像里面的目录结构是什么样的? 通过OBS导入模型时,如何编写打印日志代码才能在ModelArts日志查询界面看到日志 通过O
配额管理 查询OS的配额
严格授权模式是指在IAM中创建的子用户必须由账号管理员显式在IAM中授权,才能访问ModelArts服务,管理员用户可以通过授权策略为普通用户精确添加所需使用的ModelArts功能的权限。 相对的,在非严格授权模式下,子用户不需要显式授权就可以使用ModelArts,管理员需要在IAM上为子用户配置
OBS管理 OBS管理概述 文件传输(推荐) 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹
list_import_tasks() print(list_tasks_resp) # 打印导入任务列表 参数说明 无。 父主题: 导入任务管理
查询导出任务的详细信息 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 task_id 是 String 导出任务的任务ID。 父主题: 导出任务管理
s_data.sh脚本,将执行的python命令复制下来,修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中,再执行python命令。 方法二:用户在Notebook中直接编辑s
数据集版本管理找不到新建的版本 版本列表是可以缩放的,请缩小页面后查找。 单击数据集名称,进入数据集概览页,在概览页选择“版本管理”,可对页面进行缩小。 父主题: Standard数据管理
打印数据集版本的详情 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 version_id 是 String 数据集版本ID。 父主题: 数据集版本管理
参数说明 表1 请求参数 参数 是否必选 参数类型 描述 version_id 是 String 数据集版本ID。 父主题: 数据集版本管理
注册自定义镜像 功能介绍 将用户自定义的镜像注册到ModelArts镜像管理。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/images
管理ModelArts模型版本 为方便溯源和模型反复调优,在ModelArts中提供了模型版本管理的功能,您可以基于版本对模型进行管理。 前提条件 已在ModelArts中创建模型。 创建新版本 在“模型”页面,单击操作列的“创建新版本”进入“创建新版本”页面,参数配置除版本外,
性能调优总体原则和思路 PyTorch在昇腾AI处理器的加速实现方式是以算子为粒度进行调用(OP-based),即通过Python与C++调用CANN层接口Ascend Computing Language(AscendCL)调用一个或几个亲和算子组合的形式,代替原有GPU的实现
替的关系。昇腾训练芯片属于NPU的范畴,虽然在表达层可以通过torch.cuda和torch.npu的形式来替代,但是真实的算子下发、显存管理、集合通信等存在差异,用户需要了解NPU的运行机制才能更好的使用NPU设备,同时在遇到问题时快速找到原因。 代码迁移操作步骤 在训练任务启
准备代码 本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-905-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
task_name:根据任务名称进行排序 sort_dir 否 String 排序方式。可选值如下: asc:按照升序排序 desc:默认值,按照降序排序 父主题: 标注任务管理