检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ct Storage Service)与SFS Turbo文件系统联动,可以实现灵活数据管理、高性能读取等。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。 本案例仅支持在专属资源池上运行,确保专属资源池可以访问公网。
志信息则保存该路径下。 最后,提交训练作业,训练完成后,请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.908)
志信息则保存该路径下。 最后,提交训练作业,训练完成后,请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题: 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.908)
创建训练作业参数 功能介绍 创建训练作业参数。 URI POST /v1/{project_id}/training-job-configs 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
如果您需要对用户使用OBS和ModelArts的权限进行精细化管理,进行自定义策略配置,请参见创建ModelArts自定义策略。 配置基础操作权限 使用ModelArts的基本功能,您需要为用户配置“作用范围”为“项目级服务”的“ModelArts CommonOperations”权限,由于ModelArts依赖O
如果您需要对用户使用OBS和ModelArts的权限进行精细化管理,进行自定义策略配置,请参见创建ModelArts自定义策略。 配置基础操作权限 使用ModelArts的基本功能,您需要为用户配置“作用范围”为“项目级服务”的“ModelArts CommonOperations”权限,由于ModelArts依赖O
动加上Tab键,并对双引号进行转义处理。 “数据切分” 仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 默认不启用。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”
Turbo联动方案涉及VPC、SFS Turbo HPC型文件系统、OBS对象存储服务和ModelArts资源池。如果要使用训练作业挂载SFS Turbo功能,则需要配置ModelArts和SFS Turbo间网络直通,以及配置ModelArts网络关联SFS Turbo。 如果ModelArts网络关联SFS
查询开发环境实例列表 功能介绍 该接口用于查询开发环境实例列表,用户可按需查询满足条件的开发环境实例列表。 URI GET /v1/{project_id}/demanager/instances?de_type={de_type}&provision_type={provisi
自动停止 当使用付费资源时,可以选择是否打开“自动停止”开关。 开关关闭(默认关闭):表示任务将一直运行。 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后,运行时长到期后将会自
任务创建完成后,您可以在“我创建的”页签下看到新建的任务。 登录ModelArts-Console 在ModelArts中,一般用户使用数据标注功能,直接是在“数据标注”模块操作,此模块包含数据标注、数据导入导出、智能标注、团队标注和管理等。团队标注任务创建成功后,团队成员登录Mode
配置多分支节点数据 功能介绍 仅用于存在多分支执行的场景,在编写构建工作流节点时,节点的数据输入来源暂不确定,可能是多个依赖节点中任意一个节点的输出。只有当依赖节点全部执行完成后,才会根据实际执行情况自动获取有效输出作为输入。 使用案例 from modelarts import
Turbo联动方案涉及VPC、SFS Turbo HPC型文件系统、OBS对象存储服务和ModelArts资源池。如果要使用训练作业挂载SFS Turbo功能,则需要配置ModelArts和SFS Turbo间网络直通,以及配置ModelArts网络关联SFS Turbo。 如果ModelArts网络关联SFS
查询训练作业参数详情 功能介绍 查看指定的训练作业参数详情。 URI GET /v1/{project_id}/training-job-configs/{config_name} 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型 说明 project_id 是 String
选择“数据准备> 数据标注”,进入“数据标注”管理页面。 数据管理模块在重构升级中,对未使用过数据管理的用户不可见。如果要使用数据管理相关功能,建议提交工单开通权限。 在标注作业列表右侧“所有类型”页签下拉选择标注类型,基于“标注类型”选择需要进行标注的标注作业,单击标注作业名称进入标注作业标注详情页。
"server_id": "192.168.0.25" }], "status": "completed", "version": "1.0" } 转换功能的实现,可参考从0制作自定义镜像用于创建训练作业(MindSpore+Ascend)中所述的Ascend训练脚本的启动脚本。 训练任务在容器中的挂载点说明
3.7等。 - CPU使用率 业务中是否有大量使用CPU的代码,以及日常运行过程中CPU的占用率(占用多少个核心),以及使用CPU计算的业务功能说明和并发机制。 - 是否有Linux内核驱动 是否有业务相关的Linux内核驱动代码。 - 依赖第三方组件列表 当前业务依赖的第三方软件列表(自行编译的第三方软件列表)。
larger than 5G and cannot be imported. 模型文件xxx大于5G,请精简模型文件后重试,或者使用动态加载功能进行导入。FAQ 异常 因系统内部原因创建OBS桶失败,请联系技术支持。 Failed to create bucket due to system
卡davinci0。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上,会导致后续的容器无法正常使用NPU功能。 Step4进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。 docker exec -it ${container_name}
~davinci7。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上,会导致后续的容器无法正常使用NPU功能。 Step4 进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。 docker exec -it ${container_name}