检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表示训练类型。可选择值:[pretrain, sft, lora]。 DATA_TYPE [GeneralPretrainHandler, GeneralInstructionHandler, MOSSInstructionHandler] 示例值需要根据数据集的不同,选择其一。 Ge
加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数即其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题: 训练脚本说明
描述 total_count Integer 不分页的情况下符合查询条件的总服务数量。 count Integer 当前查询结果的服务数量,不设置offset、limit查询参数时,count与total相同。 services Array of ListServices objects
例如:每半年对模型进行一次变更,变更的内容包含模型结构,并升级AI框架。 - 是否使用华为MDC产品 如果使用华为MDC产品,请填写MDC版本号,如果没有可以不填。 例如:使用了C83版本。 - 性能指标与预期 例1: 模型:YOLOv5 运行环境:Vnt1 单卡 性能指标:QPS 100/s (两进程)
String 模型版本。 finished_time Number 任务完成时间,距“1970.1.1 0:0:0 UTC”的毫秒数;任务未结束时不返回。 custom_spec CustomSpec object 自定义资源规格配置,仅当specification配置为custom时返回。
ratio_sample_usage 否 Boolean 指定切分比例后,是否按指定比例随机分配训练-验证集。可选值如下: true:主动随机分配训练集-验证集 false:不主动随机分配训练集-验证集(默认值) sample_state 否 String 样本状态。可选样本状态如下: __ALL__:已标注 __NONE__:未标注
ze,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 result_property 否 String 样本状态,不传或传-1默认返回全部样本。可选值如下: -1:全部 0:保留 1:修改 2:删除 3:新增 请求参数 无 响应参数 状态码: 200 表3
加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数即其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题: 训练脚本说明
Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格,只有llama3-8B/70B支持该功能。 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。 本案例仅支持
Storage Service)与SFS Turbo文件系统联动,可以实现灵活数据管理、高性能读取等。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。 本案例仅支持在专属资源池上运行,确保专属资源池可以访问公网。
sh文件中所需要的obs文件路径。 准备imagenet数据集的分享链接 勾选要分享的imagenet21k_whole数据集文件夹,单击分享按钮,选择分享链接有效期,自定义提取码,例如123456,单击“复制链接”,记录该链接。 准备obsutil_linux_amd64.tar.gz的分享链接
NPU。 检查containerd是否安装。 containerd -v # 检查containerd是否安装 在创建CCE集群时,会选择 containerd 作为容器引擎,并默认给机器安装。如尚未安装,说明机器操作系统安装错误。需要重新纳管机器,重新安装操作系统。 安装n
Turbo,然后在训练作业中挂载SFS Turbo到容器对应ckpt目录,实现分布式读取训练数据文件。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。 本案例仅支持在专属资源池上运行。 文档更新内容 6.3
ratio_sample_usage Boolean 指定切分比例后,是否按指定比例随机分配训练-验证集。可选值如下: true:主动随机分配训练集-验证集 false:不主动随机分配训练集-验证集(默认值) sample_state String 样本状态。可选样本状态如下: __ALL__:已标注 __NONE__:未标注
例如:每半年对模型进行一次变更,变更的内容包含模型结构,并升级AI框架。 - 是否使用华为MDC产品 如果使用华为MDC产品,请填写MDC版本号,如果没有可以不填。 例如:使用了C83版本。 - 性能指标与预期 例1: 模型:YOLOv5 运行环境:Vnt1 单卡 性能指标:QPS 100/s (两进程)
910版本,请参考表1获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Cluster。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 镜像适配的Cann版本是cann_8.0.rc3,驱动版本是23.0.6。
成关机后,才可以执行切换操作系统动作。 在裸金属服务的更多选项中,单击切换操作系统,如下图所示。 图2 切换操作系统 在切换操作系统界面,选择上一步接收到的共享镜像即可。 使用BMS Go SDK的方式切换操作系统 以下为BMS使用Go语言通过SDK方式切换操作系统的示例代码。 package
NPU。 检查containerd是否安装。 containerd -v # 检查containerd是否安装 在创建CCE集群时,会选择 containerd 作为容器引擎,并默认给机器安装。如尚未安装,说明机器操作系统安装错误。需要重新纳管机器,重新安装操作系统。 安装n
Storage Service)与SFS Turbo文件系统联动,可以实现灵活数据管理、高性能读取等。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。 本案例仅支持在专属资源池上运行,确保专属资源池可以访问公网。
Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格,只有llama3-8B/70B支持该功能。 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。 本案例仅支持