检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 准备训练模型适用的容器镜像。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。
由于无法知晓“project_dir”在容器中的位置,所以利用绝对路径,在“main.py”中将“project_dir”添加到“sys.path”中,再导入: import os import sys # __file__为获取当前执行脚本main.py的绝对路径 # os.path.dirname
通过OBS对象存储服务(Object Storage Service)与SFS Turbo文件系统联动,可以实现灵活数据管理、高性能读取等。 约束限制 适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。
可能影响容器内使用RDMA网卡。 高 联系华为云技术支持重装rdma-sriov-dev-plugin。 父主题: Lite Cluster使用前必读
通过OBS对象存储服务(Object Storage Service)与SFS Turbo文件系统联动,可以实现数据灵活管理、高性能读取数据等。
当为自定义镜像训练作业的时候,此参数为容器环境变量。该样例请参考请求示例。 create_time Long 模型的创建时间。 engine_id Long 模型的引擎ID。 engine_name String 模型的引擎名称。
启动团队标注任务 登录到console标注页面后在“我参与的”页签下,可查看到分配的标注任务,单击任务名称,可进入标注页面。
可选值如下: Enabling:启动中 Enabled:已启动 Disabling:关闭中 Disabled:已关闭 表26 driver 参数 参数类型 描述 gpu PoolDriverStatus object GPU驱动信息。
登录容器镜像服务控制台。在左侧菜单栏选择“组织管理”,单击组织名称。在“用户”页签下单击“添加授权”,在弹出的窗口中为子账号添加“编辑”权限,然后单击“确定”。 添加ModelArts委托授权。 新建委托授权策略。
X-Subject-Token']) return token def change_os(self, server_id): url = "{}/v1/{}/baremetalservers/{}/changeos".format(self.service_endpoint
--workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时,可以通过设置这个参数来控制日志的输出。
表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池 服务使用的是专属资源池 从训练中选择元模型 不支持 不支持 从容器镜像中选择元模型 不支持 支持,创建模型的自定义镜像需要满足创建模型的自定义镜像规范。
Lite Server驱动版本要求23.0.6 PyTorch版本:2.1.0 确保容器可以访问公网。
可选值如下: true:发布时启动特征分析任务 false:发布时不启动特征分析任务(默认值) status Integer 数据集版本状态。
当调优作业处于“已停止”状态时,单击操作列的“继续”,在弹窗中单击“确定”,即可从最新的Checkpoint启动作业,作业“状态”变成“启动中”。 删除调优作业 删除操作无法恢复,请谨慎操作。 在ModelArts Studio左侧导航栏中,选择“模型调优”进入作业列表。
模型为从容器镜像中导入的:需要按照自定义镜像的要求组织,请咨询该镜像的制作人。
cbc884f1e20e" ], "delete_failed_list" : [ { "error_msg" : "Failed to delete model, model(759645d9-3672-4db1-bb6d-49ed58b84e10) already deploy service
可选值如下: asc:递增排序 desc:递减排序(默认值) search_content 否 String 模糊匹配名称,默认为空。 sort_by 否 String 指定查询的排序方式。
版本使用的容器引擎为Containerd。 镜像适配的Cann版本是cann_8.0.rc3,驱动版本是23.0.6。 确保集群可以访问公网。
samples/{sample_id} modelarts:sample:getSample obs:object:GetObject √ √ 获取样本搜索条件 GET /v2/{project_id}/datasets/{dataset_id}/data-annotations/search-condition