检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 Step2 修改训练超参配置
LTS服务提供的日志查询和日志存储功能涉及计费,详细请参见了解LTS的计费规则。 请勿打印无用的audio日志文件,这会导致系统日志卡死,无法正常显示日志,可能会出现“Failed to load audio”的报错。 您可以进入批量服务的详情页面,通过切换页签查看更多详细信息,详情说明请参见表2。 表2
按需购买 包年包月 计费FAQ 如何查看ModelArts消费详情? 训练作业如何收费? 如何查看ModelArts中正在收费的作业? 04 进阶教程 通过提供针对多种场景、多种AI引擎的ModelArts样例,方便您快速了解使用ModelArts完成AI开发的流程和操作。 个人用户权限配置
周期,详细介绍请参见流水与明细账单。 查看训练作业的账单 ModelArts训练作业查询资源账单首先需要获取作业ID,而ModelArts控制台展示作业ID与账单中上报的资源ID不一致,您需要先了解作业ID的查询方法,以及作业ID与账单中上报的资源ID二者的对应关系。详细操作如下所述:
等内容进行配置。请参考k8s Cluster环境配置详细流程。 其中k8s Cluster的容器中挂载存储支持OBS、SFS Turbo等方案进行挂载。例如OBS支持静态挂载和动态挂载,而SFS Turbo仅支持静态挂载,详细的挂载操作流程可阅读通过静态存储卷使用已有极速文件存储和通过动态存储卷使用对象存储。
get_import_task_info(task_id="r4R52nJ4VJKcivuioCU") print(task_info) # 打印导入任务的详细信息 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 task_id 是 String 导入任务的任务ID。 父主题: 导入任务管理
get_export_task_info(task_id="iuHALF6xdkSAGKVN2jD") print(task_info) # 查询导出任务的详细信息 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 task_id 是 String 导出任务的任务ID。 父主题: 导出任务管理
glm4-9b模型必须使用版本4b556ad4d70c38924cb8c120adbf21a0012de6ce 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。 准备代码 准备AscendSpe
d”属性中数据信息。 图1 导入manifest文件 导入成功后,数据将自动同步到数据集中。您可以在“数据集”页面,单击数据集的名称,查看详细数据,并可以通过创建标注任务进行数据标注。 文件型数据标注状态 数据标注状态分为“未标注”和“已标注”。 未标注:仅导入标注对象(指待标注
获取路径:Support-E 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3
创建资源消耗性任务(例如:创建Notebook、训练作业、推理在线服务)时,可以为这些任务配置标签,通过标签实现资源的多维分组管理。 标签详细用法请参见ModelArts如何通过标签实现资源分组管理。 单击“下一步”确认规格。规格确认无误后,单击“提交”,即可创建专属资源池。 当
流水和明细账单”,在流水和明细账单页面,可切换“账单详情”和“明细账单”页签查看账单信息。 在“流水账单”列表页,罗列该账号下各种产品类型,每个任务产生的费用详细。您可以单击“操作 > 详情”,查看使用量详情。可拖动详情下方的进度条,查看“使用量”、“应付金额”等信息。 图1 流水账单 在“明细账单
Server”列表页面。 打开“查看所有”按钮,查看所有Server实例。 此时如果显示需要配置委托,请联系您的账号管理员为您配置委托权限,详细操作参考配置ModelaArts委托。 在弹性裸金属列表中,单击操作列的“退订”,跳转至“退订资源”页面。 图2 退订 根据界面提示,确认需要退订的资源,并选择退订原因。
流水和明细账单”,在流水和明细账单页面,可切换“账单详情”和“明细账单”页签查看账单信息。 在“流水账单”列表页,罗列该账号下各种产品类型,每个任务产生的费用详细。您可以单击“操作 > 详情”,查看使用量详情。可拖动详情下方的进度条,查看“使用量”、“应付金额”等信息。 图1 流水账单 在“明细账单
GPU与昇腾资源为单卡时,cache目录保持500G大小限制;除单卡外,cache盘大小与卡数有关,计算方式为卡数*500G,上限为3T。详细表1所示。 表1 不同Notebook规格资源“/cache”目录的大小 规格类别 cache盘大小 GPU-0.25卡 500G*0.25
获取路径:Support-E 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3
status 否 String 作业状态的查询,默认为所有状态,例如查看创建失败的作业,可选的“status”为“3”|“5”|“6”|“13”,详细作业状态列表请参见作业状态参考。 per_page 否 Integer 指定每一页展示作业的总量,默认为10,“per_page”可选的范围为[1,1000]。
通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。, 通过训练日志排查问题 通过日志判断出问题的代码范围。 修改代码,在问题代码段添加打印,输出更详细的日志信息。 再次运行作业,判断出问题的代码段。 父主题: 业务代码问题
数据进行预览,但是最多支持100条数据预览。 不同类型数据集支持的功能列表 其中,不同类型的数据集支持不同的功能,如智能标注、团队标注等。详细信息参考表1。 表1 不同类型的数据集支持的功能 数据集类型 标注类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本 智能标注
单击“创建”,进入“创建Notebook”页面,请参见如下说明填写参数。 填写Notebook基本信息,包含名称、描述、是否自动停止,详细参数请参见表1。 表1 基本信息的参数描述 参数名称 说明 “名称” Notebook的名称。只能包含数字、大小写字母、下划线和中划线,长度不能大于64位且不能为空。