正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ckpoint信息初始化训练状态即可。用户需要在代码里加上reload ckpt的代码,使能读取前一次训练保存的预训练模型。 原有训练参数配置表1断点续训练中新加MODEL_PATH参数,并修改TRAIN_ITERS参数值。 表1 断点续训练修改参数 参数 参考值 参数说明 CKPT_LOAD_DIR
/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ 修改断点续训练参数。断点续训前,需要在原有训练参数配置表1中新加“MODEL_PATH”参数,并修改“TRAIN_ITERS”参数和“RUN_TYPE”参数。 表1 断点续训练修改参数 参数 示例值
当数据集使用完成或不再使用时,调用删除数据集接口删除数据集。 前提条件 已获取IAM的EndPoint和ModelArts的EndPoint。 确认服务的部署区域,获取项目名称和ID、获取帐号名和ID和获取用户名和ID。 已经准备好数据源,例如存放在OBS的“/test-obs/classify
None 服务介绍 ModelArts产品 产品介绍 03:19 了解什么是ModelArts ModelArts自动学习 视频介绍 02:59 ModelArts自动学习简介 ModelArts CodeLab 视频介绍 04:16 ModelArts CodeLab介绍 JupyterLab
AscendCloud-3rdLLM-6.3.904-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见代码目录介绍。 AscendSpeed是用于模型并行计算的框架,其中包含了许多模型的输入处理方法。
这种方法主要针对如何在保持模型大部分参数固定的同时,通过引入少量可训练参数来调整模型以适应特定任务。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.908版本,请参考表1获取配套版本的软件包,请严格遵照版本配套关系使用本文档。
total_sample_count Integer 数据集样本总数。 total_sub_sample_count Integer 由父样本所产生的子样本总数,比如:从视频标注数据集中抽取的关键帧图片总数就是子样本总数。 unconfirmed_sample_count Integer 智能标注待确认的标注样本数。
当数据集中的标签发生变化时,需要执行如下语句。此语句需在“mox.run”之前运行。 语句中的“logits”,表示根据不同网络中分类层权重的变量名,配置不同的参数。此处填写其对应的关键字。 mox.set_flag('checkpoint_exclude_patterns', 'logits')
AscendCloud-3rdLLM-6.3.904-xxx.zip 说明: 包名中的xxx表示具体的时间戳,以包名的实际时间为准。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见代码目录介绍。 AscendSpeed是用于模型并行计算的框架,其中包含了许多模型的输入处理方法。
/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/ 修改断点续训练参数。断点续训前,需要在原有训练参数配置表1中新加“MODEL_PATH”参数,并修改“TRAIN_ITERS”参数和“RUN_TYPE”参数。 表1 断点续训练修改参数 参数 参考值
AscendCloud-3rdLLM-6.3.904-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见代码目录介绍。 AscendSpeed是用于模型并行计算的框架,其中包含了许多模型的输入处理方法。
s/v1/region" ) func main() { // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环
BS桶,单击桶名称进入概览页。 在左侧菜单栏选择“访问权限控制>桶ACLs”,检查当前账号是否具备读写权限,如果没有权限,请联系桶的拥有者配置权限。 确保此OBS桶是非加密桶 进入OBS管理控制台,选择当前自动学习项目使用的OBS桶,单击桶名称进入概览页。 确保此OBS桶的加密功
total_sample_count Integer 数据集样本总数。 total_sub_sample_count Integer 由父样本所产生的子样本总数,比如:从视频标注数据集中抽取的关键帧图片总数就是子样本总数。 unconfirmed_sample_count Integer 智能标注待确认的标注样本数。
时,可复制第一个“-”符号前的内容用于后续查询操作。 根据资源名称在云服务的控制台查找资源并删除。 在ModelArts管理控制台,选择“部署上线 > 在线服务”。 在服务列表上方搜索框中,搜索条件选择“资源名称”,输入2中的在线服务名称,找到该资源。 单击操作列“更多 > 停止”,对在线服务执行停止操作。
由于发布后的数据集不会默认启动数据特征分析,针对数据集的各个版本,需手动启动特征分析任务。在数据特征页签下,单击“启动特征分析”。 在弹出的对话框中配置需要进行特征分析的数据集版本,然后单击“确定”启动分析。 “版本选择”,即选择当前数据集的已发布版本。 图1 启动数据特征分析任务 数据特
Integer 资源规格的弹性资源量。物理池中该值和count必须一致。 extendParams 否 extendParams object 自定义配置参数。 表9 extendParams 参数 是否必选 参数类型 描述 dockerBaseSize 否 String 指定资源池节点的容器引擎空间大小。
当Notebook实例不再需要时,调用删除Notebook实例接口删除实例。 前提条件 已获取IAM的EndPoint和ModelArts的EndPoint。 确认服务的部署区域,获取项目ID和名称、获取帐号名和帐号ID和获取用户名和用户ID。 操作步骤 调用认证鉴权接口获取用户的Token。 请求消息体: URI格式:POST