检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。
(此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。
仅使用新版专属资源池训练时才支持设置训练作业优先级。公共资源池和旧版专属资源池均不支持设置训练作业优先级。 作业优先级取值为1~3,默认优先级为1,最高优先级为3。默认用户权限可选择优先级1和2,配置了“设置作业为高优先级权限”的用户可选择优先级1~3。 如何设置训练作业优先级 在创建训
单击“部署模型服务”进入部署页面,完成创建配置。 图4 资源设置 表4 部署模型服务 参数 说明 取值样例 服务设置 服务名称 自定义模型服务的名称。 参见表5 描述 部署模型服务的简介。 - 模型设置 部署模型 单击“选择模型”,从“我的模型”列表中选择需要部署的模型。 参见表5 资源设置 资源池类型 资源池分为公共资源池与专属资源池。
(此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。
(此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。
任务的历史记录,了解任务状态。 查看自动分组结果 在数据集详情页面的“全部”页签中,展开“筛选条件”,将“样本属性”设置为自动分组任务中的“属性名称”,并通过设置样本属性值,筛选出分组结果。 图2 查看自动分组结果 查看自动分组的历史任务 在数据集详情页面的“全部”页签中,单击“自动分组
(此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。
快速将数据集中的数据添加到标注作业中。 问题现象: 将已标注好的数据上传至OBS,同步数据后,显示为未标注。 原因分析: 可能是OBS桶设置了自动加密导致此问题。 解决方法: 需要新建OBS桶重新上传数据,或者取消桶加密后,重新上传数据。 筛选数据 在标注作业详情页面,默认展示
配置。 表1 部署模型服务 参数 说明 服务设置 服务名称 自定义部署模型服务的名称。 支持1~64位,以中文、大小写字母开头,只包含中文、大小写字母、数字、中划线、下划线的名称。 描述 部署模型服务的简介。支持256字符。 模型设置 部署模型 单击“选择模型”,选择“模型广场”或“我的模型”下面的模型。
其依赖服务的权限,并结合实际需求进行选择,MaaS服务支持的系统权限,请参见表1。 表1 服务授权列表 待授权的服务 授权说明 IAM权限设置 是否必选 ModelArts 授予子用户使用ModelArts服务的权限。 ModelArts CommonOperations没有任何
订阅算法不支持另存为算法。 重建训练作业 当对创建的训练作业不满意时,您可以单击操作列的重建,重新创建训练作业。在重创训练作业页面,会自动填入上一次训练作业设置的参数,您仅需在原来的基础上进行修改即可重新创建训练作业。 停止训练作业 在训练作业列表中,针对“创建中”、“等待中”、“运行中”的训练作
服务实际占用的资源会略大于该规格。 “实例数” 设置当前版本模型的实例个数。如果实例数设置为1,表示后台的计算模式是单机模式;如果实例数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 “环境变量” 设置环境变量,注入环境变量到容器实例。为确保您的数据安
重,以提高推理效率。 压缩后模型名称 设置压缩后产生的新模型的名称。 支持1~64位,以中文、大小写字母开头,只包含中文、大小写字母、数字、下划线(_)、中划线(-)和(.)。 参数设置 平滑系数/Migration Strength 设置SmoothQuant量化的迁移系数,仅
在模型转换的过程,如果出现模型转换失败,可以参考以下步骤查看日志并定位原因: 设置DEBUG日志。 设置MindSpore日志环境变量。 # shell export GLOG_v=0 # 0-DEBUG、1-INFO、2-WARNING、3-ERROR 设置CANN日志环境变量。 # shell export
squid bash root@{container_id}:/# squid -k reconfigure 步骤三:设置DNS代理和调用公网地址 在自定义模型镜像时设置代理指向代理服务器私有IP和端口,如下所示。 proxies = { "http": "http://{pro
Turbo存储加速的具体方案请查看: 面向AI场景使用OBS+SFS Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS Turbo中步骤后,在ModelArts Standard中创建训练作业时,设置训练“SFS Turbo”,在“文件系统”中选择SFS Turbo实例名
在创建训练作业页面配置环境变量“ROUTE_PLAN”,取值为“true”,具体操作请参见管理训练容器环境变量。 代码示例 训练作业的启动脚本示例如下。 启动脚本中设置plog生成后存放在“/home/ma-user/modelarts/log/modelarts-job-{id}/worker-{ind
取值范围:1~100000 学习率/learning_rate 设置每个迭代步数(iteration)模型参数/权重更新的速率。学习率设置得过高会导致模型难以收敛,过低则会导致模型收敛速度过慢。 取值范围:0~0.1 默认值:0.00002 建议微调场景的学习率设置在10-5这个量级。 Checkpoint保存个数
Gallery中订阅的算法不支持另存为新算法。 训练作业卡死检测目前仅支持资源类型为GPU的训练作业。 仅使用新版专属资源池训练时才支持设置训练作业优先级。公共资源池和旧版专属资源池均不支持设置训练作业优先级。 仅支持PyTorch和MindSpore框架的分布式训练和调测,如果MindSpore要进行多