检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
预处理说明。 Step2 修改训练超参配置 以 llama2-70b 和 llama2-13b 预训练 为例,执行脚本为 0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均
明和训练的数据集预处理说明。 步骤2 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例,执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
S权限自定义策略样例。 在统一身份认证服务为用户增加自定义策略权限。详细操作请参见创建自定义策略。 登录“统一身份认证服务”控制台,左侧菜单选择“权限管理 > 权限”,单击右上角“创建自定义策略”,创建自定义策略权限。 图3 统一身份认证服务添加权限 图4 创建自定义策略 权限内容如下:
户的授权内容,查看授权详情。如果没有对应权限,需要到统一身份认证服务给对应委托中加上对应权限。 图1 权限管理 图2 查看权限详情和去IAM修改委托权限 图3 给委托添加授权 将镜像设置成私有镜像 登录容器镜像服务(SWR),左侧导航栏选择“我的镜像”,查看镜像详情,单击右上角“编辑”按钮,把镜像类型修改为“私有”。
解决方案二(默认全部使用volcano调度器): CCE页面上配置中心修改默认调度器为kube-scheduler。 删除maos-node-agent的pod(重启pod)。 CCE页面上删除节点上的污点A200008。 ModelArts上重置节点。 CCE页面上配置中心修改默认调度器为volcano。
data/dataset_info.json文件;请务必在dataset_info.json文件中添加数据集描述。 关于数据集文件的格式及配置,请参考data/README_zh.md的内容。可以使用HuggingFace/ModelScope上的数据集或加载本地数据集。 上传自定义数据到指定目录
n_id+item_version_id则无需填写。 autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。
据集预处理说明。 步骤2 修改训练超参配置 以 llama2-70b 和 llama2-13b 预训练 为例,执行脚本为 0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均
cifar10数据集上的分类任务,给出了分布式训练改造(DDP)的完整代码示例,供用户学习参考。 基于开发环境使用SDK调测训练作业:介绍如何在ModelArts的开发环境中,使用SDK调测单机和多机分布式训练作业。 父主题: 分布式模型训练
n_id+item_version_id则无需填写。 autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。
h_200表示等比缩放目标缩略图并设置高度为200像素。 search_conditions 否 String URL编码后的多维筛选条件(多个SearchCondition之间为and的关系)。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述
description String Workflow工作流配置参数的描述。 example Object Workflow工作流配置参数的样例。 delay Boolean 是否为延迟输入的参数,默认为否。 default Object 配置参数的默认值。 value Object 参数值。
更新代码目录下data/dataset_info.json文件。如使用以下示例数据集则命令如下。关于数据集文件格式及配置,更多信息请参考data/README_zh.md 的内容。 vim dataset_info.json 新加配置参数如下: "alpaca_gpt4_data": { "file_name":
description String Workflow工作流配置参数的描述。 example Object Workflow工作流配置参数的样例。 delay Boolean 是否为延迟输入的参数,默认为否。 default Object 配置参数的默认值。 value Object 参数值。
info.json文件。如使用以下示例数据集则命令如下。关于数据集文件格式及配置,更多样例格式信息请参考data/README_zh.md 的内容。 vim dataset_info.json 新加配置参数如下: "alpaca_gpt4_data": { "file_name":
info.json文件。如使用以下示例数据集则命令如下。关于数据集文件格式及配置,更多样例格式信息请参考data/README_zh.md 的内容。 vim dataset_info.json 新加配置参数如下: "alpaca_gpt4_data": { "file_name":
参数类型 说明 id String 配置ID。 name String 配置名称。 description String 配置描述。 de_type String 开发环境类型,当前仅支持Notebook。 provision Object 部署信息,如表4所示。 labels Map<String
info.json文件。如使用以下示例数据集则命令如下。关于数据集文件格式及配置,更多样例格式信息请参考data/README_zh.md 的内容。 vim dataset_info.json 新加配置参数如下: "alpaca_gpt4_data": { "file_name":
资源标签,非特权池不能指定。 network 否 NodeNetwork object 网络配置,非特权池不能指定。 extendParams 否 Map<String,String> 自定义配置,比如设置节点dockerSize:"extendParams": {"dockerBaseSize":
更新代码目录下data/dataset_info.json文件。如使用以下示例数据集则命令如下。关于数据集文件格式及配置,更多样例格式信息请参考README_zh.md 的内容。 vim dataset_info.json 新加配置参数如下: "alpaca_gpt4_data": { "file_name":