检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 count Integer 不分页的情况下符合查询条件的总数量。 total_count Integer 当前查询结果的数量,不设置offset、limit查询参数时,count与total相同。 engine_runtimes Array of EngineAndRuntimesResponse
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更
在“全部”、“未标注”或“已标注”页签下,您可以在筛选条件区域,添加筛选条件,快速过滤出您想要查看的数据。 支持的筛选条件如下所示,您可以设置一个或多个选项进行筛选。 难例集:难例或非难例。 标签:您可以选择全部标签,或者基于您指定的标签,选中其中一个或多个。 样本创建时间:1个
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更
径。“输出路径”不能与“保存路径”为同一路径,且“输出路径”不能是“保存路径”的子目录。 图1 导出新数据集 数据导出成功后,您可以前往您设置的保存路径,查看到存储的数据。当导出方式选择为新数据集时,在导出成功后,您可以前往“数据集”列表中,查看到新的数据集。 在“数据集概览页”
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更
String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 为指定的Notebook添加资源标签。例如设置TMS标签的key为“test”,value为“service-gpu”。 https://{endpoint}/v1/{project_
中的镜像更改或删除不影响服务部署。 false:表示不复制镜像模式,可极速创建AI应用,更改或删除SWR源目录中的镜像会影响服务部署。 不设置值时,默认为复制镜像模式。 tenant String 模型所属租户的账号id。 subscription_id String 模型订阅ID。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,若直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行 install.sh 文件,来安装依赖以及下载完整代码。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,如果直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行 install.sh文件,来安装依赖以及下载完整代码。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,如果直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行 install.sh文件,来安装依赖以及下载完整代码。
将被一并删除。 其中,“角色”支持“Labeler”、“Reviewer”和“Team Manager”,“Team Manager”只能设置为一个人。 需要注意的是:目前不支持从标注任务中删除labeler。labeler的标注必须通过审核后,才能同步到最终结果,不支持单独分离操作。
911版本仅是使用run_type来指定训练的类型,只能区分 预训练、全参微调和lora微调但实际上预训练和sft是训练的不同阶段,全参、lora是训练参数设置方式。为了更加明确的区分不同策略,以及和llama-factory对齐,6.3.912版本调整以下参数: 新增 STAGE,表示训练的阶段,可以选择的参数包括:
model_args:标志向模型构造函数提供额外参数,比如指定运行模型的数据类型; vllm_path是模型权重路径; max_model_len是最大模型长度,默认设置为4096; gpu_memory_utilization是gpu利用率,如果模型出现oom报错,调小参数; tensor_parallel_size是使用的卡数;
911版本仅是使用run_type来指定训练的类型,只能区分 预训练、全参微调和lora微调但实际上预训练和sft是训练的不同阶段,全参、lora是训练参数设置方式。为了更加明确的区分不同策略,以及和llama-factory对齐,6.3.912版本调整以下参数: 新增 STAGE,表示训练的阶段,可以选择的参数包括:
earning时,均需要替换为此处实际创建的组织名称。 单击右上角“登录指令”,获取登录访问指令。 以root用户登录ECS环境,输入登录指令。 图1 在ECS中执行登录指令 Step2 上传镜像到SWR 此小节介绍如何上传镜像至容器镜像服务SWR的镜像仓库。 登录SWR后,使用docker
/v1/{project_id}/dev-servers modelarts:devserver:create ecs:serverKeypairs:createecs:*:get iam:users:getUser iam:users:listUsers iam:projects:listProjects
resource_requirements Array of resource_requirements objects 算法资源约束,可不设置。设置后,在算法使用于训练作业时,控制台会过滤可用的公共资源池。 advanced_config advanced_config object