检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
地址。 out_file_name:输出的sharegpt格式文件地址。 prefix_name:预训练json文件的前缀 字段名称 (可设置为None,此时预训练数据集只有 input output 两段)输入前缀,(例如:您是一个xxx专家,您需要回答下面问题) input_name:预训练json文件的指令输入
分布式训练 训练加速 训练高可靠性 查看训练结果和日志 查看训练作业详情 训练作业运行中或运行结束后,可以在训练作业详情页面查看训练作业的参数设置,训练作业事件等。 查看训练作业日志 训练日志用于记录训练作业运行过程和异常信息,可以通过查看训练作业日志定位作业运行中出现的问题。 表2
中的镜像更改或删除不影响服务部署。 false:表示不复制镜像模式,可极速创建AI应用,更改或删除SWR源目录中的镜像会影响服务部署。 不设置值时,默认为复制镜像模式。 tenant String 模型所属租户的账号id。 subscription_id String 模型订阅ID。
sampler, 基于当前的epoch为其设置随机数,避免加载到重复数据 ### tr_sampler.set_epoch(epoch) ### 分布式改造,DDP sampler, 基于当前的epoch为其设置随机数,避免加载到重复数据 ###
参数类型 描述 count Integer 不分页的情况下符合查询条件的总数量。 total_count Integer 当前查询结果的数量,不设置offset、limit查询参数时,count与total相同。 engine_runtimes Array of EngineAndRuntimesResponse
执行的时长。 events 否 Array of strings 执行的事件。 labels 否 Array of strings 为执行记录设置的标签。 data_requirements 否 Array of DataRequirement objects 节点steps使用到的数据。
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
描述 total_count Integer 不分页的情况下符合查询条件的总服务数量。 count Integer 当前查询结果的服务数量,不设置offset、limit查询参数时,count与total相同。 services Array of ListServices objects
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下,建议参考以下要求设置工作目录。训练脚本以分类的方式集中在 scripts 文件夹中。 ${workdir}(例如/home/ma-user/ws ) |──llm_train
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
2-11B-Vision-Instruct权重路径 # 指定dataset参数为步骤七:数据集下载与制作中所述custom_dataset_info_demo.json中文件设置的数据集名称:coco2014_train_40k_demo # 修改custom_dataset_info参数路径为${containe
_6 Step6 监督微调 bash finetune_ds.sh 修改模型权重路径${model_path},保持其余参数一致。脚本参数设置如下: #!/bin/bash GPUS_PER_NODE=8 NNODES=1 NODE_RANK=0 MASTER_ADDR=localhost
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
学习”时,只支持识别和标注矩形框。 图1 启动智能标注(图像分类) 图2 启动智能标注(物体检测) 图3 启动智能标注(预标注) 完成参数设置后,单击“提交”,即可启动智能标注。 在标注作业列表中,单击标注作业名称进入“标注作业详情”页。 在“数据集概览页标注作业详情页”,选择“
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
json,数据大小:43.6 MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
推理工具 |——AscendCloud-OPP #依赖算子包 工作目录介绍 详细的工作目录参考如下,建议参考以下要求设置工作目录。训练脚本以分类的方式集中在 scripts 文件夹中。 ${workdir}(例如/home/ma-user/ws ) |──llm_train