检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
input_file_path:预训练json文件地址。 out_file_name:输出的sharegpt格式文件地址。 prefix_name:预训练json文件的前缀字段名称,例如:您是一个xxx专家,您需要回答下面问题。prefix_name可设置为None,此时预训练数据集只有input和output两段输入。
input_file_path:预训练json文件地址。 out_file_name:输出的sharegpt格式文件地址。 prefix_name:预训练json文件的前缀字段名称,例如:您是一个xxx专家,您需要回答下面问题。prefix_name可设置为None,此时预训练数据集只有input和output两段输入。
PATCH格式,代表以服务详情的Json返回体为基准,想要执行替换的值的目标路径(Json PATH)。当前支持且仅支持对模型相关所有参数的替换更新,因此前缀固定为“/config/”。例如,当期望更新第一个模型中的实例数量,则路径为“/config/0/instance_count”。 value
算法的代码目录下载到训练容器内的本地路径。规则如下: 必须为/home下的目录; v1兼容模式下,当前字段不生效; 当code_dir以file://为前缀时,当前字段不生效。 working_dir String 运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。 environments
算法的代码目录下载到训练容器内的本地路径。规则如下: 必须为/home下的目录; v1兼容模式下,当前字段不生效; 当code_dir以file://为前缀时,当前字段不生效。 working_dir String 运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。 environments
算法的代码目录下载到训练容器内的本地路径。规则: 必须为/home下的目录。 v1兼容模式下,当前字段不生效。 当code_dir以file://为前缀时,当前字段不生效。 working_dir 否 String 运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。 environments
是,参考准备数据(可选)后,配置以下参数:参考表1dataset_dir和dataset参数说明;如alpaca_gpt4_data.json数据集前缀则为alpaca_gpt4_data。 dataset: alpaca_gpt4_data dataset_dir: /home/ma-u
算法的代码目录下载到训练容器内的本地路径。规则如下: 必须为/home下的目录; v1兼容模式下,当前字段不生效; 当code_dir以file://为前缀时,当前字段不生效。 working_dir String 运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。 environments
预训练json文件地址。 --out_file_name int 输出的sharegpt格式文件地址。 --prefix_name str 预训练json文件的前缀字段名称,例如:您是一个xxx专家,您需要回答下面问题。prefix_name可设置为None,此时预训练数据集只有input和output两段输入。
发布Notebook 在AI Gallery中,您可以将个人开发的Notebook代码免费分享给他人使用。 前提条件 在ModelArts的Notebook或者CodeLab中已创建好ipynb文件,开发指导可参见开发工具。 发布Notebook 登录ModelArts管理控制台。
n/processed_for_input/llama2-13b/data/pretrain/alpaca 处理后的数据集保存路径+数据集前缀。 TOKENIZER_TYPE PretrainedFromHF 可选项有:['BertWordPieceLowerCase','Ber
train/AscendSpeed/processed_for_input/llama2-13b/data 处理后的数据集保存路径+数据集前缀 TOKENIZER_TYPE PretrainedFromHF 可选项有:['BertWordPieceLowerCase','Bert
kind: ConfigMap metadata: name: configmap1980-vcjob # 前缀使用“configmap1980-”不变,后接vcjob的名字 namespace: default
是,参考准备数据(可选)后,以指令监督微调数据集为例,配置以下参数:参考表1dataset_dir和dataset参数说明;如alpaca_gpt4_data.json数据集前缀则为alpaca_gpt4_data。 dataset: alpaca_gpt4_data dataset_dir: /home/ma-u
是,参考准备数据(可选),以指令监督微调数据集为例,配置以下参数:参考表1dataset_dir和dataset参数说明;如alpaca_gpt4_data.json数据集前缀则为alpaca_gpt4_data。 dataset: alpaca_gpt4_data dataset_dir: /home/ma-u
kind: ConfigMap metadata: name: configmap1980-vcjob # 前缀使用“configmap1980-”不变,后接vcjob的名字 namespace: default
kind: ConfigMap metadata: name: configmap1980-vcjob # 前缀使用“configmap1980-”不变,后接vcjob的名字 namespace: default
kind: ConfigMap metadata: name: configmap1980-vcjob # 前缀使用“configmap1980-”不变,后接vcjob的名字 namespace: default
是,参考准备数据(可选),以指令监督微调数据集为例,配置以下参数:参考表1dataset_dir和dataset参数说明;如alpaca_gpt4_data.json数据集前缀则为alpaca_gpt4_data。 dataset: alpaca_gpt4_data dataset_dir: /home/ma-u
source_type_header 否 String 指定导出标注文件中的OBS路径前缀,默认为“obs://”,支持指定“s3://”。由于训练无法解析以“obs”开头图片路径,需要导出manifest中的路径前缀为“s3://”。 status 否 Integer 任务状态。 task_id