检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
content表示对话的内容,可以是任意文本。 messages参数可以帮助模型根据对话的上下文生成合适的回复。 数组长度:1 - 20 user 否 String 用于代表用户的唯一标识符,字符串长度最大64,最小1。 stream 否 boolean 流式开关。 默认值为false,如果开启
"你好,请介绍自己","哈哈,你好呀,我是你的聪明助手。" 单个文件大小不超过50GB,文件数量最多1000个。。 多轮问答 jsonl jsonl格式:数组格式,至少由一组问答对构成。形式为[{"context":"context内容1","target":"target内容1"},{"context":"context内容2"
回答, 问题, ……]”的方式来构造,若您的数据是同一个角色连续多次对话的“多轮问题”,可以将同一个角色的对话采用某个分隔符拼接到一个字符串中。例如: 原始对话示例: A:xxx号话务员为您服务! A:先生您好,有什么可以帮助您的? B:你好,是这样的 B:我家里上不了网了 B:网连不上
是 List<String> 待统计Token数的字符串。List长度必须为奇数。 with_prompt 否 Boolean 是否仅统计输入字符的Token数 true:仅统计输入字符串的Token数; false:统计输入字符串和推理过程产生字符的总Token数。 响应参数 表4
盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 在盘古格式中,context和target是键值对。与默认格式不同,context是一个数组,示例如下: {"context":["你好,请介绍自己"],"target":"我是盘古大模型"} 创建文本类数据集流通任务 创建文本类数据集流通任务步骤如下:
参数的描述,长度为1 ~ 200个字符,参数描述会作为大模型解析参数含义的依据。 参数类型 该参数值的数据类型,当前支持三种类型。 String:字符串类型 Integer:四字节整型 Number:八字节浮点数 请求方式 默认以Body方式请求。 是否必填 指定该参数是否为必填项。 打开开关:必填
平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题: 数据集清洗算子介绍
大模型的计量单位token指的是什么 令牌(Token)是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token,然后根据模型的概率分布进行采样或计算。 例如,在英文中,有些组合单词会根据语义拆分,如overweight会被设计为2个tok
input1)): return { # 注意在输出参数中定义res 'res': "输入字符串满足要求" } else: return { # 注意在输出参数中定义res 'res': "输入字符串不满足要求" } 数学计算示例代码。 def main(args: dict) -> dict:
训练类型 选择“微调”。 基础模型 选择所需微调的基础模型。 训练参数 数据集 训练数据集。 类别特征列 指定使用LabelEncoder处理的字符串类型类别特征的列表。格式为["列名1","列名2"],默认设置为[],表示没有需要处理的类别特征。 LabelEncoder的作用是将类别
表面静态量默认包括地形高度、LAND_MASK和SOIL_TYPE,用于初始化模型状态并提供地表特性信息。当前不支持添加或去除这些静态量。 LAND_MASK:一个二维数组,表示模型网格中每个单元格是否是陆地。 SOIL_TYPE:表示地表土壤分类,影响土壤的物理和化学特性,如水分保持能力、热容量和导热性。 模型输出控制参数
微调数据清洗: 以下是该场景中实际使用的数据清洗策略,供您参考: 原始文本处理。基于爬虫、数据处理平台批量处理收集到的原始数据,需要将文件统一转换成纯文本的txt文件,对错误格式数据进行删除。 构建微调数据。生成垂域微调(问答对)数据,将问答对数据分为:单轮问答数据、多轮问答数据、检索