检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练预测大模型 预测大模型训练流程与选择建议 创建预测大模型训练任务 查看预测大模型训练状态与指标 发布训练后的预测大模型 管理预测大模型训练任务 预测大模型训练常见报错与解决方案 父主题: 开发盘古预测大模型
训练科学计算大模型 科学计算大模型训练流程与选择建议 创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题: 开发盘古科学计算大模型
全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工
的提示词,并单击“横向比较”。 图2 横向比较 进入到横向比较页面,下拉页面至“提示词效果比较”模块,比较提示词的效果,输入相同的变量值,查看两个提示词生成的结果。 图3 横向比对提示词效果 父主题: 横向比较提示词效果
在完成数据合成后,若无需使用数据标注功能,可直接在“数据合成”页面单击操作列“生成”,生成加工数据集。 加工数据集列表可在“数据工程 > 数据加工 > 加工数据集”中查看。 创建自定义数据合成指令 平台支持用户创建自定义数据合成指令。 本章节将以“生成主题散文”的场景为例,详细介绍自定义数据合成指令的配置步骤。
成功后,状态将显示为“运行成功”。 单击操作列“生成”,将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”,其格式为“默认格式”。 父主题: 发布图片类数据集
设置多轮对话时,message中content个数不能超过20。 最小长度:1 最大长度:不同模型支持的token长度请参见《产品介绍》“模型规格 > 模型基础信息”章节。 响应参数 非流式 状态码: 200 表6 响应Body参数 参数 参数类型 描述 id String 用来标识每个响应的唯一字符串。
清洗图片、视频类数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。 清洗图片类数据集、清洗视频类数据集 标注图片、视频类数据集 为无标签数据集添加准确的标签,确保模型训练所需的高质量数据
在完成数据清洗后,如果无需使用数据标注功能,可直接在“数据清洗”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题: 加工视频类数据集
在完成数据清洗后,在“数据清洗”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题: 加工气象类数据集
erpreter,单击进行添加,再单击“确定”。 图3 添加python_interpreter插件 添加插件后,可在“技能 > 插件”中查看当前已添加的插件。 图4 已添加插件 步骤4:配置对话体验 应用支持配置对话体验功能,该功能可以提升用户与应用之间的互动质量和个性化体验,包括开场白、推荐问题。
清洗文本类数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。 清洗文本类数据集 合成文本类数据集 利用预置或自定义的数据指令对原始数据进行处理,并根据设定的轮数生成新数据。该过程能
数据标注功能,可直接在“数据清洗”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题: 加工文本类数据集
在完成数据清洗后,如果无需使用数据标注功能,可直接在“数据清洗”页面单击操作列“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题: 加工图片类数据集
成功后,状态将显示为“运行成功”。 单击操作列“生成”,将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”,其格式为“默认格式”。 父主题: 发布文本类数据集
确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能力,能够沉淀行业经验,并更高效、准确地获取信息。 大模型的计量单位token指的是什么 令牌(Token)是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入
Explorer可根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时, 右侧代码示例会自动完成参数的组装。 图2 设置输入参数
系统人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例,核采样控制生成文本的多样性和质量: 当“核采样”参数设置为1时,保持其他参数不变,单击“重新生成”,再
盘古大模型的盘古格式,为后续模型训练提供高效的数据支持。 数据管理:平台支持数据全链路血缘追溯,用户单击数据集名称可以在“数据血缘”页签,查看该数据集所经历的操作。全链路血缘追溯可以帮助用户正向实现数据集影响分析,逆向实现快速问题追踪,提升数据运维和数据治理的效率,帮助用户更好地
-4e21-8e02-d14f973b6410"} data:{"event":"message","data":{"answer":"查询"},"createdTime":1733821304672,"conversationId":"7795ee1b-b145-4e21-8e02-d14f973b6410"}