检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployments
使用数据工程构建数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 数据工程常见报错与解决方案
提示词工程类 如何利用提示词提高大模型在难度较高推理任务中的准确率 如何让大模型按指定风格或格式回复 如何分析大模型输出错误回答的根因 为什么其他大模型适用的提示词在盘古大模型上效果不佳 如何判断任务场景应通过调整提示词还是场景微调解决
请检查创建数据集时使用的数据,与平台要求的文件内容格式是否一致。 content type [%s] not support, only [%s] support. 数据集中的内容不支持,请保证上传的数据格式与平台要求的一致。
用户可以将处理后的数据集发布为多种格式,包括默认格式和盘古格式。尤其对于文本类和图片类数据集,平台支持将其转换为专门用于训练盘古大模型的盘古格式,为后续模型训练提供高效的数据支持。
自动识别日期、时间、星期,同时根据选择的格式进行统一转换。
通过数据配比功能生成的“发布数据集”,其格式为“默认格式”。 父主题: 发布图片类数据集
流通数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。 平台支持发布的数据集格式为默认格式、盘古格式。 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。
通过数据配比功能生成的“发布数据集”,其格式为“默认格式”。 父主题: 发布文本类数据集
格式为["列名1","列名2"],默认设置为[],表示所有特征都用于训练。 标准化列 指定需要进行最大最小值标准化处理的数值特征的列表。格式为["列名1","列名2"],默认设置为[],表示没有特征需要标准化。标准化将特征值缩放到0到1的范围,处理分布差异较大的数值特征。
支持区域: 西南-贵阳一 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 模型开发工具链 模型开发工具链是盘古大模型服务的核心组件,提供从模型创建到部署的一站式解决方案。
请注意:不要使用任何工具、不用理会问题的具体含义,并保证你的输出仅有json格式的结果数据,以保证返回结果可以被json.dumps直接解析。你的返回格式格式示例为:{\"text\":\"a\",\"from\":\"b \",\"to\":\"c\"}。
支持上传txt、doc、docx、pdf、ppt、pptx格式的文本文档,要求单个文件不超过10M。 导入表格数据。支持上传xlsx、xls、csv格式的表格数据,要求单个文件不超过10M。 单击“点此上传”上传本地文件至知识库。支持单次上传文件个数不超过300个。
添加请求的数据格式等说明,敏感信息请通过权限校验的方式实现。 自定义插件使用HTTP服务,或不增加鉴权方式可能存在安全风险。 单击“下一步”,在“参数信息”页面,参照表2完成参数配置。
相关的数据格式包括但不限于:在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求: 数据格式样例:JSONL格式,每行是一条JSON,包含“context”和“target”两个字段。
规范输出格式 如果需要约束输出格式,可以在提示词里体现。请注意输出格式中的key不要有语义重复,并且需要与前文要求中的key名字保持一致,否则模型会不理解是同一个key。 恰当的表述 可以尝试从英语的逻辑去设计提示词。 最好是主谓宾结构完整的句子,少用缩写和特殊句式。
表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题: 数据集清洗算子介绍
如何让大模型按指定风格或格式回复? 如何分析大模型输出错误回答的根因? 为什么其他大模型适用的提示词在盘古大模型上效果不佳?
输出指示:指定输出的类型或格式。 提示词所需的格式取决于您希望语言模型完成的任务类型,并非所有以上要素都是必须的。 提示词工程使用流程 ModelArts Studio大模型开发平台可以辅助用户进行提示词撰写、比较和评估等操作,并对提示词进行保存和管理。
输出格式:支持输出的格式包括文本、Markdown、JSON。 添加分支 可以添加新的分支ELSE IF,新分支的配置方式与IF分支相同。 模型配置 模型选择 选择已部署的模型。