检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入应用。 单击页面右上角“导入”。 在“导入”页面,单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后,选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在,勾选该文件将自动覆盖平台现有文件。 单击“导入”,导入成功的应用将在“工作台 > 应用”中展示。
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。
用Python脚本转换自定义格式为jsonl格式。 图2 创建导入任务 单击“选择路径”,在“存储位置”弹窗中选择需导入的数据,单击“确定”。 图3 选择导入的数据 填写“数据集名称”和“描述”,可选择填写“拓展信息”。 拓展信息包括“数据集属性”与“数据集版权”: 数据集属性。
操作流程 使用盘古应用百宝箱生成创意活动方案的步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent开发”,将跳转至Agent开发平台。 在Agent开发平台,单击左侧导航栏“应用百宝箱”按钮,在“应用市场 > 通用”页签,单击“创意活动方案生成”进入该应用。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据配比”,单击界面右上角“创建配比任务”。 在“数据集选择”页签选择需要配比的文本类数据集(至少选择两个),单击“下一步”。 在“数据配比”页面,支持两种配比方式,“按数据集”和“按标签”。
获取调用路径 应用的调用路径获取步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 在“工作台 > 应用”页面,单击所需应用的“ > 调用路径”。 图1 获取应用调用路径-1
登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”,单击界面右上角“创建工程”。 输入工程名称、描述,选择行业、标签后。单击“确定”完成工程创建。 图1 创建提示词工程 父主题: 撰写提示词
获取项目ID 从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服
如何调整训练参数,使盘古大模型效果最优 模型微调参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响: 目标任务的难度:如果目标任务的难度较低,模型能较容易的学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。
在左侧导航栏中选择“空间资产 > 模型”。 单击“预置”页签,在预置模型列表,单击模型,可对预置的模型资产执行以下操作: 查看模型历史版本。在“版本列表”页面,可查看模型的各个版本。 训练、压缩、部署操作。在“版本列表”页面,可对不同版本模型执行训练、压缩或部署操作。单击相应按钮,将跳转至相关操作页面。
克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。
导入工作流。 单击页面右上角“导入”。 在“导入”页面,单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后,选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在,勾选该文件将自动覆盖平台现有文件。 单击“导入”,导入成功的工作流将在“工作台 >
以包含您传递到模型的指令或问题等信息,也可以包含其他种类的信息,如上下文、输入或示例等。您可以通过这些元素来更好地指导模型,并因此获得更好的结果。提示词主要包含以下要素: 指令:希望模型执行的特定任务或指令,如总结、提取、生成等。 上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。
间。 在左侧导航栏中选择“模型开发 > 模型评测”。 单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。 其中,各评测指标说明详见NLP大模型评测指标说明。 导出评测报告。 在“评测报告 > 评测明细”页面,单击“导出”,可选择需要导出的评测报告,单击“确定”。
动(重启评测任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”,可进行如下操作: 克隆。单击操作列的“ 克隆”,可以复制当前评测任务。 启动。单击操作列的“启动”,可以重启运行失败的评测任务。
新增、删除知识库中知识文档 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 进入“工作台 > 知识库”页面。 单击所需知识库,进入详情页面。 新增知识库中知识文档。单
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据评估”,单击界面右上角“创建评估任务”。 在“数据集选择”页签选择需要评估的加工数据集,并设置抽样样本的数量与字符数。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。
试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。
试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。
试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。