检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
去除重复数据:确保数据集中每条数据的唯一性。 填补缺失值:填充数据中的缺失部分,常用方法包括均值填充、中位数填充或删除缺失数据。 数据标准化:将数据转换为统一的格式或范围,特别是在处理数值型数据时(如归一化或标准化)。 去噪处理:去除无关或异常值,减少对模型训练的干扰。 数据预处理的目的是
应用,示例将使用Agent开发平台预置的Python解释器预置插件。 “Python解释器插件”能够执行用户输入的Python代码,并获取结果。此插件为应用提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。 准备工作 请确保您有预置的NLP大模型,并已
单击创建好的空间,进入ModelArts Studio大模型开发平台。 如果用户具备多个空间的访问权限,可在页面左上角单击切换空间。 图2 切换空间 管理盘古工作空间 盘古工作空间支持用户查看当前空间详情,修改空间名称与描述,还可以对不需要的空间实现删除操作。 登录ModelArts Studio
查看NLP大模型评测报告 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”。 单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。
sks”即为该域名),设置请求Header参数和任务ID参数。单击Postman界面的“Send”发送请求,以获取科学计算大模型的调用结果。 查询科学计算大模型调用详情API GET /tasks/{task_id} 父主题: 调用科学计算大模型
创建多语言文本翻译插件 准备工作 提前开通“文本翻译”服务。登录自然语言处理控制台,切换区域至华北-北京四,在“总览”页面下方开通“文本翻译”服务。 图1 开通文本翻译服务 操作流程 创建多语言文本翻译插件的流程见表1。 表1 创建多语言文本翻译插件流程 操作步骤 说明 步骤1:获取文本翻译服务Token与调用地址
认格式和盘古格式。尤其对于文本类和图片类数据集,平台支持将其转换为专门用于训练盘古大模型的盘古格式,为后续模型训练提供高效的数据支持。 数据管理:平台支持数据全链路血缘追溯,用户单击数据集名称可以在“数据血缘”页签,查看该数据集所经历的操作。全链路血缘追溯可以帮助用户正向实现数据
本翻译意图和其他意图。 文本翻译意图:当用户请求翻译时,意图识别节点的关键任务是准确判断用户翻译的需求,执行翻译节点分支,并给出正确的翻译结果。 如图1,当用户输入翻译类问题时,“意图识别”节点对用户的意图分类为“文本翻译”,此时工作流将运行“提问器”节点分支,并依次运行后序节点,最终输出翻译后的内容。
选择“单个评测集”时需要上传待评测数据集。 评测结果存储位置 模型评测结果的存储位置。 基本信息 评测任务名称 填写评测任务名称。 描述 填写评测任务描述。 参数填写完成后,单击“立即创建”,回退至“模型评测 > 自动评测”页面。 当状态为“已完成”时,可以单击操作列“评测报告”查看模型评测结果,包括模型详细的得分以及评测明细。
批量评估提示词效果 创建提示词评估数据集 创建提示词评估任务 查看提示词评估结果 父主题: 开发盘古大模型提示词工程
求”: 选择“全部标注”:要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”:允许标注人员在确认AI预标注满足要求后,直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注审核 是否审核 否,标注后不进行审核操作。 是,审核员会检查标注员的标注
可以尝试修改参数并查看模型效果。以修改“核采样”参数为例,核采样控制生成文本的多样性和质量: 当“核采样”参数设置为1时,保持其他参数不变,单击“重新生成”,再单击“重新生成”,观察模型前后两次回复内容的多样性。 图2 “核采样”参数为1的生成结果1 图3 “核采样”参数为1的生成结果2 将“核采样”参数调小至0
量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”,输出模型回复结果,用户可以基于预览的效果调整提示词文本和变量。 父主题: 撰写提示词
求”: 选择“全部标注”:要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”:允许标注人员在确认AI预标注满足要求后,直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注审核 是否审核 否,标注后不进行审核操作。 是,审核员会检查标注员的标注
并单击“横向比较”。 图2 横向比较 进入到横向比较页面,下拉页面至“提示词效果比较”模块,比较提示词的效果,输入相同的变量值,查看两个提示词生成的结果。 图3 横向比对提示词效果 父主题: 横向比较提示词效果
任务管理”页面单击“生成”,生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 审核标注后的文本类数据集 如果在创建文本类数据集标注任务时启用了标注审核功能,则在完成标注后可以在“标注审核”页面审核标注结果。 创建标注任务时如果指定了审核人员,则审核人员可以审核数据集,管理员(主账号)可以对所有数据集进行审核。
其中,各参数介绍如下: 变量取值:输入参数的各个变量取值。取值可以是数据集中的字段变量,也可以自定义变量值。 保存至任务输出参数(可选):该参数为输出的结果。由于输出结果为问答对形式,因此生成的问题必须选择context参数,回答必须选择target参数。 模型选择:选择平台预置的大模型,用于指令合成。
类别特征的列表。格式为["列名1","列名2"],默认设置为[],表示没有需要处理的类别特征。 LabelEncoder的作用是将类别特征转换为数值型特征,使模型能够处理这些特征。 非特征列 列出不需要输入到模型中的特征列,用于排除冗余或无意义的特征。格式为["列名1","列名2
0.3 top_p 否 Float 一种替代温度采样的方法,称为nucleus sampling,其中模型考虑具有top_p概率质量的标记的结果。 取值范围:(0, 1] 缺省值:N1模型 0.7,N2模型 1,N4模型 0.85 max_tokens 否 Integer 生成文本的最大token数量,单位token。
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTPS的新版本协议。 200 OK 服务器已成功处理了请求。 201 Created 创建类的请求完全成功。 202