检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么在微调后的盘古大模型中输入训练样本问题,回答完全不同 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的
在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息,变量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”,输出模型回复结果,用户可以基于预览的效果调整提示词文本和变量。
围。例如,您的员工中有负责软件开发的人员,您希望他们拥有接口的调用权限,但是不希望他们拥有训练模型或者访问训练数据的权限,那么您可以先创建一个IAM用户,并设置该用户在盘古平台中的角色,控制对资源的使用范围。 IAM权限 默认情况下,管理员创建的IAM用户(子用户)没有任何权限,
人设只需要设置一次。 content表示对话的内容,可以是任意文本。 messages参数可以帮助模型根据对话的上下文生成合适的回复。 数组长度:1 - 20 user 否 String 用于代表用户的唯一标识符,字符串长度最大64,最小1。 stream 否 boolean 流式开关。
标准需求。 盘古格式:专为盘古大模型训练设计的格式,确保数据集在盘古模型训练中的兼容性和一致性。 自定义格式:适用于文本类、图片类数据集,用户可以根据需求自定义数据格式,支持自定义脚本进行格式转换,灵活满足特定的业务需求。 除文本类、图片类数据集外,其余类型的数据集当前仅支持发布为默认格式。
科技行业公司的总利润和市值是多少? … 来源四:基于大模型的数据泛化。基于目标场任务的分析,通过人工标注部分数据样例,再基于大模型(比如盘古提供的任意一个规格的基础功能模型)采用self-instruct等方式泛化出更多的业务场景数据。示例如下: 大模型输入: 请改写命令案例,生成10个相似
够帮助用户从多个维度检测和优化数据集的质量。平台预设了多种数据类型的基础评估标准,用户可以直接使用这些标准,也可以根据具体的业务需求创建自定义的评估标准。通过这种灵活的配置方式,用户能够根据不同的应用场景和目标,精确地评估和优化数据质量,确保数据在进入模型训练阶段之前达到高标准,进而提升模型的性能和效果。
平台支持发布的数据集格式为默认格式、盘古格式、自定义格式,可按需进行数据集格式转换。 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。 父主题: 使用数据工程准备与处理数据集
大模型使用类问题 盘古大模型是否可以自定义人设
择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要将评估类别、评估项、评估项说明填写清晰,填写时确保描述无歧义。 单击“完成创建”创建评估标准。评估标准创建完成后可以
择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要将评估类别、评估项、评估项说明填写清晰,填写时确保描述无歧义。 单击“完成创建”创建评估标准。评估标准创建完成后可以
配置服务访问授权 为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间,并进行空间的统一管理。 创建并管理盘古工作空间 部署NLP大模型 创建NLP大模型部署任务 部署后的模型可用于后续调用操作。
择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要将评估类别、评估项、评估项说明填写清晰,填写时确保描述无歧义。 单击“完成创建”创建评估标准。评估标准创建完成后可以
请在SDK中心获取最新的sdk包版本,替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在您的操作系统中下载并安装Maven,安装完成后您只需要在Java项目的pom.xml文件中加入相应的依赖项即可。 <dependency> <groupId>com
提取图文压缩包中的JSON文本和图片,并对图片进行结构化解析(BASE64编码)。 数据过滤 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母,文本长度均计数为1。 图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型,“待保留语种”之外的图文对数据将被过滤。
使用规则构建的优点是快速且成本低,缺点是数据多样性较低。 基于大模型的数据泛化:您可以通过调用大模型(比如盘古提供的任意一个规格的基础功能模型)来获取有监督场景。一个比较常见的方法是,将无监督的文本按照章节、段落、字符数进行切片,让模型基于这个片段生成问答对,再将段落、问题和答案三者
平台设计了专用的加工算子(即为特定数据处理任务预定义的操作模块,如文本去重、格式转换、异常处理等),通过这些算子能够高效地处理各类数据。对于文本类数据集,平台还支持用户自定义加工算子,以进一步满足特定场景下的需求。目前这一自定义算子功能仅适用于文本类数据集。通过加工操作,平台能
正常运行,需要及时充值。详细介绍请参见欠费说明。 停止计费 包周期服务到期后,保留期时长将根据“客户等级”定义。按需计费模式下,若账户欠费,保留期时长同样依据“客户等级”定义。详细介绍请参见停止计费。
"400m", "500m"], "under_sea_features": [ "T", "U", "V", "S"]} geo_range:定义了数据覆盖的地理范围,纬度(lat)从-90.0到90.0,经度(lon)从0.0到360.0。 time_range:数据的时间范围,时间戳格式为毫秒数。
可用区(AZ,Availability Zone) 一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目,这个项目由系统预置