检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布其他类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 其他类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
发布预测类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 预测类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
发布气象类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 气象类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
性的输出,从而提高模型在特定任务上的性能。 在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。 提示词模板可在平台“Agent 开发 > 提示词工程 > 提示词模板”中获取。 父主题: 开发盘古大模型提示词工程
每个要求步骤之间最好换行(\n)分隔断句,单个要求包含一项内容,不能太长。 正负向要求分离: 正负向要求不要掺杂着写,可以先全部列完正向要求,再列负向要求,比如“你必须xxx;你必须xxx;你不能xxx;你不能xxx”。 规范输出格式 如果需要约束输出格式,可以在提示词里体现。
模型已经训练完成并进行发布,用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。 已停止 模型训练已被用户手动停止。 停止中 模型训练正在停止中。 训练异常 模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。
模型已经训练完成并进行发布,用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。 已停止 模型训练已被用户手动停止。 停止中 模型训练正在停止中。 训练异常 模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。
发布文本类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 文本类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。
Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深,带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格,您将更全面地掌握其强大功能,
理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场景是否一致,质量较差的测试集无法反映模型的真实结果。 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。此外,若可预见实际场景会
发布图片类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 图片类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。
问题或回答中带有不需要的特定格式内容或者时间戳等。 通过编写代码、正则表达式等进行处理,删除或者修改对应的内容,或者直接过滤掉整条数据。 2 原始数据不符合特定微调数据的格式。 通过编写代码进行处理,修改为特定微调格式的数据,例如对于阅读理解微调数据,需要拼接上阅读理解对应的Prompt。
盘古工作空间支持用户查看当前空间详情,修改空间名称与描述,还可以对不需要的空间实现删除操作。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图3 进入操作空间 单击左侧导航栏的“空间管理”,在“空间设置”页签中可执行如下操作: 可修改当前空间的名称与描述。 可查看当前空间的创建时间。
图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片:支持jpg、jpeg、png、bmp类型,单张图片大小不能超过5M,图片总大小不能超过500MB。 tar:tar包内图片支持jpg、jpeg、png、bmp图片类型,每个tar包不超过500MB。 数据集最
大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练,如何进行模型学习 如何调整训练参数,使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数,使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码
集。训练数据名称需包含train字眼,如train01.csv;验证数据名称需包含eval字眼;测试数据名称需包含test字眼。文件的命名不能同时包含train、eval和test中的两个或三个。 时序预测必须要包含一个时间列,时间列值的格式示例为 2024-05-27 或 2024/05/27
当前支持安全护栏基础版,内置了默认的内容审核规则,不可调整。 资源配置 实例数 设置部署模型时所需的实例数,单次部署服务时,部署实例个数建议不大于10,否则可能触发限流导致部署失败。 基本信息 名称 设置部署任务的名称。 描述(可选) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。 您可以选择预置模型进行部署,部署时默认开通安全护栏权限。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
不要同时更改两者。通常建议更改top_p或temperature来调整生成文本的倾向性,但不要同时更改这两个参数。 取值范围:(0, 1] 缺省值:N1模型为0.7、N2模型为1,N4模型为0.85 max_tokens 否 Integer 生成文本的最大token数量。 输入的
提示词工程平台以提示词工程任务为管理维度,一个任务代表一个场景或一个调优需求,在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任务管理支持工程任务的创建、查询、修改、删除。 提示词撰写 提示词调优支持对提示词文本的编辑、提示词变量设置、提示词结果生成和调优历史记录管理。 提示词候选 提示词候选支持用户