检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费项 盘古大模型分为模型订阅、数据资源、训练资源和推理资源四个收费项。 模型订阅按照订阅时长预付费,提供1个月到1年供客户选择,自支付完成开始计费。
'database': { 'video_name':{ // 训练集 train 测试集 test。
盘古NLP大模型调优实践 模型调优方法介绍 优化训练数据的质量 优化训练超参数 优化提示词 优化推理超参数 调优典型问题 父主题: 模型调优实践
同时,平台支持数据集的删除等管理操作,使用户能够统一管理数据集资源,以便在模型训练和分析时灵活调用,确保数据资产的规范性与安全性。 模型资产:平台提供的模型资产涵盖了预置或训练后发布的模型,所有这些模型将存放于空间资产中进行统一管理。
开发盘古科学计算大模型 使用数据工程构建科学计算大模型数据集 训练科学计算大模型 部署科学计算大模型 调用科学计算大模型
不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。
大模型使用类 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的单个文件进行上传 如何查看预置模型的历史版本 训练/推理单元与算力的对应关系是什么
大模型概念类 如何对盘古大模型的安全性展开评估和防护 训练智能客服系统大模型需考虑哪些方面
开发盘古NLP大模型 使用数据工程构建NLP大模型数据集 训练NLP大模型 压缩NLP大模型 部署NLP大模型 评测NLP大模型 调用NLP大模型
模型资产:模型资产包括用户试用、订购或在平台上训练后发布的模型,这些模型统一存储在模型资产中,便于集中管理。用户可以查看模型的所有历史版本及操作记录,从而了解模型的演变过程。同时,平台支持一系列便捷的模型操作,如模型训练、压缩和部署,帮助用户简化模型开发和应用流程。
盘古科学计算大模型调优实践 模型调优方法介绍 数据预处理优化 训练参数优化 评估模型效果 调优典型问题 父主题: 模型调优实践
例如,您的员工中有负责软件开发的人员,您希望他们拥有接口的调用权限,但是不希望他们拥有训练模型或者访问训练数据的权限,那么您可以先创建一个IAM用户,并设置该用户在盘古平台中的角色,控制对资源的使用范围。
“提示词撰写” 和“提示工程”有什么区别 提示词撰写实际上是构建一些问答对数据,用于模型的训练,会更新模型参数,而提示工程不涉及模型训练,仅通过提示词的优化来达到提升模型输出效果的目标。
预训练文本 jsonl jsonl格式:text表示预训练所使用的文本数据,具体格式示例如下: {"text":"盘古大模型,是华为推出的盘古系列AI大模型,包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"}
选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后,系统将在本次压缩任务状态变更时,向用户发送短信/邮件提醒。 填写基本信息,包括任务名称、压缩后模型名称与描述,单击“立即创建”。 当压缩任务状态为“已完成”时,表示模型已完成压缩操作。 父主题: 开发盘古NLP大模型
在“数据血缘”页签查看该数据集所经历的操作,如导入、合成、训练等操作。 在“操作记录”页签可以查看数据集所经历的操作及状态等信息。 单击操作列的“删除”,可删除不需要的数据集。
如图1,展示了预训练文本类数据集的合成指令参数配置示例,该合成任务实现利用预训练文本生成问答对。 图1 预训练文本类数据集合成指令参数配置示例 指令编排完成后,单击右上角“启用调测”,可以对当前编排的指令效果进行预览。 指令调测完成后,单击“创建并启动”,平台将启动合成任务。
计费项 盘古大模型的计费项由模型订阅、数据资源、训练资源和推理资源费用组成。了解每种计费项的详细信息,请参考计费项。 续费 包周期资源到期后,如果您想继续使用服务,需要在保留期内进行手动续费,否则不能再对已过保留期的服务进行续费操作,需重新购买对应的服务。
大模型节点基于预训练的盘古NLP大模型生成响应,从而实现自然语言理解和生成。完成后,结果传递给结束节点。 结束节点:工作流的终结节点,负责输出最终结果。无论是翻译结果还是大模型生成的回答,都会通过该节点输出给用户。 父主题: 低代码构建多语言文本翻译工作流
训练模型的数据集除用户自行构建外,也可能会使用开源的数据集。数据集版权功能主要用于记录和管理数据集的版权信息,确保数据的使用合法合规,并清晰地了解数据集的来源和相关的版权授权。通过填写这些信息,可以追溯数据的来源,明确数据使用的限制和许可,从而保护数据版权并避免版权纠纷。