检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录ModelArts Studio大模型开发平台,单击页面右上角“订购管理”。 在“订购管理”页面,单击“资源订购”页签。 在“资源订购”页签可进行数据资源、训练资源、推理资源的续费操作。 父主题: 计费FAQ
选择基模型/基础功能模型 盘古-NLP-N2-基础功能模型 准备训练数据 本场景不涉及自监督训练,无需准备自监督数据。 微调数据来源: 来源一:真实业务场景数据。 来源二:基于大模型的数据泛化。基于目标场任务的分析,通过人工标注部分数据样例,然后利用大模型(如盘古提供的任意规格的基础功能模型
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
aaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与
支最终会引导文本到大模型节点进行处理。 提问器节点:当意图识别为“文本翻译”意图时,工作流将进入提问器节点。该节点主要负责提问用户翻译需求(如翻译文本、目标语言等)。 文本翻译插件节点:在翻译意图分支中,文本翻译插件节点负责调用华为云文本翻译API,实现从源语言到目标语言的翻译过
Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto 参数 参数类型
体的json字段中提取出所需的数据。 评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板:使用预置的专业数据集进行评测。 单个评测集:由用户指定评测指标(F1分数、准去率、BLEU、Rouge)并上传评测数据集进行评测。 选择“单个评测集”时需要上传待评测数据集。
数据资产:数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中,用户可以随时查看数据集的详细信息,如数据格式、大小、配比比例等,同时平台会自动记录每个数据集的操作历史,例如创建、发布及上线等过程。为了进一步简化管理,平台还支持数据集的删除功能,使用户能够对数据集进行灵活管理和调整。在模型训
Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto 参数 参数类型
Anom-2.0.0 2024年12月发布的版本,支持识别数据集中不符合预期模式或行为的数据点。 Pangu-Predict-Table-TimSeries-2.0.0 2024年12月发布的版本,支持根据历史时间序列数据来预测未来的值,广泛应用于金融、销售预测、天气预报、能源消耗预测等领域。
在购买后,如果发现当前计费模式无法满足业务需求,您还可以变更计费模式。详细介绍请参见变更计费模式。 计费项 盘古大模型的计费项由模型订阅、数据资源、训练资源和推理资源费用组成。了解每种计费项的详细信息,请参考计费项。 续费 包周期资源到期后,如果您想继续使用服务,需要在保留期内进
模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。 人工评测:您可以采用人工评测的方式,参照目标任务构造评测集,通
置的Python解释器预置插件。 “Python解释器插件”能够执行用户输入的Python代码,并获取结果。此插件为应用提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。 准备工作 请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型
油气行业:进行地质分层,例如基于地质数据,对不同地层进行分类,识别储层和非储层,提高勘探和开发效率。进行岩性识别,例如对不同岩石类型进行分类,帮助识别岩石的性质和特征,指导钻井和开采。进行流体识别,例如根据测井数据,识别储层中的油、气、水等流体类型。 2024年12月发布的版本,支持分析历史数据中的特征与
合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 数据质量:请检查训练数据的质量,若训练样本出现了大量重复数据,或者数据多样性很差,则会加剧该现象。 父主题: 大模型微调训练类问题
单击“评估名称”,进入评估任务详情页,可以查看详细的评估进度,例如在图2中有10条评估用例,当前已评估8条,剩余2条待评估。 图2 查看评估进展 评估完成后,可以查看每条数据的评估结果。 在评估结果中,“预期结果”表示变量值(问题)所预设的期望回答,“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。
提供的“Python解释器插件”能够根据用户输入的问题自动生成Python代码,并执行该代码获取结果。此插件为Agent提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。 自定义插件:为了满足更个性化的需求,平台允许开发者创建自定义插件,支持将API通
多场景测试:对多种不同场景下的prompt进行测试,确保在各种情境下系统能够有效响应: 不同语言对的翻译:如图3,针对不同的语言对(如中文到法语、俄语到西班牙语),评估翻译效果是否稳定。 图3 多场景测试-不同语言对 复杂对话场景:如图4,当用户在对话中频繁切换意图时,测试意图识别节点
模型生成结果优劣取决于模型能力及提示词质量。其中模型能力的更新需要准备大量的数据及消耗大量的计算资源,而通过提示工程,可以在不对模型能力进行更新的前提下,有效激发模型能力。 “提示词撰写” 和“提示工程”有什么区别 提示词撰写实际上是构建一些问答对数据,用于模型的训练,会更新模型参数,而提示工程不涉及模
CV大模型训练流程与选择建议 CV大模型训练流程介绍 目前,CV大模型支持微调训练。 微调阶段:微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估