检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据管理:平台支持数据全链路血缘追溯,用户单击数据集名称可以在“数据血缘”页签,查看该数据集所经历的操作。全链路血缘追溯可以帮助用户正向实现数据集影响分析,逆向实现快速问题追踪,提升数据运维和数据治理的效率,帮助用户更好地对数据进行追根溯源。另外平台还提供了完善的标签体系、支持数据按行业标
景会不断发生变化,建议您定期更新训练数据,对模型进行微调更新。 多轮问答场景,为什么微调后的效果不好? 当您的目标任务是多轮问答,并且使用了多轮问答数据进行微调,微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据格式:多轮问答场景需要按
正则化效果越强,但同时也可能会降低模型的拟合能力。 取值范围:[0,1)。 特征删除概率 用于定义特征删除机制中的删除概率。特征删除(也称为特征丢弃)是另一种正则化技术,它在训练过程中随机删除一部分的输入特征,以防止模型过拟合。这个值越大,删除的特征越多,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。
撰写提示词 创建提示词工程 撰写提示词 预览提示词效果 父主题: 开发盘古大模型提示词工程
应用提示词生成面试题目 应用场景说明:将面试者的简历信息输入给大模型,基于简历生成面试问题,用于辅助人工面试或实现自动化面试。 父主题: 提示词应用示例
低代码构建多语言文本翻译工作流 方案设计 构建流程 效果评估与优化 典型问题 附录 父主题: Agent应用实践
盘古科学计算大模型调优实践 模型调优方法介绍 数据预处理优化 训练参数优化 评估模型效果 调优典型问题 父主题: 模型调优实践
答模块由大模型具体实现,因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现,也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建,也可以利用外部web搜索引擎。在初步验证大模型效果时,可以假设检索出的
如何利用提示词提高大模型在难度较高推理任务中的准确率 如何让大模型按指定风格或格式回复 如何分析大模型输出错误回答的根因 为什么其他大模型适用的提示词在盘古大模型上效果不佳 如何判断任务场景应通过调整提示词还是场景微调解决
的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1)。 特征删除概率 用于定义特征删除机制中的删除概率。特征删除(也称为特征丢弃)是另一种正则化技术,它在训练过程中随机删除一部分的输入特征,以防止模型过拟合。这个值越大,删除的特征越多,模型的正则化效果越强,但
请注意,温度和核采样的作用相近,在实际使用中,为了更好观察是哪个参数对结果造成的影响,不建议同时调整这两个参数。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 核采样(top_p) 0~1 1 核采样主要用于控制模型输出的多样性。核采样值越大,输出的多样性越高;核采样值越小,输出结果越可以被预测,确定性相对也就越高。
应用会根据盘古NLP大模型对提示词的理解,来选择使用插件、工作流或知识库,响应用户问题。因此,一个好的提示词可以让模型更好地理解并执行任务,应用效果与提示词息息相关。 配置提示词步骤如下: 在“提示词”模块,需要在输入框中填写Prompt提示词。 可依据模板填写Prompt,单击“”,
间,同时保持或接近模型的最佳性能。 过拟合 过拟合是指为了得到一致假设而使假设变得过度严格,会导致模型产生“以偏概全”的现象,导致模型泛化效果变差。 欠拟合 欠拟合是指模型拟合程度不高,数据距离拟合曲线较远,或指模型没有很好地捕捉到数据特征,不能够很好地拟合数据。 损失函数 损失函数(Loss
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。
配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。 配置OBS访问授权步骤如下:
些领域的相关数据广泛存在,模型通常能够较好地理解并生成准确回答。在这种情况下,通过调整提示词来引导模型的生成风格和细节,通常可以达到较好的效果。 业务逻辑的复杂性 判断任务场景的业务逻辑是否符合通用逻辑。如果场景中的业务逻辑较为简单、通用且易于理解,那么调整提示词是一个可行的方案。
管理盘古工作空间成员 如果您需要为企业员工设置不同的访问权限,以实现功能使用权限和资产的权限隔离,可以为不同员工配置相应的角色,以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用盘古的其他功能。
为无标签数据集添加准确的标签,确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 数据配比 数据配比是将多个数据集按特定比例组合为一个加工数据集的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。
使用API调用NLP大模型 预置模型或训练后的模型部署成功后,可以使用“文本对话”API实现模型调用。 表1 NLP大模型API清单 API分类 API访问路径(URI) 文本对话 /v1/{project_id}/deployments/{deployment_id}/chat/completions