检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看提示词评估结果 评估任务创建完成后,会跳转至“评估”页面,在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称,进入评估任务详情页,可以查看详细的评估进度。例如,在图2中有10条评估用例,当前已经评估了8条,剩余2条待评估。 图2 查看评估进展 评估完成后,进入“评估报告
盘古大模型套件使用流程 盘古大模型套件平台是一款功能强大、集成度高的大模型开发与应用平台。该平台全面支持大模型的数据管理、清洗与配比,涵盖预训练与微调功能。此外,平台还提供了强大的模型部署、评估与调用功能,确保模型能够在生产环境中高效应用。平台支持提示词工程、AI助手及SDK开发,
预览提示词效果 提示词撰写完成后,可以通过输入具体的变量值,组成完整的提示词,查看不同提示词在模型中的使用效果。 在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。用户也可以直接选择已创建的变量集填入变量值信息,
打造政务智能问答助手 场景介绍 大模型(LLM)通过对海量公开数据(如互联网和书籍等语料)进行大规模无监督预训练,具备了强大的语言理解、生成、意图识别和逻辑推理能力。这使得大模型在智能问答系统中表现出色:用户输入问题后,大模型依靠其强大的意图理解能力和从大规模预训练语料及通用SFT
选择模型与训练方法 NLP大模型 NLP大模型主要用于处理和理解人类语言,能够实现对话问答、文案生成和阅读理解等任务,并具备逻辑推理、代码生成以及插件调用等高阶能力。 NLP大模型提供了基模型和功能模型两种类型: 基模型:已经在大量数据上进行了预训练,学习并理解了各种复杂特征和模式
训练智能客服系统大模型需要考虑哪些方面 根据智能客服场景,建议从以下方面考虑: 根据企业实际服务的场景和积累的数据量,评估是否需要构建行业模型,如电商、金融等。 根据每个客户的金牌客服话术,可以对对话模型进行有监督微调,进一步优化其性能。 根据每个客户的实际对话知识,如帮助文档、案例库和
为什么微调后的模型,只能回答在训练样本中学过的问题 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制
盘古自然语言大模型的适用场景有哪些 自然语言处理大模型是一种参数量极大的预训练模型,是众多自然语言处理下游任务的基础模型。学术界和工业界的实践证明,随着模型参数规模的增加,自然语言处理下游任务的效果显著提升,这得益于海量数据、大量算力以及深度学习的飞跃发展。 基于自然语言处理大模型的预训练模型
什么是盘古大模型 盘古大模型致力于深耕行业,打造多领域的行业大模型和能力集。其核心能力依托于盘古大模型套件平台,该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链
创建有监督训练任务 创建有监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中,训练配置选择LLM(大语言模型),训练类型选择有监督训练
打造短视频营销文案创作助手 场景介绍 随着互联网的发展,短视频已成为了日常生活中不可或缺的一部分,凭借其独特的形式和丰富的内容吸引了大量流量,并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案,以提升营销效果和效率。在这种场景下,用户只需提供一些基本信息
创建自监督微调训练任务 创建自监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中,训练配置选择
Vector Embedding Emebedding模块用于对Emebedding模型API的适配封装,提供统一的接口快速地调用CSS等模型emebedding能力。 初始化:根据相应模型定义Emebedding类,如使用华为CSS Embedding为:Embeddings.of
权限管理 如果您需要为企业员工设置不同的访问权限,以实现对华为云上购买的盘古大模型资源的权限隔离,可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,可以跳过本章节,不影响您使用服务的其他功能
如何判断训练状态是否正常 判断训练状态是否正常,通常可以通过观察训练过程中Loss(损失函数值)的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标,正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势。一般来说
为什么微调后的模型,回答会异常中断 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成的长度
Vector Embedding Embedding模块用于对Embedding模型API的适配封装,提供统一的接口快速地调用CSS模型embedding能力。 初始化:根据相应模型定义Embedding类。例如,使用华为CSS Embedding为:Embeddings.of(Embeddings.CSS
查看训练任务详情与训练指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异,训练指标和训练方法的关系如下: 表1 训练指标和训练方法对应关系
为什么微调后的模型,输入与训练样本相似的问题,回答与训练样本完全不同 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题
History History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式, 如内存、DCS(Redis)和RDS(Sql)。 from pangukitsappdev.memory.sql_message_history