检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么情况下不建议微调 虽然微调可以在一定程度上提升领域能力，但有时候微调也无法解决所有问题。即使您的目标场景依赖垂域背景知识，微调也并非最佳方案，比如： 场景微调的数据量很少或者数据质量很差：微调对数据量和数据质量有很高的要求，需要使用高质量的数据进行模型训练。 垂域知识问答场景：
使用Tool Retriever优化Agent性能(Python SDK) Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题
使用Tool Retriever优化Agent性能(Java SDK) Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器，通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于N2
为什么微调后的模型，回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
启用盘古大模型搜索增强能力 大模型在训练时使用的是静态的文本数据集，这些数据集通常是包含了截止到某一时间点的所有数据。因此，对于该时间点之后的信息，大模型可能无法提供。 通过将大模型与盘古搜索结合，可以有效解决数据的时效性问题。当用户提出问题时，模型先通过搜索引擎获取最新的信息，并将这些信息整合到大模型生成的答案中
配置SDK(Python SDK) 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下，创建llm.properties文件，并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件： # 建议在业务项目入口处配置
多轮问答场景，为什么微调后的效果不好 当您的目标任务是多轮问答，并且使用了多轮问答数据进行微调，微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和回答。比如
产品优势 海量训练数据 盘古大模型依托海量且多样化的训练数据，涵盖从日常对话到专业领域的广泛内容，帮助模型更好地理解和生成自然语言文本，适用于多个领域的业务应用。这些数据不仅丰富多样，还为模型提供了深度和广度的语言学习基础，使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学习和分析
如何调整训练参数，使模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数
发布提示词 通过横向比较提示词效果和批量评估提示词效果，如果找到高质量的提示词，可以将提示词发布至“提示词管理”中。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程名称，跳转工程任务下候选提示词页面
配置盘古访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择
创建模型评估任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击界面右上角“创建评估任务”，进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置： 待评估模型：支持选择多个模型版本同时评估
配置Vector(Python SDK) Embedding Emebedding模块用于对Emebedding模型API的适配封装，提供统一的接口快速地调用CSS等模型emebedding能力。 初始化：根据相应模型定义Emebedding类，如使用华为CSS Embedding
为什么微调后的模型，回答总是在重复某一句或某几句话 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度
为什么微调后的模型，评估结果很好，但实际场景表现却很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是否一致
配置SDK(Java SDK) 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值
打造政务智能问答助手 场景介绍 大模型（LLM）通过对海量公开数据（如互联网和书籍等语料）进行大规模无监督预训练，具备了强大的语言理解、生成、意图识别和逻辑推理能力。这使得大模型在智能问答系统中表现出色：用户输入问题后，大模型依靠其强大的意图理解能力和从大规模预训练语料及通用SFT
配置Vector(Java SDK) Embedding Embedding模块用于对Embedding模型API的适配封装，提供统一的接口快速地调用CSS模型embedding能力。 初始化：根据相应模型定义Embedding类。例如，使用华为CSS Embedding为：Embeddings.of
查看评估任务详情 查看评估任务详情 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情： 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
