检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
式输出相比，提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调： /** * 设置流式接口回调函数 * * @param streamAgentCallback 事件流回调 */ void setStreamCal
准备工作 注册华为账号并开通华为云，并完成实名认证，账号不能处于欠费或冻结状态。 检查开发环境要求，确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。
常见问题 使用java sdk出现第三方库冲突 当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency>
DocSummaryMapReduceSkill from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件 os.environ["SDK_CONFIG_PATH"] = "./llm.properties" # 初始化文档问答Skill
量差，或学习率设置过大，使得模型在最优解附近震荡，甚至跳过最优解，导致无法收敛。您可以尝试提升数据质量或减小学习率来解决。 图4 异常的Loss曲线：上升 Loss曲线平缓，保持高位：Loss曲线平缓且保持高位不下降的原因可能是目标任务的难度较大，或模型的学习率设置过小，导致模型
directory”报错，表示当前数据集格式、数据命名、数据存储路径不满足训练要求。 解决方案：请参考数据格式要求校验数据集格式。 请检查数据集路径是否设置正确。 图2 no such file or directory报错 The dataset size is too small报错 报错
话题重复度控制（presence_penalty） -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值，模型倾向于生成新的、未出现过的内容；参数设置负值，倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 为
SearchTool()); } 静态工具和动态工具的注册方式相同，通过addTool接口进行注册。 通过setMaxIterations可以设置最大迭代次数，控制Agent子规划的最大迭代步数，防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-
expired”（证书已过期）或“unable to verify the first certificate”（无法验证第一个证书）等。可以在Postman的设置中关闭“SSL certificate verification”选项。 关于盘古大模型API的详细请求参数、响应参数介绍请参见《API参考》文档。
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（多轮对话）（/chat/completions）
自监督训练： 不涉及 有监督微调： 本场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表2 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 4 学习率（learning_rate） 7.5e-05 学
expired”（证书已过期）或“unable to verify the first certificate”（无法验证第一个证书）等。可以在Postman的设置中关闭“SSL certificate verification”选项。 关于盘古大模型API的详细请求参数、响应参数介绍请参见《API参考》文档。
import LLMParamConfig from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件 os.environ["SDK_CONFIG_PATH"] = "./llm.properties" # 初始化LLMs
如果需要模型以某个人设形象回答问题，可以将role参数设置为system。不使用人设时，可设置为user。在一次会话请求中，人设只需要设置一次。 content 是 String 对话的内容，可以是任意文本，单位token。 设置多轮对话时，message中content个数不能超过20。
自监督训练： 不涉及 有监督微调： 该场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表1 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 6 学习率（learning_rate） 7.5e-05 学
安装Ascend插件 详情请参考官方文档：https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
自监督训练： 不涉及 有监督微调： 该场景采用下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表2 问答模型的微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 4 训练轮数（epoch） 3 学习率（learning_rate） 3e-6 学习率衰
部署边缘模型 进入盘古大模型套件平台，进入“模型开发 > 模型部署 > 边缘部署”，单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产，选择部署方式为边缘部署，输入推理实例数（根据边缘资源池的实际资源选择），输入服务名称，单击“立即创建”。 创建成功后，可在“模型部署 >
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同，具体步骤请参考使用API调用模型。 父主题： 部署为边缘服务
标。然而，指标没有一个明确的阈值来指示何时模型效果差。因此，单靠该指标无法直接决定任务的调整策略。 如果指标低是由于提示词（prompt）设置不合理，可以通过在模型训练阶段扩大训练集和验证集来优化模型，从而改善评估结果。另外，还可以将评估数据集设计得更接近训练集的数据，以提升评估结果的准确性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
