检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能模型、盘古-NLP-N2-SQL模型、盘古-NLP-N2-Agent模型、盘古-NLP-N2-Code模型）经有监督微调（SFT）训练后的用户模型进行边缘部署。 使用边缘部署功能需要在ModelArts服务中开通“边缘资源池”功能，该功能为白名单特性，需要联系ModelArts服务技术支持人员进行开通。
多轮对话：提供多轮文本能力，常用于多轮对话、聊天任务。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核，实现拦截大模
使用Token计算器的步骤如下： 登录盘古大模型套件平台。 在“服务管理”页面，单击页面右上角“Token计算器”。 在Token计算器中选择所需的模型，并输入文本内容后，单击“开始计算”即可统计输入文本的Token数量。 图1 Token计算器 预置模型和已经部署的模型可以使用Token计算器。 父主题： 平台资源管理
平台支持查看本次模型评估任务的详细日志。选择评估的模型后，可以查看其从创建开始到任务结束的日志内容，支持下载并保存到本地（log格式）。可通过日志查看报错，调整任务配置重新发起。 图4 评估日志页面 评估指标说明 模型训练完成后，可以通过一系列的评估方法来衡量模型的性能。当前支持基
报错原因：模型训练过程中，训练日志出现“The dataset size is too small”报错，表示数据量太少，拼接到模型要求长度后，条数不满足一次训练下沉。 解决方案：请增大数据集大小或者把epochs设大，保证日志中的Sink_num > 0。 图3 The dataset
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型，并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取
此，为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理 > 授权管理”，单击右上角“一键授权”进行授权。 图1 一键授权 父主题： 准备工作
例如，需要模型使用某银行客服的口吻进行线上问答，此时需要使用符合该银行风格和格式的数据集进行微调，以提升模型的遵循度。 Prompt工程后，效果仍无法达到预期：当对模型做了大量的Prompt工程，加之目标任务的难度也较高，通用模型的回答可能无法达到预期，此时建议采用目标任务的数据进行微调，以提升模型回答的准确性。
盘古-NLP-BI专业大模型-4K 4096 基于NLP-N2-基础功能模型运用特定专业代码数据训练后的BI专业大模型，具有4K上下文能力。 盘古-NLP-BI专业大模型-32K 32768 基于NLP-N2-基础功能模型运用特定专业代码数据训练后的BI专业大模型，具有32K上下文能力。 盘古-NLP-N2单场景模型-4K
orization（签名认证信息）和X-Sdk-Date（请求发送的时间）请求头。AK/SK认证的详细说明请参见：AK/SK。 添加消息头后的请求如下所示： POST https://{endpoint}/v1/{project_id}/deployments/{deployme
完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查
cessor，它的作用为对用户输入的多轮对话进行改写，会将改写后的结果作为工具检索的输入，这里使用了系统内置的ConversationRewriteSkill，它的作用为将多轮对话改写为单轮。二是在创建一个Agent后，调用了set_tool_retriever方法为其添加了一个
监控安全风险 盘古提供基于主机防护服务HSS的资源和操作监控能力，同时支持CTS审计日志，帮助用户监控自身企业账号下的管理操作。用户可以实时掌握服务使用过程中所产生的各类监控指标。 父主题： 安全
配置Prompt(Python SDK) 提示词模板模块提供模板格式化、自定义配置管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from
以在平台部署后参考如下参数调试： 表3 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以采用人
集群host信息。 示例：http://127.0.0.1:9200，http://127.0.0.2:9200 参考CSS服务“快速入门”章节创建机器后，在集群信息中获取hosts信息。 sdk.memory.css.user sdk.memory.css.password 用户认证信息。 创建集群时设置的用户/密码。
以在平台部署后参考如下参数调试： 表2 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 1024 温度（temperature） 0.3 核采样（top_p） 0.8 话题重复度控制（presence_penalty） 0 部署推理服务后，可以采用人
print(doc_skill.execute({"documents": docs})) Map-Reduce：先将文档单独进行摘要， 将摘要后的文档再提交给模型。 必要时，会循环迭代摘要。 from pangukitsappdev.api.embeddings.factory import
ntSession agentSession) { } /** * onSessionIteration调用结束后，检查Agent是否需要终止，如果需要终止，则返回true，默认不终止 * 可以在终止前对agentSession进行修改，如：修改agent的finalAnswer
提示词调优 提示词调优支持对提示词文本的编辑、提示词变量设置、提示词结果生成和调优历史记录管理。 提示词候选 提示词候选支持用户对调优后初步筛选的提示词进行候选管理，每个工程任务下可以保存上限9个候选提示词，进一步基于候选提示词进行比较和评估。 提示词比较 提示词比较支持选择
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
