检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 提示词工程 在撰写提示词区域输入提示词文本，可以插入若干个变量，通过占位符{{ }}标识，单击“确认”按钮，平台会自动识别插入的变量。 图2 撰写提示词 图3 确认提示词内容 识别的变量展示在变量定义区域，可以编辑变量名称便于理解。
图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核，实现拦截大模型输入、输出的有害信息，保障模型调用安全。
本场景的一个Loss曲线示例如下： 图1 Loss曲线 通过观察，该Loss曲线随着迭代步数的增加呈下降趋势直至稳定，证明整个训练状态是正常的。若Loss曲线呈现轻微阶梯式下降，为正常现象。
图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核，实现拦截大模型输入、输出的有害信息，保障模型调用安全。
图1 AI助手 在调测页面，可以调整AI助手的指令，输入问题后，单击“运行”获得模型回复结果。 图2 AI助手能力调测 父主题： AI助手
图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入、输出的有害信息，保障模型调用安全。 NLP模型在流式输出时，同样支持内容审核。
图1 撰写提示词 在撰写提示词区域单击“设为候选”按钮，将当前撰写的提示词设置为候选提示词。 图2 设为候选 每个工程任务下候选提示词上限9个，达到上限9个时需要删除其他候选提示词才能继续添加。 父主题： 横向比较提示词效果
图1 立即购买 图2 新建工单 获取购买权限后，根据需要选择计费模式，基模型需选择“N2 - 基础模型功能 & 应用增强功能”。用户可根据需求自行选择功能模型，输入资源名称，类型选择“边缘部署”，输入需要订购的推理算力，单击“确认订单”。
图1 模型压缩 选择需要进行压缩的模型执行模型压缩，压缩策略为“INT8”。当压缩模型为N2基础功能模型，或是经有监督微调训练和RLHF训练后的N2模型，支持选择“低消耗模式”，减少推理资源的消耗。 图2 创建压缩任务 输入任务名称和描述，单击“立即创建”，即可下发压缩模型任务。
图1 模型部署外推升级 扩缩容部署实例数量 扩缩容是指运行中的模型支持增加或减少模型部署的实例数。 修改部署时扩缩容和外推场景互斥，每次只能修改一个。 图2 修改部署 图3 模型部署扩缩容 父主题： 部署盘古大模型
图2 获取项目ID 多项目时，展开“所属区域”，从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目信息API获取。
图1 获取提示词模板 父主题： 提示词工程
图1 工具管理 在“创建工具”页面参考表1完成工具代码的设置。 表1 创建工具参数说明 参数 是否必选 参数类型 描述 tool_id 是 String 工具ID，必须由英文小写字母和_组成，需要符合实际工具含义。
图1 创建提示词工程 单击“确定”完成工程创建。 父主题： 撰写提示词
图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于N2的模型（盘古-NLP-N2-基模型、盘古-NLP-N2-基础功能模型、盘古-NLP-N2-SQL模型、盘古-NLP-N2-Agent模型、盘古-NLP-N2-Code模型）经有监督微调（SFT
为什么微调后的模型，回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度
为什么微调后的模型，输入与训练样本相似的问题，回答与训练样本完全不同 当您将微调的模型部署以后，输入一个已经出现在训练样本中，或虽未出现但和训练样本差异很小的问题，回答完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history
运行Agent 单轮执行 调用run接口运行一个Agent： agent.run("帮我定个下午3点到8点2303会议室") Agent的运行时会进行自我迭代，并且选择合适的工具，在日志中打印最终的执行结果： 用户: 帮我定个下午3点到8点2303会议室 助手: 好的，2023-11
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk.api.memory.config.MessageHistoryConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
