检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务列表中申请需要开通的服务。 文本补全：给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮对话：基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题： 部署盘古大模型
模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中，训练配置选择LLM（大语言模型），训练类型选择自监督训练，根据所选模型配置训练参数。 表1 自监督训练参数说明 参数名称 说明 模型类型
-gap镜像。 npu驱动和固件安装。 执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息，说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令，查看是否有回显网卡信息。如果有，则说明网卡已经配置，否则继续操作下面步骤。 cat
模型评估”。 单击界面右上角“创建评估任务”，进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置： 待评估模型：支持选择多个模型版本同时评估，最多选择5个。待评估模型必须符合前提条件。 评估资源：依据选择的模型数据自动给出所需的评估资源。
多轮对话：基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 图1 使用能力调测 表1 能力调测参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。 核采样 控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。 话题重复度配置 用于控制生成文本中的重复程度。 词汇重复度控制
ns SDK配置：https://{endpoint}/v1/{project_id}/deployments/{deployment_id} （/chat/completions在SDK代码中已经进行了设置）。 IAM endpoint需要根据服务所在的区域正确配置，参考帮助文档“终端节点”章节查找。
在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。 如果节点没有加速卡，则选择“AI加速卡 > 不使用”。 单击“立即下载”，下载设备证书和Agent固件，并将设备证书与Agent固件分别重命名为license
模型部署”，单击界面右上角“部署”。 在创建部署页面，完成部署配置，填写基本信息。 表1 部署配置参数 参数名称 说明 选择模型 选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。
模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中，训练配置选择LLM（大语言模型），训练类型选择有监督训练，根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明 模型类型 选择“LLM”。
prompts -- default -- documents -- stuff.pt # 配置sdk配置项，指定prompt文件绝对路径，以 /home 路径为例 sdk.prompt.path=/home/prompts/default
使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
请求什么类型的操作。 GET：请求服务器返回指定资源。 PUT：请求服务器更新指定资源。 POST：请求服务器新增资源或执行特殊操作。 DELETE：请求服务器删除指定资源，如删除对象等。 HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时
通过指令可以设定A助手的行为和响应。如设置AI助手可以扮演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。 模型版本 选择与“嵌入模型”对应的版本。例如，嵌入模型为N2系列，则模型版本也为N2。 工具配置 网页搜索 开启
prompts -- default -- documents -- stuff.pt // 配置sdk配置项，指定prompt文件根路径，以 /home 目录下为例 sdk.prompt.path=/home/prompts/default
为什么微调后的模型，回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
为什么微调后的模型，回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大
Java SDK 安装SDK 配置SDK LLMs（语言模型） Prompt（提示词模板） Memory（记忆） Skill（技能） Agent（智能代理） 应用示例 父主题： 盘古应用开发SDK
Python SDK 安装SDK 配置SDK LLMs（语言模型） Prompt（提示词模板） Memory（记忆） Skill（技能） Agent（智能代理） 应用示例 父主题： 盘古应用开发SDK
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
