检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
插件描述的长度为1 ~ 1600个字符。 配置插件的配置信息，配置插件URL和请求方式等参数信息。配置完成后，单击“下一步”。 风险提示：自定义插件使用HTTP服务，或不增加鉴权方式可能存在安全风险。 表2 插件配置信息表 参数名称 说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。
如何调整训练参数，使盘古大模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。
配置开场白和推荐问题 配置开场白和推荐问题的步骤如下： 在“高级配置 > 开场白和推荐问题”中，可输入自定义开场白，也可单击“智能添加”。 在推荐问中单击“添加”，可增加推荐问数量。添加后可在右侧“预览调试”中查看相应效果。 最多可以添加3个推荐问。 图1 预览调试查看开场白与推荐问效果
配置知识 配置知识的步骤如下： 在“高级配置 > 知识”，单击“添加”。 在“添加知识”窗口，单击“点此上传”，上传知识文件。 图1 添加知识 上传完成后，单击“确定”。 在“高级配置”中，可查看上传成功的知识文件。 图2 知识上传成功 父主题： 手工编排Agent应用
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。 登录ModelArts
配置Prompt builder 创建Agent的首要步骤就是撰写提示词（Prompt），为Agent设定人设、目标、核心技能、执行步骤。Agent会根据LLM对提示词的理解，来选择使用插件或知识库，响应用户问题。因此，一个好的提示词可以让LLM更好的理解并执行任务，Agent效果与提示词息息相关。
project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
表1创建模型压缩任务。 表1 模型压缩任务参数说明 参数类别 参数名称 说明 压缩配置 压缩模型 选择需要进行压缩的模型，可使用来自资产的模型或任务的模型。 压缩策略 例如，可使用INT8压缩策略，同等QPS目标下，INT8可以降低推理显存占用。 基本信息 任务名称 模型压缩任务的名称。
区域项目、全局服务资源。 可以选择“指定区域项目资源”，如指定“西南-贵阳一”区域，即用户组内的IAM用户仅可使用该区域项目中的资源。 可以选择“全局服务资源”，即服务部署时不区分区域，访问全局级服务，不需要切换区域，全局服务不支持基于区域项目授权。如对象存储服务（OBS）、内容分发网络（CDN）等。
管理科学计算大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型和修改作业配置参数，但在修改部署时模型不可替换或修改作业配置参数。 在“模型更新”或“修改部署”后进行升
式接近，模型能够“回忆”并运用已学习的知识和指令。 不同模型间效果差异。 由于不同厂商采用的训练策略和数据集差异，同一提示词在不同模型上的效果可能大不相同。由于不同厂商采用的训练策略和数据集差异，同一提示词在不同模型上的效果可能大不相同。例如，某些模型可能在处理特定领域的数据时表
管理NLP大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型，但在修改部署时模型不可替换。 在“模型更新”或“修改部署”后进行升级操作时，可选择全量升级或滚动升级两种方式：
用户提出的问题，作为运行工作流的输入，与工作流开始节点输入参数对应。 plugin_configs 否 List<PluginConfig> 插件配置，当工作流有配置用户自定义插件节点时，可能需要配置鉴权信息等，具体结构定义详见表4。 表4 PluginConfig参数 参数 是否必选 参数类型 描述 plugin_id
配架构类型。 资源配置 实例数 设置部署模型是所需的实例数，单次部署服务时，部署实例个数建议不大于10，否则可能触发限流导致部署失败。 基本信息 名称 设置部署任务的名称。 描述（可选） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。 父主题： 部署科学计算大模型
行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略，控制OBS的读写权限。 表1 策略信息 策略名称 拥有细粒度权限/Action 权限描述 Pangu OBSWriteOnly obs:object:AbortMultipartUpload
Token认证：通过Token认证调用请求。 AppCode认证：当用户部署的API服务期望开放给其他用户调用时，原有Token认证无法支持，可通过AppCode认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 Token认证
学习率调整策略 用于选择学习率调度器的类型。学习率调度器可以在训练过程中动态地调整学习率，以改善模型的训练效果。目前支持CosineDecayLR调度器。 变量权重 变量权重 训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。 数据配置 训练数据
访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 Token计算器 用户在部署服务的过程中，建议开启“安全护栏”功能，以保证内容的安全性。 父主题： 使用前必读
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
