检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的请求URI。 图1 部署后的模型调用路径 若调用预置模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“预置服务”页
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题： 开发盘古科学计算大模型
准备工作 请确保您有预置的NLP大模型，并已完成模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 使用“能力调测”功能 调用API接口 “能力调测”功能支持用户直接调用已部署的预置服务，使用步骤如下： 登录ModelArts
Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭
单击“下一步”进入“算子编排”页面。对于文本类数据集，可选择预置加工算子，请参见文本类加工算子能力清单。 在左侧“添加算子”模块勾选所需算子。 在右侧“加工步骤编排”页面配置各算子的参数，可通过右侧按钮，拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排过程中，可以单击右上角“保存为新模板”将当前
可以查看到调用链中该组件的输入和输出。 此外，平台支持配置构建应用所需的NLP大模型参数。 单击应用右上角的，打开大模型参数配置页面。配置参数见表1，完成大模型参数配置。 表1 大模型参数配置 参数 说明 模型选择 选择要使用的LLM，不同的模型效果存在差异。 模式选择 用于配置大模型的输出多样性。 包含取值：
度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后，可以通过API调用推理接口。 表1 API清单 API 功能 操作指导 NLP大模型-文本对话 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。
如何判断任务场景应通过调整提示词还是场景微调解决 在选择是否通过调整提示词或场景微调来解决任务时，需要从以下两个主要方面进行考虑： 业务数据的可获取性 考虑该任务场景的业务数据是否公开可获取。如果该场景的相关数据可以公开获取，说明模型在训练阶段可能已经接触过类似的语料，因此具有一
撰写所需提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息，如主题、风格、格式等。 撰写提示词时，可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。当前仅支持对NLP大模型进行压缩。采用的压缩方式是INT8，INT8量化压缩可以显著减小模型的存储大小，降低功耗，并提高计算速度。 登录ModelArts Studio大模型开发平台，进入所需操作空间。
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表3 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以
output TaskOutputDto object 输出数据的信息。 config TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 参数类型 描述 type String 存储类型。 data Array of ObsStorageDto
登录ModelArts Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发 > 模型部署”，选择所需调用的大模型，单击“调用路径”，在“调用路径”弹窗获取调用路径及部署ID。 请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数（Token认证）
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表2 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 1024 温度（temperature） 0.3 核采样（top_p） 0.8 话题重复度控制（presence_penalty） 0 部署推理服务后，可以
project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
数据集的质量。平台预设了多种数据类型的基础评估标准，用户可以直接使用这些标准，也可以根据具体的业务需求创建自定义的评估标准。通过这种灵活的配置方式，用户能够根据不同的应用场景和目标，精确地评估和优化数据质量，确保数据在进入模型训练阶段之前达到高标准，进而提升模型的性能和效果。 数据集评估标准介绍
发，全程0代码开发，极大降低大模型开发门槛。 功能强，Agent开发“好” Agent开发提供便捷搭建大模型应用功能，并提供功能强大的插件配置，让Agent能力更强，更专业。 统一管，资产管理“全” ModelArts Studio大模型开发平台数据、模型、Agent应用在统一的
output TaskOutputDto object 输出数据的信息。 config TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 参数类型 描述 type String 存储类型。 data Array of ObsStorageDto
project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。 请求参数 使用Token认证方式的请求Header参数见表2。 表2 请求Header参数（Token认证） 参数
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力，在输入框中输入问题，模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
