检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写输入参数时,deployment_id为模型部署ID,获取方式如下: 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。 图3 部署后的模型调用路径 若调用预置模型,可在左侧导航栏中选择“模型开发
调用工作流 工作流试运行成功后,可以使用API调用该工作流。 获取调用路径 工作流的调用路径获取步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 在“工作台 >
实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。 父主题: 部署NLP大模型
实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。 父主题: 部署预测大模型
Prompt提示词。 可依据模板填写Prompt,单击“示例”,输入框中将自动填入角色指令模板。 图2 Prompt builder 填写后可通过大模型进行优化,单击“智能优化”,在 “Prompt优化”窗口中单击“确定”。 图3 Prompt优化示例 步骤3:添加插件 应用支持
实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。 父主题: 部署科学计算大模型
实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。 父主题: 部署专业大模型
IAM权限 默认情况下,管理员创建的IAM用户(子用户)没有任何权限,需要将其加入用户组,并对用户组授权,才能使得用户组中的用户获得对应的权限。授权后,用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu
AK/SK中多填了空格)。 AK/SK频繁出现鉴权出错,连续错误5次以上,被锁定5分钟(5分钟内,则一直认为其是异常的鉴权请求),5分钟后解锁重新认证。 检查账号权限,是否欠费,被冻结等。 检查调用API时,请求header参数X-Auth-Token是否拼写正确。 APIG.0308
到模型前后两次回复内容的多样性降低。 图4 “核采样”参数为0.1的生成结果1 图5 “核采样”参数为0.1的生成结果2 预置模型部署成功后,可以通过“文本对话”API调用NLP大模型,调用步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 获取调用路径。单击左侧“模型开发
云端或本地环境中。平台支持多种部署模式,能够满足不同场景的需求。通过灵活的API接口,模型可以无缝集成到各类应用中。 模型调用:在模型部署后,用户可以通过模型调用功能快速访问模型的服务。平台提供了高效的API接口,确保用户能够方便地将模型嵌入到自己的应用中,实现智能对话、文本生成等功能。
多变的语言环境中始终保持领先地位。 应用场景灵活 盘古大模型具备强大的学习能力,能够通过少量行业数据快速适应特定业务场景的需求。模型在微调后能够迅速掌握并理解特定行业的专业知识和术语,从而深刻把握行业特性。这种快速学习与适应能力,为各行业企业和机构带来了极大的便利。它们可以根据具
使用“能力调测”调用科学计算大模型 能力调测功能支持用户调用预置或训练后的科学计算大模型。使用该功能前,请完成模型的部署操作,步骤详见创建科学计算大模型部署任务。 使用“能力调测”调用科学计算大模型可实现包括全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球
Geographical area选择Whole available region。 Format选择NetCDF(experimental)。 数据准备好后,单击“Submit Form”,基于页面提示单击“Download”下载数据。 图1 下载高空变量数据 示例二:以下载2021年7月16日
e”。 响应消息体 响应消息体通常以结构化格式返回,与响应消息头中Content-Type对应,传递除响应消息头之外的内容。 接口调用成功后将返回如下响应体。 { "id": "180f5745-4ee4-42a9-9869-23f829654bb7", "created":
续费操作。 增购模型资产 ModelArts Studio大模型开发平台支持增购模型资产,即在当前模型资产基础上订购新的模型资产,增购完成后支持使用多个模型资产。 增购模型资产的步骤如下: 登录ModelArts Studio大模型开发平台,单击页面右上角“订购管理”。 在“订购管理”页面,单击右上角“新增订购”。
以在平台部署后参考如下参数调试: 表3 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 4096 温度(temperature) 0.3 核采样(top_p) 1.0 话题重复度控制(presence_penalty) 0 部署推理服务后,可以采用人
流式开关。 默认值为false,如果开启流式,请赋值true,同时n参数只能设置为1。开启流式开关后,API会在生成文本的过程中,实时地将生成的文本发送给客户端,而不是等到生成完成后一次性将所有文本发送给客户端。 temperature 否 Float 用于控制生成文本的多样性和创造力。