检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用API调用NLP大模型 模型部署成功后,可以通过“文本对话”API调用NLP大模型。 表1 NLP大模型API清单 API分类 API访问路径(URI) 文本对话 /v1/{project_id}/deployments/{deployment_id}/chat/completions
绍旅行地的风土人情。请介绍下{{location}}的风土人情。”在评估提示词效果时,可以通过批量替换{{location}}的值,来获得模型回答,提升评测效率。 同时,撰写提示词过程中,可以通过设置模型参数来控制模型的生成行为,如调整温度、核采样、最大Token限制等参数。模型
质量标准 V1.0”,单击评估标准名称,可以查看具体的评估项。 图2 预置文本类数据集评估标准 在“评估标准”页面单击右上角“创建评估标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估
质量标准 V1.0”,单击评估标准名称,可以查看具体的评估项。 图2 预置视频类数据集评估标准 在“评估标准”页面单击右上角“创建评估标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估
质量标准 V1.0”,单击评估标准名称,可以查看具体的评估项。 图2 预置图片类数据集评估标准 在“评估标准”页面单击右上角“创建评估标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估
Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 如果之前没有生成过AK/
9, "max_tokens": 600 } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于接口,您可以从响应消息部分看到返回参数及参数说明。 父主题: 如何调用REST API
根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。 表1 路径参数 参数 是否必选 参数类型
单击“日志概览”页签。 可以查看到该次执行的整体情况,包括执行状态、开始/结束时间、运行时长和输入/输出。 单击“节点详情”页签。 可以查看到该次执行的主要组件耗时时长和占比情况,以及该次执行的调用链及其是否成功的状态。 单击调用链中的某个组件(例如插件天气搜索),展开调用链。 可以查看到调用链中该组件的输入和输出。
根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。 表1 路径参数 参数 是否必选 参数类型
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
缩。 模型部署:平台提供了一键式模型部署功能,用户可以轻松将训练好的模型部署到云端或本地环境中。平台支持多种部署模式,能够满足不同场景的需求。通过灵活的API接口,模型可以无缝集成到各类应用中。 模型调用:在模型部署后,用户可以通过模型调用功能快速访问模型的服务。平台提供了高效的
导出盘古大模型至其他局点 导出盘古大模型至其他局点前,请确保当前空间为该用户所创建的空间。 模型训练发布完成后,可以通过导出模型功能将本局点训练的模型导出,导出后的模型可以通过导入盘古大模型至其他局点,导入至其他局点进行使用。 以从环境A迁移模型到环境B为例: 登录环境B的ModelArts
Studio大模型开发平台提供了全面的数据集质量评估工具,能够帮助用户从多个维度检测和优化数据集的质量。平台预设了多种数据类型的基础评估标准,用户可以直接使用这些标准,也可以根据具体的业务需求创建自定义的评估标准。通过这种灵活的配置方式,用户能够根据不同的应用场景和目标,精确地评估和优化数据质量,确
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提
始输出,与大模型组件相连的后序组件可以直接引用该输出。 类型 输出参数的类型,当前可选类型只有String。 描述 对于该输出参数的描述。 如下场景时,可以通过配置输出参数来解析大模型组件的输出: 当大模型组件的输出为json格式的数据时,可以通过配置输出参数来解析出json中对
创建NLP大模型部署任务 模型训练完成后,可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,模型类型选择“NLP大模
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对,以查看其效果。 每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发
创建科学计算大模型部署任务 模型训练完成后,可以启动模型的部署操作。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,模型类型选择“科学计算大模型”,参考表1完成部署参数设置,启动模型部署。
ent设定人设、目标、核心技能、执行步骤。Agent会根据LLM对提示词的理解,来选择使用插件或知识库,响应用户问题。因此,一个好的提示词可以让LLM更好的理解并执行任务,Agent效果与提示词息息相关。 在应用详情页面的“Prompt builder”模块中,需要填入promp