检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。 登录ModelArts
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题: 开发盘古NLP大模型
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题: 开发盘古科学计算大模型
配置Prompt builder 创建Agent的首要步骤就是撰写提示词(Prompt),为Agent设定人设、目标、核心技能、执行步骤。Agent会根据LLM对提示词的理解,来选择使用插件或知识库,响应用户问题。因此,一个好的提示词可以让LLM更好的理解并执行任务,Agent效果与提示词息息相关。
配置开场白和推荐问题 配置开场白和推荐问题的步骤如下: 在“高级配置 > 开场白和推荐问题”中,可输入自定义开场白,也可单击“智能添加”。 在推荐问中单击“添加”,可增加推荐问数量。添加后可在右侧“预览调试”中查看相应效果。 最多可以添加3个推荐问。 图1 预览调试查看开场白与推荐问效果
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云
模型。使用该功能前,需完成模型的部署操作,详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度预测能力,在选择好模型后,根据需求选择相应的数据和模型配置信息,模型就会返回相应的预测结果。
用户可以根据需求灵活划分工作空间,实现资源的有序管理与优化配置,确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理,平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置,确保每个用户在其指定的工作空间内,拥有合适的访问与操作权限
左侧导航窗格中,选择“用户”页签,单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息,单击“下一步”。 配置用户信息时,需要勾选“编程访问”,如果未勾选此项,会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组,单击“创建用户”,完成IAM用户的创建。
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 单击左侧“模型开发 > 模型部署”。 调用已部署的模型。单击状态为“运行中”的模型名称,在“详情”页签,可获取API的URL。 图2 获取已部署模型的调用路径 调用预置服务。在“预置服务”页签中,选择所需调用的NLP大模型,单
获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的请求URI。 图1 部署后的模型调用路径 若调用预置模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“预置服务”页
登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“模型开发 > 模型部署”。 若调用已部署的模型,单击状态为“运行中”的模型名称,在“详情”页签,可获取API的URL。 图1 获取已部署模型的调用路径 若调用预置服务,在“预置服务”页签中,选择所需调用的科学计算大模型
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力,在输入框中输入问题,模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。 与云搜索服务的关系 盘古大模型使用云搜索服务CSS,加入检索模块,提高模型回复的准确性、解决内容过期问题。
提供从模型创建到部署的一站式解决方案。 该工具链具备模型训练、部署、推理等功能,通过高效的推理性能和跨平台迁移工具,模型开发工具链能够保障模型在不同环境中的高效应用。 支持区域: 西南-贵阳一 开发盘古NLP大模型 开发盘古科学计算大模型 压缩盘古大模型 部署盘古大模型 调用盘古大模型
支持您添加或去除新的高空层次,训练任务会根据您配置的高空层次对模型重新进行训练。 高空变量 设置训练数据的高空变量信息,在“预训练”的场景中也支持您添加或去除新的高空变量,选择后会在变量权重中增加或去除该变量权重,训练任务会根据您配置的高空变量对模型重新进行训练。 表面变量 设置
output TaskOutputDto object 输出数据的信息。 config TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 参数类型 描述 type String 存储类型。 data Array of ObsStorageDto
准备工作 请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 使用“能力调测”功能 调用API接口 “能力调测”功能支持用户直接调用已部署的预置服务,使用步骤如下: 登录ModelArts
度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 表1 API清单 API 功能 操作指导 NLP大模型-文本对话 基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。
可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 父主题: 安全