正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“部署”。 在创建部署页面,完成部署配置,填写基本信息。 表1 部署配置参数 参数名称 说明 选择模型 选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。
project id参数需要与盘古服务部署区域一致。例如,盘古大模型部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project id。
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
配置SDK 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下,创建llm.properties文件,并根据实际需要配置相应的值。
配置SDK 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。
父主题: 部署为边缘服务
project id参数需要与盘古服务部署区域一致。例如,盘古大模型部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project id。
部署盘古大模型 部署为在线服务 部署为边缘服务
配置盘古访问授权 盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。
配置知识库 大模型在进行训练时,使用的是通用的数据集,这些数据集没有包含特定行业的数据。通过知识库功能,用户可以将领域知识上传到知识库中,向大模型提问时,大模型将会结合知识库中的内容进行回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。
配置AI助手工具 各种功能的API经封装后,将形成一个个工具,AI助手通过大模型来调用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。
} } }, "scope": { "project": { "name": "cn-southwest-2" //服务当前部署在
在数据配置中,选择训练模型所需的数据集。 图2 数据配置 完成训练任务基本信息。设置模型的名称、描述以及订阅提醒。 设置订阅提醒后,模型训练和部署过程产生的事件可以通过手机或邮箱发送给用户。 图3 基本信息 单击“立即创建”,创建自监督训练任务。
图1 模型训练列表 在训练配置中,选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中,训练配置选择LLM(大语言模型),训练类型选择有监督训练,根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明 模型类型 选择“LLM”。
与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。 与云搜索服务的关系 盘古大模型使用云搜索服务CSS,加入检索模块,提高模型回复的准确性、解决内容过期问题。
支持区域: 西南-贵阳一 创建一个新的数据集 检测数据集质量 清洗数据集 发布数据集 模型开发套件 模型开发套件是盘古大模型的核心组件,提供从模型创建到部署的一站式解决方案。
配置文件需要指定url和key,配置项为: sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/...
API文档 概述 NLP大模型 02 购买 了解盘古大模型的计费信息、购买准备工作以及相关操作步骤,您将能够顺利完成华为账号注册、购买与开通盘古大模型服务,并有效配置访问权限,确保子用户顺利使用盘古大模型,加速您的业务部署。
图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置: 待评估模型:支持选择多个模型版本同时评估,最多选择5个。待评估模型必须符合前提条件。 评估资源:依据选择的模型数据自动给出所需的评估资源。
用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 父主题: 安全