检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表示主控节点。 在服务器执行如下命令,判断docker是否安装成功。 systemctl status docker 在服务器执行如下命令,判断edge agent是否安装成功。 hdactl info 配置hda.conf配置文件信息(可选) 登录nfs服务节点,执行如下命令:
配置盘古访问授权 盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理
模型部署”,单击界面右上角“部署”。 在创建部署页面,完成部署配置,填写基本信息。 表1 部署配置参数 参数名称 说明 选择模型 选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”,即将算法部署至盘古大模型服务提供的资源池中。
知识库分为自定义知识库、引用知识库。 自定义知识库:通过盘古大模型套件平台创建的知识库。 引用知识库:引用在KooSearch服务中创建的知识库,KooSearch是基于大模型的文档问答服务,开通该服务请联系云搜索服务(CSS)技术支持。 图1 创建知识库 选择知识库类型后,单击“创建”进入知识库设置页面,创建知识库。
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于
创建自监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中,训练配置选择LLM(大语言模型),
配置AI助手工具 各种功能的API经封装后,将形成一个个工具,AI助手通过大模型来调用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。 图1 工具管理
创建有监督训练任务 创建有监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中,训练配置选择LLM(大语言模型),训练类型选
配置SDK 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下,创建llm.properties文件,并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件: # 建议在业务项目入口处配置 import
配置SDK 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。 如果需要自定义配置文件名,可以参考以下代码设置。
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
创建模型评估任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击界面右上角“创建评估任务”,进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置: 待评估模型:支持选择多个模
应用增强功能”。用户可根据需求自行选择功能模型,输入资源名称,类型选择“边缘部署”,输入需要订购的推理算力,单击“确认订单”。 订购完成后,进入“平台管理 > 资产管理 > 模型推理资产”,可查看订购的边缘部署资产。 父主题: 部署为边缘服务
查看评估任务详情 查看评估任务详情 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题: 部署盘古大模型
/etc/hccn.conf,确保有如下回显网卡信息,则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时,需要有一个节点来提供NFS网盘服务,创建部署时通过NFS挂载的方式访问模型。 父主题: 部署为边缘服务
获取API认证鉴权信息(获取Token) 登录“我的凭证 > API凭证”页面,获取user name、domain name、project id。 project id参数需要与盘古服务部署区域一致。例如,盘古大模型部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project
审计 云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取
获取AI助手API调用地址 登录盘古大模型套件平台。 左侧导航栏选择“应用开发 > AI助手”,选择需要运行的AI助手,单击“查看”。 图1 查看AI助手 在详情页面,AI助手API调用地址。 图2 获取调用地址 获取Token 本示例中,通过使用Postman软件获取Token。 登录“我的凭证