检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。
体验盘古大模型功能 申请体验盘古大模型服务 体验盘古预置模型能力 体验盘古驱动的应用百宝箱
体验盘古大模型功能 申请体验盘古大模型服务 体验盘古预置模型能力 体验盘古驱动的应用百宝箱
清洗算子功能介绍 数据清洗是提高数据质量的重要环节,包括去除异常的字符、去除表情符号和去除个人敏感内容等,经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力: 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。
如图1,能力调测页面提供了文本补全和多轮对话功能,且每种功能都提供了预置的盘古大模型供用户体验。用户可以在页面右侧进行参数设置,然后在输入框中输入问题,模型就会返回对应的答案内容,具体参数信息见表1。
图2 申请体验-1 图3 申请体验-2 父主题: 体验盘古大模型功能
图2 申请体验-1 图3 申请体验-2 父主题: 体验盘古大模型功能
如图1,能力调测页面提供了文本补全和多轮对话功能,且每种功能都提供了预置的盘古大模型供用户体验。用户可以在页面右侧进行参数设置,然后在输入框中输入问题,模型就会返回对应的答案内容,具体参数信息见表1。
图3 外部应用页面 图4 体验外部应用-1 图5 体验外部应用-2 父主题: 体验盘古大模型功能
图3 外部应用页面 图4 体验外部应用-1 图5 体验外部应用-2 父主题: 体验盘古大模型功能
我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
图1 立即购买 图2 新建工单 获取购买权限后,根据需要选择计费模式,基模型需选择“N2 - 基础模型功能 & 应用增强功能”。用户可根据需求自行选择功能模型,输入资源名称,类型选择“边缘部署”,输入需要订购的推理算力,单击“确认订单”。
盘古大模型套件使用流程 盘古大模型套件平台是一款功能强大、集成度高的大模型开发与应用平台。该平台全面支持大模型的数据管理、清洗与配比,涵盖预训练与微调功能。此外,平台还提供了强大的模型部署、评估与调用功能,确保模型能够在生产环境中高效应用。
配置AI助手工具 各种功能的API经封装后,将形成一个个工具,AI助手通过大模型来调用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。
通过“服务管理”功能查看调用量:查看具体某个模型的调用总量、调用成功量、调用失败量,且可按时间进行筛选。 通过“运营面板”功能查看调用量:查看全部模型访问总数、模型回复时的响应时长、兜底回复比例以及输入/输出token信息。
盘古-NLP-N2-基础功能模型-4K 4096 基于NLP-N2-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力。
功能模型:功能模型是在基模型的基础上经过微调,专门适应特定任务,并具备对话问答的能力。经过特定场景优化的功能模型能够更有效地处理文案生成、阅读理解、代码生成等任务。 专业大模型:针对特定场景优化的大模型。
使用边缘部署功能需要在ModelArts服务中开通“边缘资源池”功能,该功能为白名单特性,需要联系ModelArts服务技术支持人员进行开通。 创建边缘资源池操作较为复杂,建议联系盘古服务技术支持人员进行协助。 父主题: 部署为边缘服务
运营人员 具备总览、平台管理(资产管理、权限管理)功能的权限。 模型开发人员 具备总览、服务管理、能力调测、数据工程(数据管理、数据清洗)、模型开发(模型管理、模型训练、模型评估、模型压缩、模型部署)、平台管理(资产管理、权限管理)功能的使用权限。
压缩盘古大模型 N2基础功能模型、N4基础功能模型、经有监督微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下,降低推理时的显存占用。 采用INT8的压缩方式,INT8量化可以显著减小模型的存储大小与降低功耗,并提高计算速度。