检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发盘古专业大模型 部署专业大模型
盘古格式:使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型,请将选择格式配置为盘古格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。 当任务状态显示为“运行成功”时,说明数据流通任务执行成功,生成的“发布数据集”可在“数据工程
盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费。 数据智算单元、数据通算单元默认采用按需计费。 训练单元采用包周期和按需计费两种方式。 两种计费方式不能共存,只支持按照一种计费方式进行订购。 父主题: 计费FAQ
表3 问答模型的推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 4096 温度(temperature) 0.9 核采样(top_p) 0.4 话题重复度控制(presence_penalty) 0.3 部署推理服务后,可以采用人工评测的方案来评估
端或本地环境中。平台支持多种部署模式,能够满足不同场景的需求。通过灵活的API接口,模型可以无缝集成到各类应用中。 模型调用:在模型部署后,用户可以通过模型调用功能快速访问模型的服务。平台提供了高效的API接口,确保用户能够方便地将模型嵌入到自己的应用中,实现智能对话、文本生成等功能。
数据发布 > 数据评估”,单击界面右上角“创建评估任务”。 在“数据集选择”页签选择需要评估的加工数据集,并设置抽样样本的数量。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
什么是盘古大模型 盘古大模型服务致力于深耕行业,打造多领域行业大模型和能力集。ModelArts Studio大模型开发平台是盘古大模型服务推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发平台及大模型应用开发平台,盘古NLP大模型、多模态大模型、CV大模型、预测大模型
对于“低码”开发者(有一定代码开发经验),可以通过工作流方式,适当编写一定代码,来构建逻辑复杂、且有较高稳定性要求的Agent应用,开发者也可以灵活组合各个节点,包含大模型节点、意图识别节点、提问器节点、插件节点等,通过“拖拉拽”的方式快速搭建一个工作流。 Agent开发平台功能及优势
数据发布 > 数据评估”,单击界面右上角“创建评估任务”。 在“数据集选择”页签选择需要评估的加工数据集,并设置抽样样本的数量与字符数。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
数据发布 > 数据评估”,单击界面右上角“创建评估任务”。 在“数据集选择”页签选择需要评估的加工数据集,并设置抽样样本的数量。 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
算器功能,可以根据您输入的文本计算Token数量,您可以通过以下方式使用该功能: 在左侧导航栏选择“能力调测”,单击右下角“Token计算器”使用该功能。 使用API调用Token计算器,详见《API参考》“API > Token计算器”。 NLP大模型训练类型选择建议 平台针对
为示例,以便简明易懂地说明这些技巧在提示工程中的应用。随着模型的进化和理解能力的提升,尽管在简单任务中模糊的指示也会取得较好的效果,但对于规则越复杂的任务,越需要应用这些技巧来输出一个逻辑自洽、清晰明了的指令。 提示词是什么 提示词也称为Prompt,是与大模型进行交互的输入,可
数据配比”,单击界面右上角“创建配比任务”。 在“数据集选择”页签选择需要配比的文本类数据集(至少选择两个),单击“下一步”。 在“数据配比”页面,可以设置不同数据集的配比数量,单击“确定”。 页面将返回至“数据配比”页面,配比任务运行成功后,状态将显示为“运行成功”。 单击操作列“生成”,将生成“发布数据集”。
工作空间内,拥有合适的访问与操作权限。这种精细化的权限管理方式,既保证了数据的安全性,又提高了资源的高效利用。 在平台中,空间资产指的是存储在工作空间中的所有资源,包括数据资产和模型资产。这些资产是用户在平台上进行开发和管理的基础,集中存储和统一管理的方式有助于提升操作效率,并确保资源的规范性与安全性。
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为
时,表示该标注任务创建完成。 进入“标注作业”页签,单击当前标注任务的“标注”。 如果需要将该标注任务移交给其他人员,可以单击“移交”,并设置移交人员以及移交数量,单击“确定”。 进入标注页面后,逐一对数据进行标注。 如图1,以标注单轮问答数据为例,需要逐一确认问题(Q)及答案(
的数据基础。 数据工程包含的具体功能如下: 数据获取:数据获取是数据工程的第一步,支持将不同来源和格式的数据导入平台。 支持的接入方式:通过OBS服务导入数据。 支持的数据类型:文本、图片、视频、气象、预测、其他。 自定义格式:用户可以根据业务需求上传自定义格式的数据,提升数据获取的灵活性和可扩展性。
即费用根据服务实际消耗量计费,系统将每小时自动扣费。 盘古大模型的计费模式见表1。 表1 计费模式表 计费类别 计费项 计费模式 计费量纲 付费方式 计费周期 模型服务 模型订阅服务 包周期计费 套 预付费,按照订单的购买周期结算 1个月~1年 数据服务 数据智算服务 按需计费 智算单元
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用,需提交试用申请。 试用申请步骤如下: 登录ModelArts Studio大模型开发平台。 单击“试用咨询”,进入华为云售前咨询页面。 图1 申请试用 填写姓名、联系电话等用户信息,单击“提交申请”进行表单预约。 父主题: 准备工作
其中,conversation_id参数为会话ID,唯一标识每个会话的标识符,可将会话ID设置为任意值,使用标准UUID格式。 图2 获取应用调用路径-2 使用Postman调用API 获取Token。参考《API参考》文档“如何调用REST API > 认证鉴权”章节获取Token。 在Postman中新建