检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整推理参数,使盘古大模型效果最优 推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考:
请求URI 服务的请求URI即API服务的终端地址,通过该地址与API进行通信和交互。 URI获取步骤如下: 登录ModelArts Studio大模型开发平台。 进入所需工作空间。 获取请求URI。 获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 >
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑: 数据安全和隐私保护:大模型涉及大量训练数据,这些数据是重要资产。为确保数据安全,需在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、
使用盘古预置NLP大模型进行文本对话 场景描述 此示例演示了如何使用盘古预置NLP大模型进行对话问答,包含两种方式:使用“能力调测”功能和调用API接口。 您将学习如何使用“能力调测”功能调试模型超参数、如何调用盘古NLP大模型API以实现智能化对话问答能力。 准备工作 请确保您
如何调整训练参数,使盘古大模型效果最优 模型微调参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响: 目标任务的难度:如果目标任务的难度较低,模型能较容易的学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。
如何判断任务场景应通过调整提示词还是场景微调解决 在选择是否通过调整提示词或场景微调来解决任务时,需要从以下两个主要方面进行考虑: 业务数据的可获取性 考虑该任务场景的业务数据是否公开可获取。如果该场景的相关数据可以公开获取,说明模型在训练阶段可能已经接触过类似的语料,因此具有一
购买周期计费,适用于可预估资源使用周期的场景。 按需计费模式:按需付费是后付费方式,可以随时开通/关闭对应资源,支持秒级计费,系统会根据云服务器的实际使用情况每小时出账单,并从账户余额里扣款。 父主题: 计费FAQ
如何利用提示词提高大模型在难度较高推理任务中的准确率 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程,可以使其在推理任务中得到更高的准确性,尤其是在涉及多步推理和复杂逻辑关系的任务中。
无监督领域知识数据量无法支持增量预训练,如何进行模型学习 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。
使用盘古NLP大模型创建Python编码助手应用 场景描述 该示例演示了如何使用盘古NLP大模型创建Python编码助手执行应用,示例将使用Agent开发平台预置的Python解释器预置插件。 “Python解释器插件”能够执行用户输入的Python代码,并获取结果。此插件为应用
盘古大模型是否可以自定义人设? 如何将本地的数据上传至平台? 导入数据过程中,为什么无法选中OBS的具体文件进行上传? 如何查看预置模型的历史版本? 更多 大模型微调训练类 如何调整训练参数,使盘古大模型效果最优? 为什么微调后的盘古大模型的回答中会出现乱码? 如何判断盘古大模型训练状态是否正常?
高频常见问题 大模型概念类问题 如何对盘古大模型的安全性展开评估和防护 训练智能客服系统大模型需考虑哪些方面 大模型微调训练类问题 如何调整训练参数,使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 数据量足够,为什么盘古大模型微调效果仍然不好
大模型使用类 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的单个文件进行上传 如何查看预置模型的历史版本 训练/推理单元与算力的对应关系是什么
置的模型资产执行以下操作: 查看模型历史版本。在“版本列表”页面,可查看模型的各个版本。 训练、压缩、部署操作。在“版本列表”页面,可对不同版本模型执行训练、压缩或部署操作。单击相应按钮,将跳转至相关操作页面。 查看操作记录。在“操作记录”页面,可查看当前模型的操作记录。 单击“
参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。 外部服务:通过API的方式接入外部模型进行评测。选择外部服务时,需要填写外部
本样例场景实现文本翻译服务Token与调用地址的获取。 步骤2:创建并配置多语言文本翻译插件 本样例场景实现多语言文本翻译插件的创建与配置。 步骤1:获取文本翻译服务Token与调用地址 在创建多语言文本翻译工作流的实践中,需要调用华为云文本翻译服务API,调用前需获取文本翻译服务的Token,获取Token步骤如下:
使用盘古应用百宝箱生成创意活动方案 场景描述 该示例演示了如何使用盘古应用百宝箱生成创意活动方案。 应用百宝箱是盘古大模型服务为用户提供的便捷AI应用集,用户可在其中使用盘古大模型预置的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 操作流程 使用盘古应用百宝箱生成创意活动方案的步骤如下:
</dependency> Python 使用pip安装。 #回显Successfully installed xxx表示安装成功 # 安装核心库 pip install huaweicloudsdkcore # 安装盘古服务库 pip install huaweicloudsdkpangulargemodels
训练作业完成后,可以通过平台提供的评估指标评估模型的效果,查看模型指标步骤如下: 使用最终租户登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”。 单击训练完成的模型,可在“训练结果”页面查看详细的模型效果评估指标,各指标说明见表1。
在“配置信息”页面,参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非商用环境部署时,才允许支持内网URL,且需要