检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买盘古大模型套件 开通盘古大模型服务 开通大模型的文本补全、多轮对话能力。 开通盘古大模型服务 配置授权/创建子用户 配置盘古访问OBS服务权限,多用户使用平台情况下需要创建子用户。 配置盘古访问授权 创建子用户并授权使用盘古 准备训练数据 创建一个新的数据集 创建一个新的数据集,用来管理上传至平台的训练或者评测数据。
服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址。其中,路径选中部分即为模型的部署ID(deployment_id)。 图3 获取API请求地址 父主题: 附录
project id参数需要与盘古服务部署区域一致。例如,盘古大模型部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project id。 图3 查看盘古服务区域 图4 获取user name、domain name、project id 下载并安装Postman调测工具。
如何对盘古大模型的安全性展开评估和防护? 训练智能客服系统大模型需考虑哪些方面? 如何调整训练参数,使盘古大模型效果最优? 如何判断盘古大模型训练状态是否正常? 为什么微调后的盘古大模型总是重复相同的回答? 盘古大模型是否可以自定义人设? 更多 大模型概念类 如何对盘古大模型的安全性展开评估和防护? 训练智能客服系统大模型需考虑哪些方面?
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
如何调用REST API 开通API 构造请求 认证鉴权 返回结果
盘古大模型支持通过对接内容审核,实现拦截大模型输入、输出的有害信息,保障模型调用安全。用户在开通API后,可依据需求选择是否开通、启用内容审核。 父主题: 如何调用REST API
到了宋朝。他身处一座繁华的城市,人们穿着古代的服饰,用着他听不懂的语言交谈。他意识到自己真的穿越了。李晓在宋朝的生活充满了挑战。他必须学习如何使用新的语言,适应新的生活方式。他开始学习宋朝的礼仪,尝试理解这个时代的文化。在宋朝,李晓遇到了许多有趣的人。他遇到了一位名叫赵敏拿来的小
型相比,BI专业大模型更适合执行数据分析、报告生成和业务洞察等任务。 模型推理资产即部署模型所需的cpu、gpu资源(专属资源池)。如果不订购推理资产,可以使用订购的盘古模型进行训练,但无法部署训练后的模型。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即购买”,平台将
推理资产不足,现有资源无法满足同时部署多个模型时,可以扩容模型推理资产。 在“平台管理 > 资产管理 > 模型推理资产”中,单击操作列“扩容”执行扩容操作。 图4 扩容模型推理资产 不同类型的模型在部署时,做占用的推理资产数量存在差异,部署模型时所占的推理资产数量与模型类型关系如下。 表1 部署模型 模型类型
在Token计算器中选择所需的模型,并输入文本内容后,单击“开始计算”即可统计输入文本的Token数量。 图1 Token计算器 预置模型和已经部署的模型可以使用Token计算器。 父主题: 平台资源管理
为什么微调后的模型,回答中会出现乱码 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。
为什么微调后的模型,回答会异常中断 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大
盘古应用开发SDK使用前准备 使用盘古大模型应用开发SDK时,需要在代码中配置以下信息,请提前收集。 表1 配置项说明及获取方式 类型 资源 是否必选 相关配置项 说明 配置项值获取方式 IAM认证 - 是 sdk.iam.url Token认证调用URL。 示例:POST ht
为什么微调后的模型,回答总是在重复某一句或某几句话 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“话题重复度控制”或“
为什么微调后的模型,评估结果很好,但实际场景表现却很差 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场景
采用INT8的压缩方式,INT8量化可以显著减小模型的存储大小与降低功耗,并提高计算速度。 模型经过量化压缩后,不支持评估操作,但可以进行部署操作。 创建模型压缩任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型压缩”。 单击界面右上角“创建压缩任务”,进入创建压缩任务页面。
为什么微调后的模型,只能回答在训练样本中学过的问题 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘
为什么微调后的模型,输入与训练样本相似的问题,回答与训练样本完全不同 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来
模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中,训练配置选择LLM(大语言模型),训练类型选择自监督训练,根据所选模型配置训练参数。 表1 自监督训练参数说明 参数名称 说明 模型类型