检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
gap镜像。 npu驱动和固件安装。 执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息,说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令,查看是否有回显网卡信息。如果有,则说明网卡已经配置,否则继续操作下面步骤。 cat
提供从模型创建到部署的一站式解决方案。 该工具链具备模型训练、部署、推理等功能,通过高效的推理性能和跨平台迁移工具,模型开发工具链能够保障模型在不同环境中的高效应用。 支持区域: 西南-贵阳一 开发盘古NLP大模型 开发盘古科学计算大模型 压缩盘古大模型 部署盘古大模型 调用盘古大模型
登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。 图2 任务详情 评估报告: 任务状
大模型是否可以自定义人设 大模型支持设置人设,在用户调用对话问答(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。例如,以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,根据实际情况调整训练参数,帮助模型更好学习。
训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 推理参数设置:请检查推理参数中的“温度”或“核采样”等参数的设置,适当减小其中一个参数的值,可以提升模型回答的确定性,避免生成异常内容。
为什么微调后的模型,回答会异常中断 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成
为什么微调后的模型,只能回答在训练样本中学过的问题 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型
当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而
练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链。 盘古大模型为开发者提供了一种简单高效的方式来开发和部署大模型。通过数据工程、模型开发和应用开发等功能套件,帮助开发者充分发挥盘
当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以提升模型回答的多样性。
在左侧导航栏中选择“数据工程 > 数据清洗”,单击界面右上角“创建任务”。 图1 数据清洗 依据需要清洗的数据类型,选择对应的数据集和数据集版本,输出路径,设置名称、描述等信息为可选项。 输出路径默认为系统生成,您也可以自定义输出路径,当前支持覆盖和追加两种方式。 覆盖:清洗后数据覆盖和替换原有数据集内容。
在创建数据集弹出框中选择“创建一个训练数据集”,单击“创建”。 图2 创建训练数据集 进入训练数据集页面后,需要进行训练配置、数据配置和基本配置。 训练配置 选择模型类型、训练类型以及基础模型。 数据配置 选择训练数据集和配比类型,设置训练数据集配比,详情请参考数据配比功能介绍。 在训练数据集配比完成后,在单击“创建
签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。 父主题: 安全
权限管理 如果您需要为企业员工设置不同的访问权限,以实现对华为云上购买的盘古大模型资源的权限隔离,可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,可以跳过本章节,不影响您使用服务的其他功能。
用户可以在页面右侧进行参数设置,然后在输入框中输入问题,模型就会返回对应的答案内容,具体参数信息见表1。 图1 体验预置模型功能 表1 能力调测参数信息表 参数名称 描述 温度 控制语言模型输出的随机性与创造性。温度设置越低,输出更可预测;温度设置越高,输出种类更多,更不可预测。
用户可以在页面右侧进行参数设置,然后在输入框中输入问题,模型就会返回对应的答案内容,具体参数信息见表1。 图1 体验预置模型功能 表1 能力调测参数信息表 参数名称 描述 温度 控制语言模型输出的随机性与创造性。温度设置越低,输出更可预测;温度设置越高,输出种类更多,更不可预测。
结构化信息,可以将有监督的问题设置为“请根据标题xxx/关键性xxx/简介xxx,生成一段不少于xx个字的文本。”,将回答设置为符合要求的段落。 续写:根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息,可以将有监督的问题设置为“以下是一篇文章的第一个句子
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思