检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。 图3 部署后的模型调用路径 若调用预置模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“预置服务”页签,模型列表单击“调用路径”,获取该模型的部署ID。
为什么在微调后的盘古大模型中输入训练样本问题,回答完全不同 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的
为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制
在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。 单击右上角“修改部署”,进入“修改部署”页面。 在“可修改配置”中,可修改已部署模型的描述信息。 在“升级配置”中,选择以下两种升级模式: 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本
导入数据过程中,为什么无法选中OBS的具体文件进行上传 在数据导入过程中,平台仅支持通过OBS服务导入文件夹类型的数据,而不支持直接导入单个文件。 您需要将文件整理到文件夹中,并选择该文件夹进行上传。 父主题: 大模型使用类问题
在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。 单击右上角“修改部署”,进入“修改部署”页面。 在“可修改配置”中,可修改已部署模型的描述信息。 在“升级配置”中,选择以下两种升级模式: 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本
在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。 单击右上角“修改部署”,进入“修改部署”页面。 在“可修改配置”中,可修改已部署模型的描述信息。 在“升级配置”中,选择以下两种升级模式: 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本
表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 最大TOKEN长度 模型可最大请求的上下文TOKEN数。 安全护栏 选择模式
在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。 单击右上角“修改部署”,进入“修改部署”页面。 在“可修改配置”中,可修改已部署模型的描述信息。 在“升级配置”中,选择以下两种升级模式: 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本
当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等待。 可单击模型名称可进入详情页,查看模型的部署详情、部署事件、部署日志等信息。 图1 部署详情 父主题: 部署NLP大模型
如何利用提示词提高大模型在难度较高推理任务中的准确率 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程,可以使其在推理任务中得到更高的准确性,尤其是在涉及多步推理和复杂逻辑关系的任务中。 具体做法如下:
在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。 单击右上角“修改部署”,进入“修改部署”页面。 在“可修改配置”中,可修改已部署模型的描述信息。 在“升级配置”中,选择以下两种升级模式: 全量升级:新旧版本服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本
表1 CV大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“CV大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版,内置了默认的内容审核规则。
表1 预测大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“预测大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版,内置了默认的内容审核规则。
查看预测大模型部署任务详情 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建预测大模型部署任务后,可以查看模型的部署状态。
查看CV大模型部署任务详情 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建CV大模型部署任务后,可以查看模型的部署状态。
全球中期天气要素预测模型可以选择1个或者多个模型进行部署。 部署模型 在“从资产选模型”选择所需模型。 部署方式 选择“云上部署”。 作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择 “OBS”表示将输出结果存储在OBS中。 作业配置参数 设置模型部署参数信息,平台已给出默认值。
获取模型部署ID 模型部署ID获取步骤如下: 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。 图1
型的部署状态。 当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等待。 可单击模型名称可进入详情页,查看模型的部署详情、部署事件、部署日志等信息。 图1 部署详情 父主题: 部署科学计算大模型
查看专业大模型部署任务详情 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,完成创建专业大模型部署任务后,可以查看模型的部署状态。