检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成的长度,避免生成异常截断。请注意,该参数值存在上限,请结合目标任务的实际需要以及模型支持的长度限制来调整。
推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以提升模型回答的多样性。 数据质量:请检查训练数据中是否存在文本重复的异常数据,可以通过规则进行清洗。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而
图2 获取预置服务的调用路径 使用Postman调用API 在Postman中新建POST请求,并填入模型调用路径,详见获取调用路径。 调用API有两种认证方式,包括Token认证和AppCode认证。其中,AppCode认证的使用场景为当用户部署的API服务期望开放给其他用户
工作流 功能介绍 通过调用创建好的工作流API,输入问题,将得到工作流执行的结果。 URI 获取URI方式请参见请求URI。 POST /v1/{project_id}/agent-run/workflows/{workflow_id}/conversations/{conversation_id}
应用 功能介绍 通过调用创建好的应用API,输入问题,将得到应用执行的结果。 URI 获取URI方式请参见请求URI。 POST /v1/{project_id}/agent-run/agents/{agent_id}/conversations/{conversation_id}
在“创建评测任务”页面,参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。
在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。 在“创建训练任务”页面,参考表1完成训练参数设置。 其中,“训练参数”展示了各场景涉及到的全部参数,请根据具体前端页面展示的参数进行设置。 表1 预测大模型微调参数说明 参数分类 训练参数 说明 训练配置 模型来源 选择“盘古大模型”。
当前支持安全护栏基础版,内置了默认的内容审核规则。 资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。
当前支持安全护栏基础版,内置了默认的内容审核规则。 资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。
当前支持安全护栏基础版,内置了默认的内容审核规则。 资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。
于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 数据
因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合,模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当增大“训练轮次”的值,或根据实际
量信息,候选提示词中关联的变量也会进行展示,候选提示词相关操作请参见设置候选提示词。 同一个提示词工程中,定义的变量不能超过20个。 在“模型”区域,单击“设置”,设置提示词输入的模型和模型参数。 图4 模型设置 父主题: 撰写提示词
当前支持安全护栏基础版,内置了默认的内容审核规则。 资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。
试用盘古大模型功能。 申请试用盘古大模型服务 订购盘古大模型服务 正式使用盘古大模型服务前,需要完成服务的订购操作。 订购盘古大模型服务 配置服务访问授权 为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户
用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后,将生成“原始数据集”被平台统一管理,用于后续加工或发布操作。 创建导入任务 创建导入任务前,请先按照数据集格式要求提前准备数据。 平台支持使用OBS服务导入数据,请详见通过控制台快速使用OBS。 创建导入任务步骤如下:
HTTP请求方法,表示服务正在请求操作类型,包括: GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分
方法请参见API签名指南。 如果之前没有生成过AK/SK,可登录“我的凭证”界面,选择“访问密钥 > 新增访问密钥”来获取。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 AK/SK获取方式请参考获取AK/SK。 父主题: 如何调用REST API
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存
导入数据过程中,为什么无法选中OBS的具体文件进行上传 在数据导入过程中,平台仅支持通过OBS服务导入文件夹类型的数据,而不支持直接导入单个文件。 您需要将文件整理到文件夹中,并选择该文件夹进行上传。 父主题: 大模型使用类问题