检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“能力调测”,单击“文本对话”页签。 选择需要调用的服务。可从“预置服务”或“我的服务”中选择。 填写系统人设。如“你是一个AI助手”,若不填写,将使用系统默认人设。 在页面右侧配置参数,具体参数说明见表1。 表1
“能力调测”功能支持用户直接调用已部署的预置服务,使用步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“能力调测”,进入“文本对话”页签,选择服务与系统人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可
105012 插件request请求超时。 插件请求超时,检查插件服务。 105013 插件返回结果过大。 当前支持10M大小的返回,超过此大小会报错。 105014 插件request proxy error。 请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。
实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。 父主题: 部署预测大模型
实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。 父主题: 部署专业大模型
够满足不同场景的需求。通过灵活的API接口,模型可以无缝集成到各类应用中。 模型调用:在模型部署后,用户可以通过模型调用功能快速访问模型的服务。平台提供了高效的API接口,确保用户能够方便地将模型嵌入到自己的应用中,实现智能对话、文本生成等功能。 父主题: 产品功能
在特定任务上具有更高的准确性:微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力,微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中,可以用特定领域(如电商、保险)的对话数据对预训练模型进行微调,使其更好地理解和回答与该领域相关的问题。 此外,针对微调训练任务,平台提供了两种微调方式:
温度(temperature) 0.9 核采样(top_p) 0.4 话题重复度控制(presence_penalty) 0.3 部署推理服务后,可以采用人工评测的方案来评估模型效果。以下列出该场景中可能遇到的常见问题,评测过程中如出现这些问题,可参考相应的解决方案: 问题一:问