检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开场白和推荐问题 配置开场白和推荐问题的步骤如下: 在“高级配置 > 开场白和推荐问题”中,可输入自定义开场白,也可单击“智能添加”。 在推荐问中单击“添加”,可增加推荐问数量。添加后可在右侧“预览调试”中查看相应效果。 最多可以添加3个推荐问。 图1 预览调试查看开场白与推荐问效果
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(/chat/completions)
gent开发平台。 单击左侧导航栏“工作台”,在“插件”页签,单击右上角“创建插件”。 配置插件的基本信息,输入插件名称和插件描述等信息。配置完成后,单击“下一步”。 输入插件名称后,支持手动上传插件的头像。 表1 插件基本信息表 参数名称 说明 插件名称 待创建插件的名称。 名称必须以中文或者英文开头。
单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提供了可视化界面,可额外查看响应时长以及安全护栏拦截次数。 父主题: 调用NLP大模型
t_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服务部署区域一致,例如盘古大模型当前部署在“西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
待统计Token数的字符串。List长度必须为奇数。 with_prompt 否 Boolean 是否仅统计输入字符的Token数 true:仅统计输入字符串的Token数; false:统计输入字符串和推理过程产生字符的总Token数。 响应参数 表4 响应Body参数 参数 参数类型 描述
权限管理 如果您需要对华为云上购买的盘古大模型资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。
应用。单击应用右上侧的“调试详情”,进入调试详情页面。 在调试详情页面,单击,选择需要查看的信息。 单击“日志概览”页签。 可以查看到该次执行的整体情况,包括执行状态、开始/结束时间、运行时长和输入/输出。 单击“节点详情”页签。 可以查看到该次执行的主要组件耗时时长和占比情况,
导入数据过程中,为什么无法选中OBS的具体文件进行上传 在数据导入过程中,平台仅支持通过OBS服务导入文件夹类型的数据,而不支持直接导入单个文件。 您需要将文件整理到文件夹中,并选择该文件夹进行上传。 父主题: 大模型使用类问题
Studio大模型开发平台,在“空间资产 > 模型”页面,单击右上角的“导入模型”。 在“导入模型”页面,模型来源选择“盘古大模型”。输入模型对应的obs地址和模型名称、选择资源类型、输入资产描述并设置资产可见性后,单击“确定”,启动导入模型任务。 图4 导入模型 父主题: 管理盘古大模型空间资产
为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或
为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场
海洋生态智能预测”、“全球中期海量智能预测”。 全球中期天气要素预测模型可以选择1个或者多个模型进行部署。 如果使用全球中期降水预测模型,需要选择1个平台预置好的全球中期降水预测模型,并选择对应的全球中期天气要素预测模型。并且至少有一个中期天气要素模型时间分辨率要小于等于降水模型时间分辨率。
通用”页签,单击“创意活动方案生成”进入该应用。 图1 “创意活动方案生成”应用 如图2,在应用页面,输入所需的活动主题与活动描述,单击“创作”。 图2 活动主题与描述 该预置应用将根据所输入的主题与描述,在“结果生成”中生成相应的创意活动方案。 图3 创意活动方案生成结果
开发盘古大模型Agent应用 盘古应用开发SDK 能力调测 盘古大模型提供了便捷的“能力调测”功能,用户可以体验平台预置的多种模型功能,如文本对话功能。 只需在输入框中输入问题,模型便会自动返回对应的答案内容。平台还允许用户实时调整参数,以便更好地满足您的需求。 支持区域: 西南-贵阳一 使用能力调测与盘古NLP大模型进行对话问答
用于存放模型推理结果的OBS路径。 输入数据 支持选择用于存放作为初始场数据的文件路径。 预报天数 支持选择以起报时间点为开始,对天气要素或降水进行预报的天数,范围为1~14天。 起报时间 支持选择多个起报时间作为推理作业的开始时间,每个起报时间需为输入数据中存在的时间点。 表面变量
Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。 登录ModelArts Studio大模型开发平台首页。 配置OBS访问授权。 方式1:在首页顶部单击“此
Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要包含一个签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access
Pangu-NLP-N2-Base-20241030 - 此版本是2024年10月发布的百亿级模型版本,支持模型增量预训练。基于Snt9B3卡支持32卡起训,预训练后的模型版本需要通过SFT之后,才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 此版本是2024年10月发布的百