检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
query-string 查询参数,可选,查询参数前面需要带一个“?”,形式为“参数名=参数取值”。 获取请求URI的步骤详见请求URI,示例如下: https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions
性。 模型压缩:在模型部署前,进行模型压缩是提升推理性能的关键步骤。通过压缩模型,能够有效减少推理过程中的显存占用,节省推理资源,同时提高计算速度。当前,平台支持对NLP大模型进行压缩。 模型部署:平台提供了一键式模型部署功能,用户可以轻松将训练好的模型部署到云端或本地环境中。平
压缩功能。 推理资源:推理单元可用于NLP、CV、专业大模型的模型推理功能, 模型实例可用于预测、科学计算大模型的模型推理功能。 具体订购步骤如下: 使用主账户登录ModelArts Studio大模型开发平台,单击“立即订购”进入“订购”页面。 在“开发场景”中勾选需要订购的大
对于无样本的任务,可以采用让模型分步思考的方法来分解复杂推理或数学任务,在问题的结尾可以加上“分步骤解决问题”或者“让我们一步一步地思考”,以引导大模型进行逐步的推理和解答。 通过上述指令,将一个推理任务拆解分步骤进行,可以降低推理任务的难度并可以增强答案可解释性。另外,相比直接输出答案,分步解
对预置的模型资产执行以下操作: 查看模型历史版本。在“版本列表”页面,可查看模型的各个版本。 训练、压缩、部署操作。在“版本列表”页面,可对不同版本模型执行训练、压缩或部署操作。单击相应按钮,将跳转至相关操作页面。 查看操作记录。在“操作记录”页面,可查看当前模型的操作记录。 单
{"context":["你好,请介绍自己"],"target":"我是盘古大模型"} 创建文本类数据集流通任务 创建文本类数据集流通任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布
在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服务部署区域一致,例如盘古大模型当前部署在“西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
专家经验进行算法参数调优,最后才能上线应用。基于ModelArts Studio平台开发工作流,将数据标注、模型训练、部署上线等繁杂的流程固化为一个流水线的步骤。通过大模型的能力,即使只有少量样本,也可以达到良好的模型泛化性和鲁棒性,解决碎片化AI需求的问题。 钢铁 将预测大模型
部署CV大模型 创建CV大模型部署任务 查看CV大模型部署任务详情 管理CV大模型部署任务 父主题: 开发盘古CV大模型
部署预测大模型 创建预测大模型部署任务 查看预测大模型部署任务详情 管理预测大模型部署任务 父主题: 开发盘古预测大模型
部署专业大模型 创建专业大模型部署任务 查看专业大模型部署任务详情 管理专业大模型部署任务 父主题: 开发盘古专业大模型
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题: 开发盘古NLP大模型
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题: 开发盘古科学计算大模型
调用说明 盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
通用质量评估 针对文本进行通用质量的评估,例如流畅度、清晰度、丰富度等。 说明: 使用该清洗算子前,请确保有已部署的NLP大模型,具体步骤详见创建NLP大模型部署任务。 父主题: 数据集清洗算子介绍
特点且可以引导观众购买。 微调数据清洗: 下表中列举了本场景常见的数据质量问题以及相应的清洗策略,供您参考: 表1 微调数据清洗步骤 数据问题 清洗步骤与手段 清洗前 清洗后 问题一:数据中存在超链接、异常符号等。 删除数据中的异常字符。 {"context":"轻便折叠户外椅,
最小值:1 最大值:不同模型支持的token长度,请参见《产品介绍》“模型能力与规格 > 盘古NLP大模型能力与规格”章节。 缺省值:默认部署时token长度最大值,请参见《产品介绍》“模型能力与规格 > 盘古NLP大模型能力与规格”章节。 说明: token是指模型处理和生成文
盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com
用户提出的问题,作为运行工作流的输入,与工作流开始节点输入参数对应。 plugin_configs 否 List<PluginConfig> 插件配置,当工作流有配置用户自定义插件节点时,可能需要配置鉴权信息等,具体结构定义详见表4。 表4 PluginConfig参数 参数 是否必选 参数类型 描述 plugin_id
基于rouge-score值(https://pypi.org/project/rouge-score/)进行问答对的过滤。 下表列举了该场景常见的数据质量问题,以及相对应的清洗策略,供您参考: 表1 微调数据问题与清洗策略 序号 数据问题 清洗步骤与方式 1 问题或回答中带有不需要的特定格式内容或者时间戳等。