检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。 表1 路径参数 参数 是否必选 参数类型 描述 task_id 是
GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。 表1 路径参数 参数 是否必选 参数类型 描述 task_id 是
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
创建原始数据集前,请先按照数据集格式要求提前准备数据。如果需要使用OBS服务导入数据,请详见通过控制台快速使用OBS。 在使用OBS服务上传数据时,如果遇到网络报错“NET::ERR_CERT_AUTHORITY_INVALID”,是由于域名未绑定有效的SSL证书,导致HTTPS请求被浏览器拦截。可以通过以下方法进行规避:
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
成功后,会返回任务id参数task_id,可获取任务ID参数值。 在Postman中新建一个GET请求,填入域名(将步骤2中获取的URL去除末尾的“/tasks”即为该域名),设置请求Header参数和任务ID参数。单击Postman界面的“Send”发送请求,以获取科学计算大模型的调用结果。
或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代:部署后的模型需要持续监控其性能,并根据反馈进行定期更新或再训练。随着新数据的加入,模型可能需要进行调整,以保证其在实际应用中的表现稳定。 在应用阶段,除了将模型嵌入到具体业务流程中外,还需要根据业务
使用推理SDK 安装SDK 使用SDK前,需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本,替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据格式:多轮问答场景需要按照指定的数据格式来构造,问题需要拼接上历史所有轮对话的问题和回答。比如,当前是第三轮对话,数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回答以及第三轮的问题,答案字
在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。 在“撰写”页面,选择左侧导航栏中的“候选”。在候选列表中,勾选需要进行横向比对的提示词,并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。
每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。
设置背景及人设 背景: 模型基于简单prompt的生成可能是多范围的各方向发散的,如果您需要进行范围约束,或加强模型对已有信息的理解,可以进行提示:“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”,或者可以说
Studio大模型开发平台。 进入需要修改子用户权限的空间,在空间内单击左侧导航栏“空间管理”,在“角色管理”页签,可以查看各角色名称及其权限的描述。 图10 角色管理 单击进入“成员管理”页签。 单击用户列表操作栏的“编辑”。 勾选需要赋予用户的角色,单击“确认”。 移除盘古子用户 当需要删除空间内某个子用户时,可以按如下步骤操作:
理解底层任务 需要站在模型的角度理解相关任务的真实底层任务,并清晰描述任务要求。 例如,在文档问答任务中,任务本质不是生成,而是抽取任务,需要让模型“从文档中抽取出问题的答案,不能是主观的理解或解释,不能修改原文的任何符号、字词和格式”, 如果使用“请阅读上述文档,并生成以下问题
t_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服务部署区域一致,例如盘古大模型当前部署在“西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
发布文本类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 文本类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。
发布图片类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 图片类数据集支持发布的格式为: 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 自定义格式:文本类数据集可以使用自定义脚本进行数据格式转换。
nal State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
权限管理 如果您需要对华为云上购买的盘古大模型资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可
> 模型部署”页面查看模型的部署状态。 当状态依次显示为“初始化 > 部署中 > 运行中”时,表示模型已成功部署,可以进行调用。 此过程可能需要较长时间,请耐心等待。在此过程中,可单击模型名称可进入详情页,查看模型的部署详情、部署事件、部署日志等信息。 图1 部署详情 父主题: 部署科学计算大模型