检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
node-type是集群节点类型。其中,worker表示工作节点,controller表示主控节点。 在服务器执行如下命令,判断docker是否安装成功。 systemctl status docker 在服务器执行如下命令,判断edge agent是否安装成功。 hdactl info 配置hda
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于
创建AI助手参数说明 参数分类 参数名称 参数说明 基本信息 助手名称 设置AI助手的名称。 描述 填写AI助手的描述,如填写功能介绍。 指令 通过指令可以设定A助手的行为和响应。如设置AI助手可以扮演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。
学习率设置得过大,使得模型在最优解附近震荡,甚至跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小
话题重复度控制(presence_penalty) -2~2 0 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值,模型倾向于生成新的、未出现过的内容;参数设置负值,倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。 为
结构化信息,可以将有监督的问题设置为“请根据标题xxx/关键性xxx/简介xxx,生成一段不少于xx个字的文本。”,将回答设置为符合要求的段落。 续写:根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息,可以将有监督的问题设置为“以下是一篇文章的第一个句子
embedding(Embeddings.of(Embeddings.CSS)) .indexName("sdk-test-dataset-webqa-10") .build()); // 检索文档; docs = cssVector.similaritySearch(query
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题: 部署盘古大模型
到了宋朝。他身处一座繁华的城市,人们穿着古代的服饰,用着他听不懂的语言交谈。他意识到自己真的穿越了。李晓在宋朝的生活充满了挑战。他必须学习如何使用新的语言,适应新的生活方式。他开始学习宋朝的礼仪,尝试理解这个时代的文化。在宋朝,李晓遇到了许多有趣的人。他遇到了一位名叫赵敏拿来的小
到并复制“X-Subject-Token”参数对应的值,该值即为需要获取的Token。 图4 获取Token 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/SK签名
盘古大模型支持通过对接内容审核,实现拦截大模型输入、输出的有害信息,保障模型调用安全。用户在开通API后,可依据需求选择是否开通、启用内容审核。 父主题: 如何调用REST API
如何调整训练参数,使模型效果最优 模型微调参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响: 目标任务的难度:如果目标任务的难度较低,模型能较容易的学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。
properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。 如果需要自定义配置文件名,可以参考以下代码设置。 // 建议在业务项目入口处配置 // 不需要添加.properties后缀
盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
使用的规范化、严格化、透明化、便结算。”问题:在福田区社会建设专项资金的使用过程中,如何避免因管理不善导致专项资金重大损失浪费?"], "target": "福田区社会建设专项资金使用过程中,如何保障专项资金的使用事项为重点。管理人员应建立责任所在意识,制定科学规范的使用办法,强
模型安全:通过模型动态混淆技术,使模型在运行过程中保持混淆状态,有效防止结构信息和权重信息在被窃取后暴露。 系统安全:通过网络隔离、身份认证和鉴权、Web安全等技术保护大模型系统安全,增强自身防护能力,以抵御外部安全攻击。 父主题: 大模型概念类问题
如何调用REST API 开通API 构造请求 认证鉴权 返回结果
用户可以通过API调用盘古大模型服务的基模型以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时,才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API,仅供测试使用。 前提条件 使用API调用模型前,请先完成盘古大模型服务订购和开通操作。 使用Postman调用API