检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 用户个人创建的数据集是属于个人账号下的专属数据,未经本人许可不会被其他人员查看到,且不会被其他用户在大模型训练时调用。 父主题: AI原生应用引擎
础;微调数据集是模型微调的基础,通过在微调数据集上进行训练,您可以获得改进后的新模型以适应特定任务。 模型管理 支持通过API接入模型服务,同时支持将平台预置模型进行微调后,部署为模型服务,为检验模型的准确性及反应效果,您可以通过调测模型能力进行体验调测,确保模型能够在实际应用中正常运行。
True 模型服务调用唯一id字段。平台定义了3种模型服务: 平台预置模型服务 登录AI原生应用引擎,在左侧导航栏选择”资产中心“,选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 > 我
工作流的返回是json格式,但是大模型会进行总结,如何以json格式直接输出? 创建Agent配置工作流时,支持选择模式,选择为“总结模式”时,大模型会对工作流的输出进行总结;选择为“精确模式”时大模型不会总结,直接返回工作流的输出,如图1所示,具体介绍请参见创建并发布Agent。
应用指标摸板库生成指标运行失败 问题描述 应用指标摸板库生成指标时,提示运行失败。 处理方法 检查选择的数据源和应用的模型是否匹配。模型对选择的数据是有要求的,数据源和模型之间不匹配,将导致指标运行失败。 父主题: 运营中心
是否必填项 说明 模型服务调用ID 是 需要调用的大模型。 对于资产中心预置的模型,在资产中心选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 对于我的模型(我部署的、我接入的)和我的路由策略,需要填写模型服务调用ID,请单击“获取模型服务调用ID”,进入
和推理方向。 大语言模型 大语言模型是一种能够理解和生成人类语言的人工智能模型。这些模型通常使用大量的数据进行训练,以便它们能够识别语言中的模式和规律。大语言模型的应用范围非常广泛,包括自然语言处理、机器翻译、语音识别、智能问答等领域。 向量化模型 向量化模型是将文本数据转换为数
单击输入框右侧的“引用模板”选择我创建的、我收藏的或平台预置的提示语模板。 推理模型 将提示语应用于我创建的、平台预置的或第三方模型服务中,预览推理结果。 选择推理模型后,可配置推理模型的相关参数,如表3所示。 表3 推理模型参数配置说明 参数名称 参数说明 最大token数 影响推理返回内容的最大长度,取值范围:1-10000。
应用示例 与文本对话模型进行交互 场景描述 提供用户与模型进行对话的能力,用户将文本内容写入到content中,选择填写合适的文本对话模型,与模型进行交互。其中环境变量WISEAGENT_API_KEY填写AI原生应用引擎的平台API KEY,该值用于鉴权,为必填。返回结果存在r
、测试模型服务时需要调用ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优,按需计费模式能大幅降低客户的业务成本。 适用计费项 AI原生应用引擎的以下计费项支持按需计费。 表1 适用计费项 计费项 说明 ChatGLM3-6B大模型服务API在线调用
更倾向于生成较少见的单词。 方式二:单击由系统智能生成模型。 说明: 模型服务商API在调用前需要配置认证鉴权,具体介绍请参见如何对平台接入的第三方模型服务设置鉴权。 如果要选择“我接入的”模型API作为思考模型,需要在模型服务描述中填写“SupportFunctionCall,
单击输入框右侧的“引用模板”选择我创建的、我收藏的或平台预置的提示语模板。 推理模型 将提示语应用于我创建的、平台预置的或第三方模型服务中,预览推理结果。 选择推理模型后,可配置推理模型的相关参数,如表2所示。 表2 推理模型参数配置说明 参数名称 参数说明 最大token数 影响推理返回内容的最大长度,取值范围:1-10000。
应用/服务 告警所属的服务,不选则默认展示用户拥有权限下的所有告警。 告警级别 告警上报时所带的level字段。 显示模式 显示模式分为三种,告警收敛、原始告警和仅收敛告警。默认显示告警收敛。 告警收敛:展示已收敛的告警和未收敛的告警。当告警被收敛后,可以单击收敛告警“操作”列的“详情”,查看并处理收敛的子告警。
load 问题现象 judge日志中出现ERROR - fail to load错误提示,如下图 可能原因 日志中提示加载模型失败,可能是因为容器在启动时加载模型失败。 解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”,重启judge,重新启动容器后观察是否恢复正常。
SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,帮助开发者快速构建大模型应用。 表1 模块说明 序号 模块 功能 1 HttpxClient 负责发送HTTP请求的基类。 2 ModelRouter 负责模型调用,包括文本对话、文本向量化等模型。
AI原生应用引擎使用流程 AI原生应用引擎是企业专属的一站式大模型开发及应用构建平台,其核心是将自创建或平台预置的模型服务、工具、工作流及知识库等编排成具有一定智能性和自主性的Agent。本章节梳理了AI原生应用引擎使用流程,可帮助您快速了解AI原生应用引擎的核心功能。 图1 AI原生应用引擎使用流程
配置并管理告警 创建告警定义规则 创建过滤器 创建告警屏蔽规则 创建告警收敛规则 创建告警标记规则 创建告警升级规则 创建告警修复规则 模拟测试告警 配置告警通知 查看并处理告警 父主题: 监控资源和应用
txt”的文档,文档内容为: “什么是量子计算?它是一种利用量子力学原理进行信息处理的计算方式。==== 什么是RAG?它是一种通过整合检索系统和生成模型的优势,来提升模型生成文本的质量和上下文相关性。====” 操作流程 步骤一:创建数据集。 步骤二:查询知识数据集创建结果。 步骤三:查询数据集版本和索引信息。
下载AI原生应用引擎SDK AI原生应用引擎面向开发者提供了一套搭建原生应用的Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,快速构建大模型应用。 用户可以通过AI原生应用引擎平台下载SDK,同时对SDK完整性进行校验以确保获取的
可以指定对某些维度组合对应的指标进行告警,或过滤某些维度。 步骤四:配置训练模型 在异常检测任务列表,单击任务所在行“操作”列的“模型”。 在模型配置页面,单击主模型后的添加模型,如图1所示,可添加多个模型。 添加后,默认现在该模型“算法配置”页签。 图1 添加模型 在“算法配置”页签,配置算法参数,具体参数如表6所示,配置完成后单击“确定”。