检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelRouter ModelRouter提供了AI原生应用引擎模型网关的接口,可以访问AI原生应用引擎上的模型,接口调用类似OpenAI。 导入ModelRouter from wiseagent_dev_sdk_python.modules.models import ModelRouter
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":
操作须知 每个用户最多可添加两个平台API Key。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 创建API Key 在AI原生应用引擎的左侧导航栏选择“凭证管理 > 我的凭证”。 在“我的凭证”页面,选择“平台API
用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 模型API接入之前,请确保符合相对应的接口规范,具体规范要求请参见模型API接入接口规范。 创建接入模型服务 在AI原生应用引擎的左侧导航栏选择“模型中心 > 我的模型服务”,单击“接入模型服务”。
在WiseDBA中查看数据库会话 支持对TaurusDB、GaussDB及RDS(for MySQL)类型数据库会话进行实时展示,按不同维度统计、筛选,并提供紧急情况下批量Kill会话能力。 查看实时会话列表 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发
在SLB中创建流控服务 CPU过载控制OLC(Overload Control)是一种CPU过载调控机制。当CPU过载时,OLC能够对受监控协议报文和任务进行调控,通过不同优先级业务的合理规划和限制报文通过等方式,降低对CPU资源的消耗,并确保设备不会因为某种受监控协议或任务冲击
在WiseDBA中创建Schema 本节介绍如何通过WiseDBA创建Schema。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 创建Schema 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发
版本变更记录 表1 版本变更记录 版本 变更类型 说明 0.0.1 - 第一次发布。 父主题: AI原生应用引擎SDK API
Agent问答的时候没有回答 思考模型没有配置鉴权,或者鉴权失效了,可以通过模型调测功能测试思考模型是否正常,具体操作请参见调测/体验模型。 父主题: AI原生应用引擎
生成模型服务 将已有模型部署为模型服务 接入模型服务 创建路由策略用于提供模型服务 父主题: 管理模型
模型使用指引 操作指引 图1 模型使用操作指引 表1 模型使用流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据
ModelRouter PromptTemplate KnowledgeRetriever ApplicationCenter 父主题: AI原生应用引擎SDK API
GeminiDB(for Cassandra)数据库请选择Keyspace。 选择账号类型 仅TaurusDB和RDS for mySQL支持选择账号类型,其他引擎新增业务账号默认权限为增删改查。 业务写账号(增删改查),默认权限为SELECT、INSERT、DELETE、UPDATE。 业务读账号(只读),默认权限为SELECT。
在SLB中进行降级配置 降级配置是在业务高峰期时,需要临时减少对于目标服务的访问,达到降低目标服务负载;或者屏蔽对于非关键服务的访问,保持本服务的核心处理能力的治理措施。降级执行流程如图1所示。 图1 降级执行流程 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。
在SLB中导出OLC规则的IAC信息 由于OLC规则比较复杂,推荐在SLB管理台上配置好部分规则后导出IAC包,然后在导出的文件基础上进行修改。 使用IAC配置中心规则的功能只支持配置在SLB管理台创建的OLC服务,不支持在Cloud Map管理台创建的OLC服务。 导出IAC信息
复制和迁移SLB配置信息 导出SLB实例的所有信息并在新增实例配置页面快速导入,可以实现配置信息的复制和迁移。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 导出所有信息 导出SLB实例的所有信息,包括SLB节点信息、nginx
I作为工具的执行动作。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 已获取API服务的连接信息以及调用API所需的访问权限和密钥。 创建工具 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的工具”,单击“创建工具”。
在SLB中创建负载均衡实例 负载均衡实例可以接受来自客户端的传入流量并分配给后端服务器。本章介绍如何创建负载均衡实例。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 创建自管理模式的SLB实例,指的是将公有云ECS作为SLB主机
在SLB中配置nginx.conf nginx.conf是Nginx的主配置文件,本文介绍通过管理台配置nginx.conf。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 配置nginx.conf 进入AppStage运维中心。
在SLB中配置内网段 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 配置内网段 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“实例管理”。 在实例列表中单击实例名称,进入实例详情页面。