检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{
HttpxClient 实例化 表1 实例化参数 参数名 参数类型 是否必选 参数描述 base_url str False 模型网关开放的ip和端口,有默认值可以不填。功能类似OpenAI的base_url。 custom_hearders dict False 其他自定义请求头信息
PromptTemplate 导入PromptTemplate from wiseagent_dev_sdk_python.modules.prompt import PromptTemplate PromptTemplate提供了提示语编写与组装的能力,目前支持f-string和
ModelRouter 导入ModelRouter from wiseagent_dev_sdk_python.modules.models import ModelRouter ModelRouter提供了AI原生应用引擎模型网关的接口,可以访问AI原生应用引擎上的模型,接口调用类似
创建知识数据集 知识数据集是构建和组成知识库的重要元素。知识库是一个组织、存储及管理知识的系统,包括文档、数据库、图表、表格等多种形式的信息的分类、整理和归纳,可以帮助用户组织和管理大量的信息,以便快速访问和使用。 前提条件 通过OBS(对象存储服务)接入数据时,操作账号需获得OBS
配置服务环境 使用AppStage运维中心前需要先准备环境并为服务关联区域、账号和企业项目。 如果华为云资源管理账号与AppStage的开租账号不同,可以将华为云账号录入AppStage,具体请参见录入华为公有云账号。 前提条件 已获取基础运维角色岗位或运维管理员权限,权限申请操作请参见申请权限
灰度服务配置 本章介绍通过IaC进行灰度服务配置的管理,包括灰度规则的管理及灰度阶段切换。对应的资源类型为WiseCloud::LoadBalancer::GrayConfig。 表1 灰度服务类型说明 灰度路由引擎 对应ruleType SLB(>1.3.11) SLB 微服务
KnowledgeRetriever 导入KnowledgeRetriever from wiseagent_dev_sdk_python.modules.knowledge_db import KnowledgeRetriever KnowledgeRetriever提供了知识库检索的能力
test nginx: nginx: [alert] mmap(MAP_ANON|MAP_SHARED, 524288000) failed (12: Cannot allocate memory) nginx: [alert] munmap(FFFFFFFFFFFFFFFF, 524288000
对创建的提示语进行优化 提示语优化是针对提示语进行结构、排版、内容等维度进行优化和改进,将大模型的输入限定在了一个特定的范围之中,进而更好地控制模型的输出。通过提供清晰和具体的指令,引导模型输出并生成高相关、高准确且高质量的文本对答内容,属于自然语言处理领域突破的重要技术,可以提升用户的使用体验和效率
ApplicationCenter 导入KnowledgeRetriever from wiseagent_dev_sdk_python.modules.tools import ApplicationCenter ApplicationCenter提供了开发者调用部署在平台的应用的能力
收藏平台资产中心的模型 支持收藏平台资产中心预置的模型和服务商提供的模型。将自己关注的或后续计划使用的模型收藏后,可便捷地在收藏列表中进行部署、微调、体验。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 收藏平台资产中心的模型
新增平台API Key API Key是每个用户单独的身份认证,是个人调用应用接口的依据,必须妥善保管。租户开发的Agent在调用平台接口时需要进行平台鉴权认证,可以使用“平台API Key”进行平台的鉴权认证。 背景信息 对于华为或者第三方运营的商业化模型服务,支持通过API接入到
管理资产中心预置提示语 提示语是给大模型的指令,它可以是一个问题、一段文字描述,也可以是带有一系列参数的文字描述。 AI原生应用引擎资产中心预置了多款提示语模板,这些模板是基于大量应用场景下的经验或者训练语料而总结出一些优质的提示语组成结构,将其抽离成为一种模板,支持测试、一键快速复制及收藏等
基于微调数据集进行模型微调 创建微调数据集 对微调数据集进行数据标注 创建模型微调任务 父主题: 管理模型
[Service proxy.apply_sudo._wrapped_f]: fail to operator sudo,message: send request fail, status code: 400, error: None, message: illegal param
新增AK/SK访问密钥 AK/SK访问密钥是每个用户单独的身份认证,是个人调用应用接口的依据,必须妥善保管。租户创建Agent在调用平台接口时需要进行平台鉴权认证,可以使用“AK/SK访问密钥”进行平台的鉴权认证。 前提条件 需要具备AI原生应用引擎管理员权限,权限申请操作请参见AppStage
配置服务环境 录入其他华为账号进行资源统一管理 为资源接入准备环境 将企业项目录入运维中心
在微服务平台管理微服务 在微服务平台查看微服务列表 在微服务平台查看微服务配置详情 在微服务平台查看微服务部署记录 在微服务平台查看微服务部署日志 在微服务平台变更微服务配置 在微服务平台重新部署微服务 在微服务平台回退微服务版本 在微服务平台查看K8S事件 在微服务平台查看微服务实例列表
工作流基础节点说明 LLM 知识库 变量V2 控制 Code代码 结束 父主题: 管理工作流