检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
形式,同时在tar包同层级目录放置package.json内容,和tar包一起,再打出zip包格式。 容器镜像地址分为四个部分:镜像仓库、组织、镜像名、镜像tag,一个完整的容器镜像地址如图1所示。 图1 镜像地址 父主题: 打包规范
运行时引擎负载均衡功能介绍 负载均衡(Software/Server Load Balancer,SLB)基于Nginx/OpenResty构建,作为业务前置的流量接入网关,提供反向代理、负载均衡、路由分发、灰度分流、限流降级、访问控制、监控告警等能力。 SLB组件介绍 SLB组件间的关系如图1所示。
步骤二:通过IaC发布敏感配置 业务使用Runtime部署并按照IaC规范配置敏感配置项之后,在部署时Runtime会从STS管理台拉取加密配置项,注入到容器的环境变量中,并通过配置渲染工具将敏感配置渲染到业务的配置文件中。 在IaC脚本中的业务配置项配置文件中指定敏感配置项坐标。 此处以在config_records
配置运行时引擎数据库治理 运行时引擎数据库治理功能介绍 在WiseDBA中纳管和管理数据库实例 在WiseDBA中创建和管理Schema 在WiseDBA中新增和管理数据库账号 新增数据库SDK配置并注册到Cloud Map 在WiseDBA中执行SQL变更 在WiseDBA中执行SQL查询及表结构查询
AppStage运行时引擎使用前准备 使用AppStage运行时引擎前,需要先准备如表1所示内容。 表1 准备事项 准备事项 说明 购买AppStage运维中心 运行时引擎依赖于运维中心能力,首次使用需要先购买运维中心,具体操作请参见购买AppStage。 配置服务授权 购买运行时引擎后,系统
使用部署包创建模板,根据模板创建虚拟机部署的变更任务,实现使用部署脚本完成软件的自动化部署。 部署包 镜像包 用户容器部署时使用的Docker的容器镜像包。 使用开发中心推包 在IaC代码中定义需要使用的镜像包,通过IaC变更完成容器化部署。 镜像包 SQL包 执行SQL变更的DDL、DML数据库脚本。 使用开发中心推包/上传SQL包
模型调用统计页面展示当前租户所在的根部门以及租户下二级子部门的模型调用情况。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。 查看模型调用统计 在AI原生应用引擎的左侧导航栏选择“运营看板 > 模型调用统计”。 在模型调用统计页面,默认展示当前租
产面板,筛选查看各子部门资产的创建、收藏及订阅数据。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。 查看资产总览 在AI原生应用引擎的左侧导航栏选择“运营看板 > 资产总览”,资产总览页面如图1所示。 图1 资产总览 表1
thon.modules.models import ModelRouter ModelRouter提供了AI原生应用引擎模型网关的接口,可以访问AI原生应用引擎上的模型,接口调用类似OpenAI。 实例化 表1 实例化参数 参数名 参数类型 是否必选 参数描述 base_url
ModelRouter PromptTemplate KnowledgeRetriever ApplicationCenter 父主题: AI原生应用引擎SDK API
AI原生应用引擎支持所有数据集进行数据标注吗? 进行标注的数据集必须同时满足用途为“模型训练”、任务领域为“自然语言处理”、任务子领域为“文本生成”、数据集格式为“对话文本”四个条件。 父主题: AI原生应用引擎
AI原生应用引擎计费项 计费说明 AI原生应用引擎根据购买的套餐包计费或按需计费。具体内容如表1所示。 表1 AI原生应用引擎计费项说明 计费项 计费项说明 适用的计费模式 计费公式 ChatGLM3-6B大模型服务API在线调用 根据实际输入和输出tokens总量计费,平台提供算力支持。
Agent调用统计页面展示当前租户所在的根部门以及租户下二级子部门的Agent调用情况。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。 查看模型调用统计 在AI原生应用引擎的左侧导航栏选择“运营看板 > Agent调用统计”。 在Agent调用统计页面,默
快速开始 安装AI原生应用引擎SDK 执行如下命令,快速安装。 pip install huawei_wiseagent_dev_sdk_python-{version}-py3-none-any.whl 若已经安装过最新版本SDK,可以忽略此步骤。 将${version}替换成实际所使用的SDK版本。
在实际应用中的效果。 本文以AI原生应用引擎预置的baichuan-13B为基座模型,通过微调提升模型的数据分析和指标计算能力,帮助您快速掌握使用AI原生应用引擎完成模型调优并测试效果。 使用流程 通过图1您可以了解如何在AI原生应用引擎创建数据集、创建微调任务、部署推理模型以及在线测试模型效果。
默认进入“虚拟机作业清单”页签查看虚拟机作业清单,也可以单击“容器作业清单”,进入“容器作业清单”页签查看容器作业清单。 在列表中可以查看作业的执行状态、耗时等信息。也可以单击“执行详情”,查看作业执行详情。 更多操作 您还可以进行以下操作。 表1 相关操作 操作名称 操作步骤 查看作业执行详情
"my-rerank-model", "query": "请问AI原生应用引擎提供了什么能力?", "docs": ["AI原生应用引擎提供了应用开发、模型网关等能力。", "AI原生应用引擎正在逐步完善、提高竞争力。"], "top_n": 3 } 响应体参数
在SLB中创建和管理监听 (可选)录入HTTPS监听所需的服务器证书 在SLB中创建监听 将监听配置同步到SLB节点 在SLB中配置监听共享 父主题: 配置运行时引擎负载均衡
AI原生应用引擎 我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 模型微调任务一直在等待中是什么原因? AI原生应用引擎支持所有数据集进行数据标注吗? 更多 开发中心 如何申请组织管理员权限? 团队无法关联某个服务是什么原因? 更多 运行时引擎 如何修改容器启动入口? 如何往容器中拷贝文件或拷出文件?
在SLB中创建和管理灰度服务 在SLB中创建灰度服务 在SLB中初始配置灰度服务 在SLB中管理灰度状态 在SLB中创建Action任务 父主题: 配置运行时引擎负载均衡