检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
非流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,大语言模型完整生成回答后一次性返回。 流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,逐个字词的快速返回模式,不需等待大语言模型生成完成。 输出最大token数 表示模型输出的最大token数。 温度
以参考对应的接口规格来实现具体的接口,并将接口配置在开发中心工具链集成页面,实现数据同步集成。 同步集成接口规格 参考如下接口规格实现接口并配置工具链同步集成,可以将开发中心中的数据(租户、产品、服务、微服务、版本)以及版本发布成功信息同步给配置的第三方系统。 同步租户信息 同步产品信息
情页面。 修改关联工具链。 持续规划、持续开发阶段预置的版本活动:单击已关联的工具链卡片,如图1所示,显示“添加工具链”页面,选择工具链,并单击“确定”。 图1 版本活动详情 持续部署发布阶段预置的版本活动:单击关联工具链后的,选择工具链,可选择多个,然后单击“确定”。 仅支持选
在“添加检查项”页面添加检查项。 新建问题:输入TOPN问题和TOPN检查项,如图1所示,然后单击“确定”,新增问题及对应检查项。 关联问题:选择已有的TOPN问题,并输入TOPN检查项,然后单击“确定”,为已有问题关联新的检查项。 图1 添加检查项 更多操作 组织管理员还可以执行如下表1所示的操作。 表1
产品级 该角色只具备在对应产品下的操作权限。 服务级 该角色只具备在对应服务下的操作权限。 角色和权限 租户管理员:购买AppStage并关联组织的账号,为AppStage的租户管理员。租户管理员除了具有购买、变更规格、续费、退订等操作权限,还具有组织管理员的权限。组织管理员的权限请参考表1。
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。
查看资产总览 在资产总览页面可以查看当前租户所在的根部门以及租户下二级子部门的资产(Agent、模型、数据集、提示语、工具及知识库)统计数据,并支持通过各资产面板,筛选查看各子部门资产的创建、收藏及订阅数据。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。
Patch包典型目录结构所示。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 已准备环境并启用,服务环境管理列表显示已启用环境,具体操作请参见为资源接入准备环境。 创建并变更组件 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 部署服务”。
tf文件是一个HCL语法文本描述文件,用于定义需要创建的云服务资源。 上传TF模板包 使用TF模板包创建资源栈,并使用资源栈完成资源部署,具体操作请参见使用TF模板包创建并部署资源。 TF模板包 父主题: AppStage软件仓库全局管理
前提条件 已创建版本。 已获取项目经理、开发人员或测试人员角色权限,权限申请方法请参见申请权限。 发布软件包到运维中心前,需要在运维中心录入并绑定镜像仓,否则会发布失败,具体操作请参见管理SWR。 创建调测发布活动 在开发中心首页下方的“我的团队”区域,选择需要操作的团队卡片,进入该团队空间。
在实例列表页面,单击“创建实例”。 在“选择电子流”窗口中,选择以下任一方式: 运维操作记录选择“关联电子流”,并选择要关联的电子流,单击“提交”。 运维操作记录选择“紧急问题处理”,并填写紧急原因,单击“提交”。 在创建实例页面,配置相关参数,单击“确认”。参数说明如表1所示。 表1 基本信息参数说明
在SLB中创建Action任务 在SLB管理台创建action任务,在部署服务的变更管理中关联并执行任务。 创建节点上下线任务 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“灰度管理 > Action任务”。
在部署服务使用容器部署应用 本章节介绍如何使用容器部署应用。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 已准备环境并启用,服务环境管理列表显示已启用环境,具体操作请参见为资源接入准备环境。 已纳管CCE容器集群,具体操作请参见将资源接入AppStage运维中心。
在实例列表页面,单击“创建实例”。 在“选择电子流”窗口中,选择以下任一方式: 运维操作记录选择“关联电子流”,并选择要关联的电子流,单击“提交”。 运维操作记录选择“紧急问题处理”,并填写紧急原因,单击“提交”。 在创建实例页面,配置相关参数,单击“确认”。参数说明如表1所示。 表1 基本信息参数说明
或视频业务想实时查看SLB、ELB的指标监控,可以通过指标共享的方式获取指标,支持按照标签或指标级进行共享。 BaaS服务数据开发人员创建并共享指标后,服务运维和开发人员在标签查询中可以按标签查询指标的定义,服务无指标编辑权限。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。
多个服务。 前提条件 需要具备AppStage组织管理员角色权限,具体角色权限说明请参考用户角色和权限说明。 创建团队时需绑定团队归属部门并关联服务,因此需要具备AppStage组织管理员权限的用户在AppStage业务控制台提前创建好部门和服务信息。 创建部门具体方法请参见部门管理。
AppStage运营中心概览页介绍 进入AppStage运营中心 登录AppStage。 在快捷入口选择“运营中心”,进入运营中心。 AppStage运营中心概览页介绍 运营中心概览页面分为概览、操作指引两个区域,如图1所示。 图1 概览 概览 概览区域展示指标总数、看板总数、数
业务顺利运行。当前支持变更单与事件单的管理。 变更单 变更单用于无人值守的高度自动化的变更方式。研发在提变更电子流时,指定所使用的代码包,并选定变更任务流,创建变更计划,评估变更的风险影响。电子流提交后,如果存在风险项,则需风险项的审批人审批通过后,电子流才会自动转为变更实施状态。
创建WarRoom事件通知 WarRoom是由运维代表决策,Oncall团队负责操作创建,针对重大故障的一种应急处置的协同机制,创建WarRoom,并选择相关人员进行通知。 在重大故障发生时,需要知会问题处理经验比较丰富的运维、开发和问题相关的外部专家,通过添加通知组功能提前预置。 前提条件
在SLB中创建Action任务 在SLB管理台创建action任务,在部署服务的变更管理中关联并执行任务。 创建节点上下线任务 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“灰度管理 > Action任务”。