检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台资产中心的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。 由于在线运行需消耗资源,请确保账户有可用资源,且用户费用状态正常。 需要具备AI原生应用
打包规范 软件包 应用软件包,一般用于虚拟机部署,包括软件包(虚拟机部署使用)、测试用例包、函数包(函数部署使用)。 使用开发中心推包/上传软件包 在IaC代码中定义需要使用的软件包,通过IaC变更完成应用部署。 软件包 部署包 用户部署虚拟机时使用的脚本包(playbook文件)。
d封装一个或多个容器、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 Node Node是一个执行具体工作的机器,可以是虚拟机或者物理机。Pod是部署在Node节点上的,如果Node故障,整个Pod会被调度到集群中的另外可用的Node节点上去。 工作负载 工作负
操作步骤 在华为云控制台,完成如表1所示的资源购买。 表1 资源列表 资源名称 说明 参考文档 CCE集群 购买1个CCE集群。 根据业务需要选择规模,本实践中选择集群规模为50节点。 购买集群 ECS服务器 购买1个ECS服务器,容灾场景下购买2个ECS服务器。 根据业务需要选择规格
下资源的网络连通。 前提条件 已获取基础运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 已创建VPC和子网,具体操作请参见创建虚拟私有云和子网。 已配置服务环境。 约束限制 当前仅部分区域的VPC支持接入AppStage运维中心,包括华北-北京四、华南-广州、华东-上海一、华东-上海二和华北-乌兰察布一
d封装一个或多个容器、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 Node Node是一个执行具体工作的机器,可以是虚拟机或者物理机。Pod是部署在Node节点上的,如果Node故障,整个Pod会被调度到集群中的另外可用的Node节点上去。 集群 将多个服务
选择账号归属的云厂商。 华为公有云账号ID 使用华为云并购买资源时注册的账号的账号ID。 获取方式:在华为云控制台,鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”,在“API凭证”页面查看。 华为公有云账号名称 使用华为云并购买资源时注册的账号的账号名。 获取方式:在华为云控制
准备事项 说明 购买AI原生应用引擎 首次使用需要先购买AI原生应用引擎,具体操作请参见购买AppStage。 为AppStage关联组织 首次购买AppStage后,其账号需创建并关联使用AppStage的组织(仅可关联一个组织),才能使用AppStage服务及后续购买AppSta
入门实践 当您购买AppStage后,可以根据自身的业务需求使用AppStage提供的一系列常用实践。 表1 常用最佳实践 实践 描述 一站式应用开发、应用托管以及应用运维 介绍如何使用应用平台AppStage一站式功能,完成基于应用维度提供的开发、测试、版本发布、托管部署、运维监控的全场景全生命周期管理。
千tokens * 每千tokens单价 推理单元 将基础或者预训练后的模型部署为在线服务时使用的算力单元,通过购买推理单元实现服务QPS扩容。 包年/包月 包年/包月:实例数量*实例单价*购买时长 大模型调用 大模型调用次数。 包年/包月:与“应用并发用户数”一起构成套餐包。 按小、中、大规格计费。
扩展包数量*购买时长 运营中心专业版 支持多类型数据源接入、大数据计算引擎、数十种开箱即用指标模板、自定义运营视图、3个看板|20个指标。 事件量 包年/包月 事件量*套餐包单价*购买时长 运营中心看板增量包 运营中心看板扩展 看板数 包年/包月 看板数量*增量包单价*购买时长 运营中心指标增量包-10个指标
支持变更规格。 事件量 可购买的事件量数量1~10000(十亿)事件量。 运营中心看板增量包 购买运营中心专业版后,根据实际需求购买增量包。 增量包数量 单次可购买的看板增量包数量1~10000个。 运营中心指标增量包-10个指标 购买运营中心专业版后,根据实际需求购买增量包。 此增量包包含10个指标。
使用AppStage运营中心前,需要先准备如表1所示内容。 表1 准备事项 准备事项 说明 购买AppStage运营中心 首次使用需要先购买运营中心专业版,具体操作请参见购买AppStage。 配置服务授权 购买运营中心后,系统将自动识别并弹框提示进行服务授权,同意服务授权后,AppStag
使用AppStage运行时引擎前,需要先准备如表1所示内容。 表1 准备事项 准备事项 说明 购买AppStage运维中心 运行时引擎依赖于运维中心能力,首次使用需要先购买运维中心,具体操作请参见购买AppStage。 配置服务授权 购买运行时引擎后,系统将自动识别并弹框提示进行服务授权,同意服务授权后,
使用AppStage运维中心前,需要先准备如表1所示内容。 表1 准备事项 准备事项 说明 购买AppStage运维中心 首次使用需要先购买运维中心专业版,具体操作请参见购买AppStage。 配置服务授权 购买运维中心后,系统将自动识别并弹框提示进行服务授权,同意服务授权后,AppStag
准备事项 准备事项 说明 购买AppStage开发中心 首次使用需要先购买开发中心专业版,具体操作请参见购买AppStage。 关联组织 首次购买AppStage后,其账号需创建并关联使用AppStage的组织(仅可关联一个组织),才能使用AppStage服务及后续购买AppStage相
准备工作 在执行操作前,需要提前完成如下准备工作,以满足操作的环境要求。 已购买AppStage的开发中心、运维中心 已关联组织 已配置AppStage各中心服务授权 已添加组织的部门/成员信息 已获取组织管理员、项目经理、开发人员、测试人员、服务运维岗位、基础运维岗位或运维管理员权限,权限申请操作请参见申请权限。
将弹性云服务器主机设置为执行机 已纳管的Linux主机可以设置为执行机,执行机将在部署服务虚拟机部署、监控服务日志接入/脚本执行、演练服务执行快速演练任务、负载均衡创建实例、数据库治理纳管实例和数据查询时使用。推荐使用内存2G及以上的主机作为执行机。 前提条件 已获取基础运维岗位
d封装一个或多个容器、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 Node Node是一个执行具体工作的机器,可以是虚拟机或者物理机。Pod是部署在Node节点上的,如果Node故障,整个Pod会被调度到集群中的另外可用的Node节点上去。 工作负载 工作负
为隔离域关联子网 ENS根据隔离域的用途从VPC规划的相应网段中分配子网。比如隔离域的用途为DB,就从隔离域关联的VPC的普通虚拟机网段创建一个子网,用于部署DB。 本章节介绍如何为隔离域关联子网,支持创建子网,或绑定在华为云VPC已创建的子网。 前提条件 已获取服务运维岗位权限