检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持知识库容量,智能应用运行时引擎,开通ChatGLM3-6B服务、大模型调优服务API在线调用。
新建及管理我的卡片 新建卡片分类为卡片分组 使用在线构建方式新建卡片 使用模板构建方式新建卡片 使用离线构建方式新建卡片 管理我的卡片 父主题: 在运营中心自定义运营看板
保留期到期后,如果您仍未支付账户欠款,那么ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优将无法再使用。 图1 按需计费AI原生应用引擎资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
自定义模型训练 API SaaS:大模型微调服务API在线调用-SFT局部调优 说明: 按需仅适用于AppStage的AI原生应用引擎。
在监听详情页面选择“后端服务器”页签,检查该后端服务器集群中的节点是否都在线,如果都下线会报此错误。 父主题: SLB同步异常相关问题
通过微服务平台管理微服务 配置负载均衡 负载均衡(SLB)提供反向代理、负载均衡、路由分发、灰度分流、限流降级、访问控制、监控告警等能力。
Rainbow SDK功能矩阵 功能 Java 支持MySQL/Cassandra/GaussDB/DRDS √ 数据库主备动态切换 √ 读节点发生故障,单线程读重试 √ 基于集中式数据源信息管理和动态变更 √ 基于JDBC规范,很容易扩展支持实现JDBC规范的数据源 √ 应用直连数据库,无代理
自创建的工具:工具是API的代理或容器,用户可以将常用API封装为工具。在创建工具时,需要先将选定的API服务注册为一个工具,然后再添加该服务下的API作为工具的执行动作。具体介绍请参见创建工具。
开源模型chatglm3-6b 平台提供了对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型,首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源,订购后即可进行调测/体验、调用,订购操作请参见购买AppStage。
运维中心功能介绍 弹性网络服务 弹性网络服务(ENS)通过引入“隔离域”这一网络资源概念,将业务使用的底层网络资源进行封装,为具有相同安全保护需求并相互信任的服务提供访问策略的安全分组。当服务器加入到隔离域后,即受到这些访问规则的保护。
步骤三:部署模型 部署模型是将模型部署为在线服务,通过创建部署服务实现,创建成功后,可以对在线服务可以进行预测和调用。本文需要为基座模型(原模型)和微调后的新模型分别创建模型服务。由于在线运行需消耗资源,请确保账户未欠费。
支持区域: 华北-北京四 查看微服务列表 查看数据库列表 查看中间件 负载均衡 负载均衡(SLB)基于Nginx/OpenResty构建,作为业务前置的流量接入网关,提供反向代理、负载均衡、路由分发、灰度分流、限流降级、访问控制、监控告警等能力。
负载均衡 负载均衡(Software/Server Load Balancer,简称SLB)基于Nginx/OpenResty构建,作为业务前置的流量开关,提供反向代理;负载均衡、路由分发、灰度分流、限流降级、访问控制、监控告警等能力。
按需计费资源 对于按需计费模式的资源,例如按需计费的大模型微调服务API在线调用-SFT局部调优,如果不再使用这些资源且需停止计费,请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台,默认进入AppStage控制台“总览”页。
在“在线优化”页面,参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 显示创建时填写的提示语内容。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
查看接入地址详细信息 在接入地址列表中,单击接入地址名称,查看接入地址的详细信息,包括实例详情、被依赖服务、代理服务列表。 父主题: 管理Cloud Map中的服务资源
查看接入地址详细信息 在接入地址列表中,单击接入地址名称,查看接入地址的详细信息,包括实例详情、被依赖服务、代理服务列表。 父主题: 管理Cloud Map中的服务资源
表1 在线优化提示语参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 显示创建时填写的提示语内容。