检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源
创建路由策略用于提供模型服务 通过配置路由策略,可以实现模型故障自动切换能力,当模型A因故障等原因无法正常工作时,可以自动切换为另一个可用的模型提供服务,从而提高模型服务的稳定性和可用性。 路由策略创建完成后,可以进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。
表1 健康检查参数说明 参数 说明 集群名称 展示后端服务器集群名称,检查的是后端服务集群里的机器。 域名 输入健康检查的请求域名。 检查路径 检查路径存在,采取的是http/https形式。
服务内部微服务之间 通过Cloud Map SDK注册机器IP,并维持心跳。 通过Cloud Map SDK发现。 数据库 通过IaC申请数据库,数据库管理台自动注册。 通过中间件SDK访问。 接口类型服务 使用方通过IaC注册地址。 通过Cloud Map SDK发现。
接入CES指标并生成业务报表 AppStage运维中心监控服务支持采集CES收集的监控指标数据,并且可以快速创建指标及业务报表。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 已购买并配置相应的华为云资源,如ECS、VPN、OBS等。 接入CES指标并生成业务报表
运维账号 作业类型选择虚拟机时,还需要选择运维账号或者手动输入账号,用于连接目标机器(选择的资源)。 资源 选择需要清理日志的目标主机或容器。 分批执行 作业类型选择虚拟机时,可以选择是否分批执行,如勾选,还需要设置每次下发的数量或百分数,并且支持选择失败后暂停确认。
如果采集路径是单个日志,则按照单个日志单台机器(pod)的TPS值填写,且按照高峰期计算。 如果采集路径配置了通配符,则将采集的日志TPS累加,累加计算高峰期单台机器(pod)的TPS,建议按近期业务增长预期填写。 日志模式 选择日志采集模式,是单行模式还是多行模式。
这是因为机器上没有启动haveged服务。haveged是一个随机数的熵的提供方,它可以解决在某些情况下,系统熵过低的问题。 规避办法:在部署步骤前面加上sudo步骤;或者,到机器上,手动执行service haveged start命令,启动haveged服务。
只有开启IP白名单的机器才可以在Git客户端克隆。 使用SSH协议在TortoiseGit客户端克隆代码 本节内容指导如何使用TortoiseGit客户端克隆代码托管服务的仓库到本地环境中。 下载并安装TortoiseGit客户端。 获取仓库地址。
只有开启IP白名单的机器才可以在Git客户端克隆。 使用SSH协议在TortoiseGit客户端克隆代码 本节内容指导如何使用TortoiseGit客户端克隆代码托管服务的仓库到本地环境中。 下载并安装TortoiseGit客户端。 获取仓库地址。
如某台机器ifconfig列出的网卡名有eth0、eth1、veth1、lo。如果配置“_filter_nic_name:eth”,则剔除veth1和lo的消息,保留eth0、eth1的消息。
Node Node是一个执行具体工作的机器,可以是虚拟机或者物理机。Pod是部署在Node节点上的,如果Node故障,整个Pod会被调度到集群中的另外可用的Node节点上去。 工作负载 工作负载是在Kubernetes上运行的应用程序。
网段:设置具体生效网段,例如主机的网段192.168.20.2,如果需要给租户下这种同网段的都加上白名单,规则条件可以设置为192.168.20.0/24,如果只给该机器加白名单,那规则条件可以设置为192.168.20.2/32,可设置多行,按Enter分行。
对后端集群配置健康检查,检查后端服务集群中的机器。参数说明如表4所示,配置完成后单击“下一步”。 表4 健康检查参数说明 参数 说明 集群名称 展示后端服务器集群名称,检查的是后端服务集群里的机器。 域名 输入健康检查的请求域名。
常用于将文本转换为机器可以处理的形式,以便进行各种任务,如文本分类、情感分析、机器翻译等。 当前向量化模型支持的最大长度为512 token,对应的中文约为512个字,英文与符号约900个字符,请注意分片长度。
索引配置 向量化模型 选择向量化模型,向量化模型可以将文本数据转换为数值向量,常用于将文本转换为机器可以处理的形式,以便进行各种任务,如文本分类、情感分析、机器翻译等。
我是有问必答知识渊博的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自各服务的技术牛人,为您解决技术难题。
验证集的比例对于机器学习模型的性能评估非常重要。如果验证集的比例过小,可能导致模型在验证集上表现不够稳定,无法准确评估模型的性能。如果验证集的比例过大,可能会导致训练集的样本量不足,影响模型的训练效果。
插件 可在机器上执行并采集各项参数的二进制文件或者脚本。 父主题: AppStage运维中心简介
如何获取Agent发布时要所需的API Key? 填写AI原生应用引擎平台的API Key,生成方式请参见新增平台API Key。仅AI原生应用引擎管理员角色可以创建API Key,请通过管理员获取。 父主题: AI原生应用引擎