检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接口调用:ModelRouter.chat.completion.create 参数说明 表3 参数说明 参数名 参数类型 是否必选 参数描述 messages List[str] True 包含到目前为止的对话的消息列表。 model str True 模型服务调用唯一id字段。平台定义了3种模型服务:
支撑华为内外部业务,构筑统一的SaaS底座,平台长期持续演进,确保先进性和生命力。 AI原生应用开发 痛点 管好大模型难:大模型百花齐放,能力各异,管好大模型难,为应用场景选择表现最佳模型难。 用好大模型难:在企业的复杂场景中,基础大模型效果不佳,且多个大模型结合缺乏有效手段。 获取高质量数据难:高质量数据决定AIG
参考如下接口规格实现需求类接口并配置工具链接口集成,可以将第三方系统的接口数据集成到开发中心。 查询项目下需求概览 高级搜索需求列表 创建需求 查询需求详情 更新需求迭代 接口URI:GET /req/v1/statistic Query参数:service_id #服务标识 version_id
单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“监听管理”。 在监听管理页面,单击监听名称。 在监听详情页面选择“监听”页签。 检查监听管理是否开启了https且配置了证书,如果不需要https将协议改为http,证书选择“-”。 图1 监听管理配置 方法二: 将证书迁移到和监听一致的服务下。
返回筛选字段内容不等于输入的查询值的记录列表,即SQL的!=查询。 in 返回筛选字段内容包含输入的值列表的任意一个的记录列表,即SQL的in查询。 not in 返回筛选字段内容不包含输入的值列表的任意一个的记录列表,即SQL的in查询。 like 返回筛选字段内容包含输入的值的记录列表,即SQL的like查询。
一方服务”,选择“接入地址列表”页签。 如果新增二方服务接入地址,选择左侧导航栏的“服务目录 > 二方服务”,选择“接入地址列表”页签。 如果新增三方服务接入地址,选择左侧导航栏的“服务目录 > 三方服务”。 单击“新增”,配置接入地址参数,参数说明如表1所示。 表1 接入地址参数说明 参数
object 参数解释: 控制是否开启内容审核。如果开启内容审核,AI原生应用引擎会对模型返回结果进行审查。 约束限制: 不涉及。 取值范围: true或者false。 默认取值: false。 表3 ChatCompletionRequestMessage 参数 是否必选 参数类型 描述
https://aiae.appstage.myhuaweicloud.com/v1/knowledge-datasets 表1 Query参数 参数 是否必选 参数类型 描述 data_set 是 String 参数解释: 创建知识数据集请求体,参数结构请参见“附录 > 知识数据集请求参数说明”。
主机管理服务(VMS)”。 选择左侧导航栏的“运维账号 > 账号规划”。 单击“创建”,进入运维账号创建页面。 配置运维账号参数,参数说明如表1所示,配置完成后,单击“确定”。 表1 创建运维账号参数说明 参数名称 参数说明 账号 自定义账号。 只能包含数字、字母、“-”、“_”,且字符长度不超过32。
一方服务”,选择“接入地址列表”页签。 如果新增二方服务接入地址,选择左侧导航栏的“服务目录 > 二方服务”,选择“接入地址列表”页签。 如果新增三方服务接入地址,选择左侧导航栏的“服务目录 > 三方服务”。 单击“新增”,配置接入地址参数,参数说明如表1所示。 表1 接入地址参数说明 参数
负载均衡”。 选择左侧导航栏的“资源管理 > 资源”。 单击“创建资源”,配置资源相关信息和资源流控规则,参数说明如表1所示。 单击资源流控列表下的“新增子项”,可以新增多条流控规则。 表1 创建资源参数说明 参数 说明 基本信息 所属实例 选择资源所属的SLB实例。 所属资源组 选择资源所属的资源组。
选择执行任务的资源池,在下拉列表可以看到各资源池的可用卡数,根据实际情况选择。 单击“下一步”,分别参照表2和表3配置基础参数、LoRA参数。 表2 基础参数配置说明 参数英文名 参数中文名 参数说明 global_bs 各设备batch size综合 表示多个设备上使用的总样本数量。
单击“创建”,创建提示语完成,在“我创建的”页面的提示语列表中可看到新建的提示语模板。 更多操作 创建提示语完成后,可执行如下表4所示的操作。 表4 更多操作 操作 说明 修改提示语 在“我的提示语 > 我创建的”页面的提示语列表中,单击“操作”列“修改”。 参照表1,修改提示语的基础配置参数。 优化提示语
异常告警及调优方法。 调优配置方法 在“异常检测”页面,单击异常检测任务所在行“操作”列的“模型”,默认显示“算法配置”页签,参考表1配置参数。 表1 算法配置参数说明 算法类型 参数名称 参数含义 取值范围 参数说明 配置建议 boxplot_ad动态阈值算法 sensitivity
单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“实例管理”。 在实例列表中单击待配置实例的名称,进入实例详情页面。 选择“黑白名单配置”页签,单击“编辑”。 单击“新增配置组”,配置SLB上的流控相关的黑名单及白名单。参数说明如表1所示。 继续单击“新增配置组”,可以配置多个配置组;在各配
取值范围: 不涉及。 默认取值: 不涉及。 表2 请求Body参数 参数 是否必选 参数类型 描述 input 是 Array of strings 参数解释: 输入支持2种格式: 纯文本(string),例如:"你好" ; 文本列表(array),例如:["你","好"] 。 约束限制:
负载均衡”。 选择左侧导航栏的“资源管理 > 资源”。 单击“创建资源”,配置资源相关信息和资源流控规则,参数说明如表1所示。 单击资源流控列表下的“新增子项”,可以新增多条流控规则。 表1 创建资源参数说明 参数 说明 基本信息 所属实例 选择资源所属的SLB实例。 所属资源组 选择资源所属的资源组。
单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“实例管理”。 在实例列表中单击待配置实例的名称,进入实例详情页面。 选择“黑白名单配置”页签,单击“编辑”。 单击“新增配置组”,配置SLB上的流控相关的黑名单及白名单。参数说明如表1所示。 继续单击“新增配置组”,可以配置多个配置组;在各配
通过IaC指定集群配置、Sidecar版本、资源分配等;通过管理台可以对微服务本身及其相关的资源进行管理,如微服务生命周期管理、事件查看、更新配置、回滚、扩缩容等。 父主题: 通过微服务平台管理微服务
监控:完成主机监控接入,为主机绑定监控模板,根据监控模板定义的插件采集主机监控数据,监控数据接入后可以在“虚机报表”页面查看,具体操作请参见查看虚机报表。 告警:完成主机告警配置,定义告警上报内容,然后可以在“告警列表”页面查看并处理已上报告警,具体操作请参见查看并处理告警。 前提条件 已完成Linux主机接入。