检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS集群版本生命周期 版本说明 CSS当前提供的主力引擎为ELasticsearch、Logstash、OpenSearch三大引擎,其中Elasticsearch和OpenSearch引擎作为数据存储引擎,需要重点关注版本生命周期。 目前CSS历史提供过的大版本如下,版本号与开源版本号保持一致。
通过Python客户端接入Elasticsearch集群 本文介绍通过Python语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和
前置过滤条件可以为任意查询,script_score仅针对前置过滤的结果进行遍历,计算向量相似度并排序返回。此种查询方式不使用向量索引算法,性能取决于前置过滤后中间结果集的大小,当前置过滤条件为"match_all"时,相当于全局暴力检索。 POST my_index/_search
GRAPH_PQ类索引 基于图算法的索引为了保证查询性能通常需要常驻内存,因此当向量维度较高或数据量较大时,内存资源成为影响成本及性能的关键因素。具体来说,高维度的向量和大规模的数据集对内存的需求显著增加,这不仅关系到存储成本,还直接影响到索引算法的运行效率和响应速度。该场景推荐使用GRAPH_PQ索引类型。
集群整合:将多个自建Elasticsearch集群迁移到一个华为云Elasticsearch集群中整合为统一的数据平台,以简化管理和提高数据一致性。 技术栈统一:当企业已经在华为云上运行其他服务时,为了技术栈的统一和简化管理,可以选择将Elasticsearch集群也迁移至华为云。 方案架构
在快照管理列表中,当“任务状态”变更为“恢复成功”时表示集群数据迁移完成。 数据迁移完毕,检查目标Elasticsearch集群“Es-2”和源集群“Es-1”数据的一致性。例如,分别在源集群和目标集群执行_cat/indices命令,对比两者的索引信息是否一致。 父主题: Elasticsearch数据迁移
rch,该方案常用于以下场景: 跨版本迁移:利用Logstash的兼容性和灵活性,实现不同版本间的数据迁移,确保数据在新版本中的可用性和一致性。适用于Elasticsearch集群版本跨度较大的迁移场景,例如从6.X版本迁移至7.X版本。 集群合并:使用Logstash进行数据迁
确保节点的稳定运行。 索引分片与节点数的关系:对于单个索引,建议其分片数与集群的节点数保持一致,或者设置为节点数的整数倍。这有助于实现负载均衡,优化查询和索引的性能。 通过以上建议,可以更有效地规划和管理CSS集群的索引分片,从而提升集群的整体性能和可维护性。 父主题: 使用OpenSearch搜索数据
确保节点的稳定运行。 索引分片与节点数的关系:对于单个索引,建议其分片数与集群的节点数保持一致,或者设置为节点数的整数倍。这有助于实现负载均衡,优化查询和索引的性能。 通过以上建议,可以更有效地规划和管理CSS集群的索引分片,从而提升集群的整体性能和可维护性。 父主题: 使用Elasticsearch搜索数据
eipSize 否 Integer 带宽。单位:Mbit/s elbWhiteList 否 StartKibanaPublicReqElbWhitelist object elb白名单。 表3 StartKibanaPublicReqElbWhitelist 参数 是否必选 参数类型 描述 enableWhiteList
Reindex API支持以下迁移策略: 全量迁移:实现跨集群的完整索引数据迁移。在此过程中,必须暂停对源集群的写入操作,以确保源集群与目标集群数据的一致性。 增量迁移:当集群索引包含时间字段时,Reindex API支持基于时间戳的增量数据迁移。在业务切换阶段,全量迁移完成后,需暂停源集群的写入操作,并利用Reindex
EIP quota. 弹性IP资源不足。 建议释放不用的资源、扩充配额。 400 CSS.0062 Insufficient ELB quota. 弹性负载均衡资源不足。 建议释放不用的资源、扩充配额。 400 CSS.0063 Insufficient VPC endpoint quota
StartKibanaPublicReqElbWhitelist elbWhiteListbody = new StartKibanaPublicReqElbWhitelist(); elbWhiteListbody.withEnableWhiteList(true)
Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只
道列表中“事件”列显示配置任务处理的任务数量。 图10 启动配置任务 数据迁移完毕,检查目标Elasticsearch集群和源集群数据的一致性。例如,分别在源集群和目标集群执行GET _cat/indices命令,对比两者的索引信息是否一致。 在Elasticsearch集群管理
withInstType("{inst_type}"); UpgradingTheKernelBody body = new UpgradingTheKernelBody(); body.withAgency("css-test-agency");
28:9200", "elbWhiteListResp" : null, "bandwidthResourceId" : "18bec13f-5cc1-4631-867f-33505d15be12" }, "elbWhiteList" : {
eipSize 是 Integer 带宽大小。 elbWhiteList 是 CreateClusterPublicKibanaElbWhiteList object kibana白名单信息。 表16 CreateClusterPublicKibanaElbWhiteList 参数 是否必选 参数类型
publicKibanaResp publicKibanaRespBody object 参数解释: Kibana公网访问信息。 elbWhiteList elbWhiteListResp object 参数解释: 公网访问控制信息。 updated String 参数解释: 集群上次修改时间,格式为ISO8601:
publicKibanaResp publicKibanaRespBody object 参数解释: Kibana公网访问信息。 elbWhiteList elbWhiteListResp object 参数解释: 公网访问控制信息。 updated String 参数解释: 集群上次修改时间,格式为ISO8601: