检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Go客户端接入Elasticsearch集群 本文介绍通过Go语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Go代码的服务器与CSS集群的网络是互通的。 确认服务器已安装Go,Go官网下载地址:https://go.dev/dl/。 连接非安全集群
CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? 在CSS服务中,实现不同虚拟私有云(VPC)环境下的Elasticsearch集群迁移,可以通过以下两种方法: 方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。 方法二:
通过MRS Hive客户端接入Elasticsearch集群 Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。
启动配置任务 数据迁移完毕,检查目标Elasticsearch集群和源集群数据的一致性。例如,分别在源集群和目标集群执行GET _cat/indices命令,对比两者的索引信息是否一致。 在Elasticsearch集群管理页面,选择源Elasticsearch集群“Source-ES”或目
说明 ip 访问节点的源IP地址。 method 对应IP地址的访问次数统计。 表8 url_sample 参数名 说明 url 请求的采样统计,记录访问节点的请求URL。 method 对应请求Path的方法。 remote_address 请求对应的源IP地址和端口。 count
要获取的信息 获取方式 源集群 华为云Elasticsearch集群 源集群的访问地址 访问源集群的用户名和密码(仅安全集群涉及) 获取集群名称和访问地址请参见3。 用户名和密码请联系服务管理员获取。 自建Elasticsearch集群 源集群的公网访问地址 访问源集群的用户名和密码(仅安全集群涉及)
且不能小于源集群的shard副本数。 目标集群的CPU、MEM和Disk配置不能低于源集群的配置。 迁移时长 迁移过程的耗时长短依赖于源集群和目标集群的节点个数或索引shard个数。迁移过程分为备份阶段和恢复阶段,备份阶段耗时由源集群决定,恢复阶段耗时由目标集群决定。迁移总时长的评估公式如下:
统计周期内,访问节点的请求详情。参数说明请参见表8。 表8 access 参数名 说明 time 记录请求时间。 remote_address 请求对应的源IP地址和端口。 url 请求的原始URL method 对应请求Path的方法。 content 对应请求的内容。 执行命令删除访问日志。
接数限制等。每个功能配置独立的控制开关。详情请参见流量控制。 大查询隔离 云搜索服务的大查询隔离特性支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。详情请参见大查询隔离。 索引监控 云搜索服务的索引监控特性提供了丰富的监控指标,用以监控集群索引的
2、Elasticsearch 7.10.2 配置Elasticsearch集群读写流量控制策略1.0 大查询隔离 大查询隔离支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。在节点堆内存使用率过高时,触发中断控制程序,根据选择的中断策略将其中一条大查询请求进行中断,取消其
建议开启白名单。 说明: Kibana公网访问配置的白名单依赖ELB的白名单能力。更新白名单后,白名单对新建的连接是实时生效的,但对于已存在的长连接,可能会出现去掉的白名单IP地址还能访问Kibana的场景,这是因为要等长连接断开后才生效,预计1分钟左右。 配置完成后,单击“确定”。
高数据整合的效率和效果。 约束限制 源Elasticsearch集群和目标Elasticsearch集群的版本要相近,否则可能迁移异常。如果迁移过程中出现图表不兼容的报错,可以参考常见问题:迁移过程中,发现图表不兼容怎么办?处理。 前提条件 源Elasticsearch集群和目标
启动Logstash迁移任务 场景描述 使用Logstash集群启动Logstash迁移任务的操作流程: 测试数据源和目的端与Logstash集群之间的网络连通性,确保数据传输畅通:测试连通性 通过启动配置文件启动Logstash迁移任务。 当管道列表没有“工作中”的任务时,则启动配置文件。
通过Rest High Level Client接入Elasticsearch集群 Elasticsearch官方提供了SDK(Rest High level Client)方式连接集群,Rest Client客户端对Elasticsearch的API进行了封装,用户只需要构造对
目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot version compatibility。 目标集群的节点数要大于源集群的节点数的一半,且不能小于源集群的shard副本数。 目标集群的CPU、MEM和Disk配置不能低于源集群的配置。 通过备份与恢
要获取的信息 获取方式 源集群 华为云Elasticsearch集群 源集群的名称 源集群的访问地址 访问源集群的用户名和密码(仅安全集群涉及) 获取集群名称和访问地址请参见3。 用户名和密码请联系服务管理员获取。 自建Elasticsearch集群 源集群的名称 源集群的公网访问地址
基于集群规划,创建合适的Logstash集群。 创建Logstash集群 配置路由 当Logstash集群与数据源子网位于同一主网卡时,网络自动互通;如果不通,则需在Logstash集群的每个节点上配置指向源数据服务器IP的回程路由。 配置Logstash集群路由 配置Logstash迁移任务 通过
一个数据源复制到其他数据库,并保持一致,实现关键业务的数据实时流动。 使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群,源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至Elasticsearch 数据导入场景 源数据库 目标Elasticsearch集群
术从一个数据源复制到其他数据库,并保持一致,实现关键业务的数据实时流动。 使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群,源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch 数据导入场景 源数据库 目标OpenSearch集群
云搜索服务支持Logstash集群。 Logstash集群支持通过配置中心修改logstash的配置文件,支持将redis、elasticsearch、jdbc等多种数据源导入到Elasticsearch集群。