检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Elasticsearch加速关系型数据库的查询分析 介绍如何将MySQL数据库中的数据同步到云搜索服务的Elasticsearch集群,通过Elasticsearch实现数据库的全文检索、Ad Hoc查询和统计分析能力。 应用场景 使用Elasticsearch加速关系型数据库,可以解
问题现象 通过VPN专线或VPC的对等连接访问CSS集群的场景下,使用curl命令接入Elasticsearch集群时,无返回结果。 例如,执行如下命令接入集群,无返回结果。 curl -s 'http://<节点内网访问地址>:9200' 原因分析 在“使用VPN专线访问CSS
Bulk聚合优化 文本索引加速 通过指定配置项“index.native_speed_up”可以开启文本索引加速。索引加速功能通过优化索引流程以及内存使用等方式实现,对于文本字段(text、keyword)能够极大提升索引构建的性能。当开启文本索引加速时,支持通过指定配置项“index
Bulk聚合优化 文本索引加速 通过指定配置项“index.native_speed_up”可以开启文本索引加速。索引加速功能通过优化索引流程以及内存使用等方式实现,对于文本字段(text、keyword)能够极大提升索引构建的性能。当开启文本索引加速时,支持通过指定配置项“index
通过VPC安全组来确保VPC内主机的安全。 通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 数据安全 在云搜索服务中,通过多副本、
通过VPC安全组来确保VPC内主机的安全。 通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 数据安全 在云搜索服务中,通过多副本、
配置OpenSearch集群网络 配置OpenSearch集群公网访问 配置OpenSearch集群终端节点服务 配置OpenSearch集群独享型负载均衡 父主题: 使用OpenSearch搜索数据
配置Elasticsearch集群网络 配置Elasticsearch集群公网访问 配置Elasticsearch集群终端节点服务 配置Elasticsearch集群独享型负载均衡 父主题: 使用Elasticsearch搜索数据
如果是同VPC同子网内可直接访问。 如果是同VPC下跨子网访问,需要单独申请路由配置。 如果是不同的VPC不同的子网访问,需要先通过对等连接,打通两个VPC网络,然后单独申请路由配置,联通两个子网。 父主题: CSS集群访问
在集群迁移期间,不要对源集群的索引进行增删改操作,避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 可以通过给自建Elasticsearch集群配置公网访问打通网络。 通过华为云Logstash实现Elasticsearch集群间数据迁移 备份与恢复 适用于低版本的
通过VPC或安全组专有网络来确保主机的安全。 访问控制 通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 支持用户认证与索引级别鉴权,支持对接第三方管理用户系统。
用状态。 集群间需要保证网络连通。 如果源集群和目标集群在不同VPC,则需要先打通VPC网络建立对等连接。具体操作请参见对等连接简介。 如果是自建Elasticsearch集群迁移至华为云,则可以通过给自建Elasticsearch集群配置公网访问打通网络。 如果是第三方Elas
白名单,由于白名单是作用在负载均衡上面,将会同时限制公网访问集群和内网通过VPCEP访问集群的IP地址。此时需要在公网访问白名单中添加一个网络白名单“198.19.128.0/17”,通过该白名单用来放通经过VPCEP的流量。 创建集群时配置公网访问 登录云搜索服务管理控制台。
连接关闭有很多原因,是Elasticsearch服务器端不能完全控制的。例如,有可能关闭了连接,有可能有防火墙,交换机,VPN等,也有可能是keepalive设置问题,更换了连接服务器节点,网络不稳定等。 处理步骤 如果出现这种情况可以选择如下多种方式解决问题。 方法一 修改RestHighLevelClient连接请求的超时时间
选择CSS集群所在的区域。 - 跨VPC后端 开启跨VPC后端才能连接CSS集群。 开启 网络类型 负载均衡器对外提供服务所使用的网络类型。 CSS服务支持“IPv4私网”和“IPv6网络”。 当选择“IPv6网络”时,CSS服务对接负载均衡器后,集群对接的负载均衡实例会显示“私有IP”和“
不可选。默认创建的是基础型终端节点。 IPv4/IPv6双栈网络 选择是否开启IPv4/IPv6双栈网络。仅当集群的VPC“子网”已开启IPv6,且已勾选“创建专业型终端节点”时,才支持选择开启IPv4/IPv6双栈网络。 终端节点服务白名单 在“终端节点服务白名单”中添加允许通过节点IP或内网域名访问集群的账号。
易用性好:支持丰富的可视化查询语句与拖拽式报表。 强大的处理能力:支持每天百TB级数量入库,提供PB级以上数据处理能力。 图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事
白名单,由于白名单是作用在负载均衡上面,将会同时限制公网访问集群和内网通过VPCEP访问集群的IP地址。此时需要在公网访问白名单中添加一个网络白名单“198.19.128.0/17”,通过该白名单用来放通经过VPCEP的流量。 创建集群时配置公网访问 登录云搜索服务管理控制台。
通过LDAP接入OpenSearch集群 网络配置 配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取集群的访问地址,除了Kibana和Cerebro一键访问集群不需要填写集群访问地址,其他访问方式接入集群时都需要输入集群访问地址。 表2 集群的网络配置 网络环境 访问方式
集群 网络配置 配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取集群的访问地址,除了Kibana和Cerebro一键访问集群不需要填写集群访问地址,其他访问方式接入集群时都需要输入集群访问地址。 表2 集群的网络配置 网络环境 访问方式