检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的数据。 在Kibana控制台,输入如下命令,搜索数据。查看搜索结果,如果数据与导入数据一致,表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时,导入数据的流程说明如图3所示。
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
Kibana公网访问配置的白名单依赖ELB的白名单能力。更新白名单后,白名单对新建的连接是实时生效的,但对于已存在的长连接,可能会出现去掉的白名单IP地址还能访问Kibana的场景,这是因为要等长连接断开后才生效,预计1分钟左右。 配置完成后,单击“确定”。 待集群的Kibana公网访问开通以后,在Kibana
TP协议的集群、安全模式+HTTPS协议的集群(忽略证书) 通过Rest High Level Client连接安全集群(使用安全证书):适用于安全模式+HTTPS协议的集群 约束限制 建议Rest High Level Client的版本和Elasticsearch的版本保持一致,例如需要访问的ES集群版本是7
令导入数据,如果是安全模式的集群访问集群的命令请参见通过Curl命令行接入OpenSearch集群。 登录云搜索服务管理控制台。 在左侧导航栏中,选择“集群管理 > OpenSearch”,进入集群管理列表页面。 在集群管理列表页面,选择待导入数据的集群,在“内网访问地址”列获取
导入数据至Elasticsearch集群 Elasticsearch集群导入数据方式 使用自建Logstash导入数据到Elasticsearch 使用开源Elasticsearch API导入数据到Elasticsearch 使用CDM导入数据到Elasticsearch 增强
使用Elasticsearch集群搜索数据 使用DSL语言在Elasticsearch中搜索数据 使用SQL语言在Elasticsearch中搜索数据 父主题: 使用Elasticsearch搜索数据
search集群在同一时区,否则当同步与时间相关的数据时,同步前后的数据可能存在时区差。 前提条件 已准备好存有数据的MySQL数据库,本案例以云数据库的RDS for MySQL实例为例,具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstash
函数中的变量说明 参数 描述 HOST ES集群的访问地址,当存在多个IP地址时,中间用“,”隔开。 USERNAME 访问集群的用户名。 PASSWORD 用户名对应的密码。 运行代码 根据集群类型将以上适配的代码写入到“EsTest.gc”文件并存放到一个单独的目录,在该目录执行以下命令运行代码。
的备份是通过创建集群快照实现,第一次备份时,建议将所有索引数据进行备份。 云搜索服务支持将ES实例的快照数据保存到对象存储(OBS)服务中,借助OBS的跨region复制功能,可实现数据的跨region备份。 恢复数据(恢复快照) 当数据发生丢失或者想找回某一时间段数据时,可以在
ch索引数据? 在清理索引数据前,请谨慎评估索引数据删除后对业务的影响。 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro
通过Python客户端接入Elasticsearch集群 本文介绍通过Python语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和
min,密码为创建集群时设置的管理员密码。 登录成功后,可在Cerebro界面进行相关操作访问集群。 通过自建Cerebro访问集群 使用自建Cerebro访问集群时,需要确保自建Cerebro与集群的网络是互通的。 获取集群的访问地址。不同网络配置的访问地址获取方式请参见网络配置。
集群索引插入数据失败 问题现象 向CSS集群索引中插入数据失败,报错如下: 问题分析 当磁盘的使用率超过95%时,Elasticsearch为了防止节点耗尽磁盘空间,自动将索引设置为只读模式。 解决方案 新版本(7.10.2之后)集群磁盘使用率下降后会自动关闭只读模式,只需清理或扩容磁盘。
CSS服务的Elasticsearch和OpenSearch集群处于可用状态。 已创建一个ECS服务,且和CSS服务的集群在同一个虚拟私有云和安全组中。 如果ECS和CSS服务的集群不在同一安全组中,请修改ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。
并成大的索引段,以提供更优的查询性能。由于向量索引的构建是计算密集型的,向量数据写入过程频繁的合并任务会消耗更多的CPU资源。因此,在数据实时性要求不高的场景,建议设置向量字段的“lazy_indexing”参数为“true”开启索引延迟构建,当全量数据写入完成后,再调用离线构建
成集群删除。 删除包年/包月的集群 包年包月计费模式的集群需要通过退订包周期删除集群。集群退订后,资源和数据将会被清空,且无法恢复。请务必确认完成数据备份后再提交退订。 在集群管理页面,选择需要退订的集群。 在操作列单击“更多”>“退订/释放”。 在弹窗中输入YES,单击“确定”。
冷热数据切换、索引回收站等,以适应不同场景下的性能和成本优化需求,增强集群稳定性和搜索能力。 Elasticsearch集群搜索增强特性介绍 运维 备份与恢复 备份与恢复是通过集群快照备份Elasticsearch集群数据,在数据丢失或需要历史数据时快速恢复数据,提升集群的数据可靠性。
当集群没有Master节点时,每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半,缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。 当集群有Master节点时,每次缩容的Master节点个数要小于当前Master节点总数的一半,缩容后的Master节点个数必须是奇数且不小于3。
tash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,因为多次主动拉起logstash服务会导致数据迁移重复。 names 是 Array of strings 配置文件名称。 响应参数 无 请求示例 启动pipeline迁移数据。 POST /v1.