检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--workers= 5 读取源端数据速率控制参数,Bulk读取数据并发线程数。 默认值:1 -b, --bulk_size= 10 读取源端数据速率控制参数,Bulk一次读取数据的数据大小。 默认值:5MB --sliced_scroll_size 4 读取源端数据速率控制参考,Bulk Scorll中sliced的大小。
CSS服务中是否支持停止集群? CSS服务不支持停止集群,只支持删除集群。如果是在迁移集群的场景,想要停止集群,建议先暂停源集群的业务,确认数据已成功迁移至目标集群后,直接删除源集群。暂停源集群的业务可以采用如下方式处理: 如果使用的集群版本支持流量控制功能,可以开启一键断流切断节
选择创建负载均衡实例的子网。无论选择哪种网络类型,均需配置此项。 需要选择和CSS集群同一子网。 - 规格 建议选择功能和性能更优的应用型规格。 应用型(HTTP/HTTPS) “小型 I” 集群对接负载均衡器 登录云搜索服务管理控制台。 在“集群管理”页面选择需要对接负载均衡器的
h集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式
在已打开的Kibana的Console界面,通过搜索获取已导入的数据。 在Kibana控制台,输入如下命令,搜索数据。查看搜索结果,如果数据与导入数据一致,表示数据文件的数据已导入成功。 GET myindex/_search 父主题: 导入数据至OpenSearch集群
数据保护技术 云搜索服务主要从以下几个方面保障数据和业务运行安全: 网络隔离 整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义、索引、搜索能力。
集群任务被长时间拒绝,且大量任务出现卡死的情况,在Cerebro界面可以看到集群的load数值突然飙升。 原因分析 集群出现load升高的可能原因如下: 查询请求命中的数据较多导致查询线程执行缓慢。 写入压力过大导致很多线程出现卡死现象。 排查步骤 方法1:Cerebro工具 登录云搜索服务管理控制台。 左侧导航栏,选择“集群管理
请求响应成功后,返回200 OK,表示集群创建成功。 若请求失败,则会返回错误码及对应的错误信息说明,详细错误码信息请参考状态码。 父主题: 应用示例
h集群数据导入性能。 表1 Elasticsearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。
Beats作为数据收集器,负责从各种源收集数据并发送到Logstash。 Logstash可以独立收集数据,或从Beats接收数据,对数据进行过滤、转换和增强。 数据处理 Logstash在将数据发送到Elasticsearch之前,对数据进行必要的处理,如解析结构化日志、过滤无用信息等。 数据存储 Elasti
在已打开的Kibana的Console界面,通过搜索获取已导入的数据。 在Kibana控制台,输入如下命令,搜索数据。查看搜索结果,如果数据与导入数据一致,表示数据文件的数据已导入成功。 GET myindex/_search 父主题: 导入数据至Elasticsearch集群
引起bulk reject的大多原因是shard容量过大或shard分配不均,具体可通过以下方法进行定位分析。 检查分片(shard)数据量是否过大。 单个分片数据量过大,可能引起Bulk Reject,建议单个分片大小控制在20GB - 50GB左右。可在kibana控制台,通过如下命令查看索引各个分片的大小。
配置Elasticsearch集群聚合增强 配置Elasticsearch集群读写分离 切换Elasticsearch集群冷热数据 配置Elasticsearch集群索引回收站 父主题: 使用Elasticsearch搜索数据
LIMIT 50" } 查询结果返回CSV格式的数据时,每行对应一个文档,每列对应一个字段。 在ECS中使用Curl命令执行SQL搜索数据 例如,执行如下命令,从“kibana_sample_data_flights”索引中搜索出10条数据。 curl -XPOST https://
内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 数据安全 在云搜索服务中,通过多副本、集群跨az部署、索引数据第三方(OBS)备份功能保证用户的数据安全。 父主题: 产品咨询
切换冷热数据 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 切换冷热数据和存算分离比,更适用于对搜索性能要求高的场景,冷数据存储在集群
arch中搜索数据。 SQL使用示例 在Kibana中使用SQL语言搜索数据(推荐) 在Kibana的DevTools中将请求发送到“_opendistro/_sql”,可以使用请求参数或请求正文。 例如,执行如下命令,从“my-index”索引中搜索出50条数据。 1 2 3 4
8,JDK1.8官网下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html。 创建SpringBoot项目。 引入Java依赖。 其中7.10.2为Elasticsearch
OpenSearch集群访问方式 导入数据 OpenSearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch API、云数据迁移服务CDM和数据复制服务DRS,支持不同来源和格式的数据导入,以及针对关系型数据库的实时同步,用户可根据业务场景和数据特性选择最佳方法。 OpenSearch集群导入数据方式
dex API。 当单个索引数据量比较大时,可以在迁移前将目标索引的副本数设置为0,以加快数据同步速度。待数据迁移完成后,再修改为实际值。 当源端数据量很大时,建议采用快照方式迁移数据。例如通过备份与恢复实现华为云Elasticsearch集群间数据迁移、通过S3插件备份与恢复迁