检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 监控安全风险
查询和管理OpenSearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。
L的where会过滤字段但不参与ES搜索的打分机制,must也属于过滤必须满足的条件,但是会根据查询的匹配程度对搜索到的文档进行打分,在返回的结果中越匹配的文档会越靠前显示。 GET /_search { "query": { "bool": { "must":
L的where会过滤字段但不参与ES搜索的打分机制,must也属于过滤必须满足的条件,但是会根据查询的匹配程度对搜索到的文档进行打分,在返回的结果中越匹配的文档会越靠前显示。 GET /_search { "query": { "bool": { "must":
使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic.co/guide/en/kibana/current/index.html 云搜索服务的E
管理Logstash集群的CA证书 当Logstash集群连接CSS服务的Elasticsearch集群时,可以跳过本文直接使用默认CA证书,当连接其他需要安全认证的数据源时,则需要参考文本配置自定义证书。 场景描述 当Logstash集群连接安全模式+HTTPS协议的Elast
查询和管理Logstash集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份和日志查询功能。日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。
--copy_mappings - 迁移源端索引的mappings。 --buffer_count= - 迁移虚拟机缓存在内存中的文档数量。 默认值:10w 数据迁移完成后,通过对比文档个数检查数据一致性。 # 非安全集群 curl -ik http://ip:9200/{索引名称}/_count
实现集群、索引、文档和字段四个级别的细粒度访问权限控制。 支持添加或删除集群的用户,并能够将用户映射到角色,实现用户关联角色权限。 角色映射功能允许配置角色的成员,通过用户名、后端角色和主机名将用户分配给相应的角色。支持为每种角色配置集群访问权限、索引和文档的访问权限,以及OpenSearch
查询和管理Elasticsearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。
本次测试采用官方提供的geonames,大小3.2G,11396505个doc。索引采用6个shard(默认为5个)。性能指标说明可以参考官方文档https://esrally.readthedocs.io/en/stable/summary_report.html#summary-report。
表1提供了云搜索服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java SDK使用指导 Python huawe
Client客户端对Elasticsearch的API进行了封装,用户只需要构造对应的结构即可对ES集群进行访问。Rest Client的详细使用请参考官方文档:https://www.elastic.co/guide/en/elasticsearch/client/java-api-client/master/index
方式获取到的集群访问地址有差异,您可以根据自己的网络环境选择合适的网络配置方式。 访问方式 表1 集群的访问方式 访问方式 适用场景 相关文档 OpenSearch Dashboards(推荐方式) 图形化操作与展示。 监控实例。 管理数据。 不限制访问语言。 通过OpenSearch
场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。 当选择“节点名称”快速重启时,一次只能重启一个节点。
排索引。 图2 Elasticsearch的索引组成 如图3所示,将文档插入Elasticsearch时,文档首先会被写入缓冲区Buffer中,同时写入日志Translog中,然后在刷新时定期从该缓冲区刷新文档到Segment中。刷新频率由refresh_interval参数控制
方式获取到的集群访问地址有差异,您可以根据自己的网络环境选择合适的网络配置方式。 访问方式 表1 集群的访问方式 访问方式 适用场景 相关文档 Kibana(推荐方式) 图形化操作与展示。 监控实例。 管理数据。 不限制访问语言。 通过Kibana登录Elasticsearch集群
场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。 当选择“节点名称”快速重启时,一次只能重启一个节点。
入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述 相关文档 Bulk路由优化 根据Elasticsearch默认的路由规则,Bulk请求中的每一条数据会被路由到不同的shard,当索引分片较多时,
入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述 相关文档 Bulk路由优化 根据Elasticsearch默认的路由规则,Bulk请求中的每一条数据会被路由到不同的shard,当索引分片较多时,