检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
易用性好:支持丰富的可视化查询语句与拖拽式报表。 强大的处理能力:支持每天百TB级数量入库,提供PB级以上数据处理能力。 图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关
P最大连接数限制等。每个功能配置独立的控制开关。详情请参见流量控制。 大查询隔离 云搜索服务的大查询隔离特性支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。详情请参见大查询隔离。 索引监控 云搜索服务的索引监控特性提供了丰富的监控指标,用以监控集
bana进行日志的可视化查询与分析。该方案可以用于以下场景: 日志管理:集中管理应用程序和系统日志,快速定位问题。 安全监控:检测和响应安全威胁,进行入侵检测和异常行为分析。 业务分析:分析用户行为,优化产品和服务。 性能监控:监控系统和应用程序性能,实时发现瓶颈。 方案架构 E
作列“Kibana”,登录Kibana界面。 进入Kibana的“Dev Tools”页面执行查询命令,查看查询结果。 GET /student/_search 图3 kibana查询结果 父主题: 访问Elasticsearch集群
优化Elasticsearch和OpenSearch集群查询性能 集群在使用前,建议参考本实践进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL、GaussDB for
在OpenSearch版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,可以使用SQL语言在OpenSearch中搜索数据。 SQL使用示例 在Kibana中使用SQL语言搜索数据(推荐)
高数据的一致性 。 迁移速度快:读写分离的自动同步速度依赖带宽,不受源集群和目标集群的影响,同步快。 实时性可控:读写分离的默认同步周期为30秒,支持修改,可以控制数据迁移的实时性,减少数据同步过程中的延迟 。 性能影响 使用读写分离迁移集群的核心在于通过底层文件复制来实现数据同
如果集群存在大量的任务堆积,则参考如下步骤优化集群。 在集群的“日志管理”页面查看节点日志,查看节点在OOM前是否存在大量慢查询日志记录,分析查询是否会对节点造成压力导致节点内存不足,如果存在则根据业务实际情况优化查询语句。 在集群的“日志管理”页面查看节点日志,查看节点日志是否有“Inflight circuit
4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,可以使用SQL语言在Elasticsearch中搜索数据。 SQL使用示例 在Kibana中使用SQL语言搜索数据(推荐)
write.retry.count”:默认重试3次。 “es.batch.write.retry.wait”:每次重试等待时间10s。 如果对查询的实时性级别要求不高的话,可以调整下分片刷新的时间(默认是每秒刷新一次),提高写入速度。 PUT /my_logs { "settings":
全量数据迁移:使用Logstash进行全量数据迁移,适用于迁移初期或需要确保数据完整性的场景。 增量数据迁移:通过Logstash配置增量查询,可以只迁移有增量字段的索引数据。此方法适用于需要持续同步数据或对数据实时性有较高要求的场景。 方案优势 高版本兼容性:适用于不同版本的Elasticsearch集群迁移。 高
本文介绍了云搜索服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。 图1
ch的排序API实现的。通过调用排序API查询数据,实现数据按自定义规则排序。 自定义规则查询有两种方式。 用绝对好评率计算总分,按照总分由高到低的顺序排列出查询结果。 总分 = 匹配得分 * (好评率 * 绝对因子) 匹配得分:根据查询结果计分,内容匹配记1分,否则记0分,得分之和即为匹配得分。
集群任务被长时间拒绝,且大量任务出现卡死的情况,在Cerebro界面可以看到集群的load数值突然飙升。 原因分析 集群出现load升高的可能原因如下: 查询请求命中的数据较多导致查询线程执行缓慢。 写入压力过大导致很多线程出现卡死现象。 排查步骤 方法1:Cerebro工具 登录云搜索服务管理控制台。 左侧导航栏,选择“集群管理
计算和排序。本方法不需要对所有向量都进行复杂的计算,可以有效提高检索效率。 向量检索即在一个给定的向量数据集中,按照某种度量方式,检索出与查询向量相近的K个向量(K-Nearest Neighbor,KNN),但由于KNN计算量过大,通常只关注近似近邻(Approximate Nearest
计算和排序。本方法不需要对所有向量都进行复杂的计算,可以有效提高检索效率。 向量检索即在一个给定的向量数据集中,按照某种度量方式,检索出与查询向量相近的K个向量(K-Nearest Neighbor,KNN),但由于KNN计算量过大,通常只关注近似近邻(Approximate Nearest
单个节点的快照速度默认是40MB/s,同时,快照的性能还受集群情况影响,如果此时集群负载较高,耗时将会更久。可以通过上述章节的查询单个快照信息查询正在执行的快照情况。 执行GET _snapshot/repo_auto/snapshot-name,可以看到剩余还需要完成的sh
0 大查询隔离 大查询隔离支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。在节点堆内存使用率过高时,触发中断控制程序,根据选择的中断策略将其中一条大查询请求进行中断,取消其正在运行的查询任务。大查询隔离同时支持全局查询超时配置,用户可实时配置所有查询请求的超时时间,中断超时查询请求。
ch输出,将全量或增量RDS MySQL数据实时同步至Elasticsearch。 方案优势 灵活性:Logstash提供了数据采集、转换、优化和输出的能力,可以灵活地处理各种数据同步需求。 实时性:Logstash可以实现数据的准实时同步,满足大多数业务场景的需求。 易用性:通
设置OpenSearch集群SMN告警通知 智能检测OpenSearch集群风险 查询和管理OpenSearch集群日志 审计日志 通过云审计服务,用户可以记录和查询OpenSearch集群的关键操作事件,且操作记录在管理控制台保存最近7天,便于后续的审计和回溯。 查看OpenSearch集群审计日志 父主题: 使用OpenSearch搜索数据