检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Elasticsearch加速关系型数据库的查询分析 介绍如何将MySQL数据库中的数据同步到云搜索服务的Elasticsearch集群,通过Elasticsearch实现数据库的全文检索、Ad Hoc查询和统计分析能力。 应用场景 使用Elasticsearch加速关系型数据库,可以解决关系型数据库在某些方
csearch集群在同一时区,否则当同步与时间相关的数据时,同步前后的数据可能存在时区差。 前提条件 已准备好存有数据的MySQL数据库,本案例以云数据库的RDS for MySQL实例为例,具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstas
http-keepalive是保证一个TCP连接尽可能传递多的报文,每次交互一个报文后就会更新http-keepalive时间。如果http-keepalive时间超时,意味这个这段时间client和server没有报文交互,本端会主动关闭释放连接。 tcp-keepalive是一种探测TCP
某女装品牌在网上经营电商业务,以前使用传统数据库来为用户提供商品搜索功能,但随着用户数量和业务的增长,使用传统数据库的弊端愈来愈明显。主要问题表现为响应速度慢、准确性低。为了改善用户体验从而避免用户流失,该电商网站开始使用云搜索服务为用户提供商品搜索功能,不仅解决了之前使用传统数据库产生的问题,而且实现了用户数量的增长。
"from":"2021-05-25 00:00:00"}}}]}}} 此处命令是迁移2021-05-25之后新增加的数据,在多次增量迁移过程中需要修改此处的日志值,如果日期是时间戳方式请转换为时间戳。此处命令需要提前验证有效性。 scroll 当源端数据量过大,为了防止Logs
集群突现load高的故障排查 问题现象 集群任务被长时间拒绝,且大量任务出现卡死的情况,在Cerebro界面可以看到集群的load数值突然飙升。 原因分析 集群出现load升高的可能原因如下: 查询请求命中的数据较多导致查询线程执行缓慢。 写入压力过大导致很多线程出现卡死现象。 排查步骤
群,源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至Elasticsearch 数据导入场景 源数据库 目标Elasticsearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for
是否必选 参数类型 描述 instance 是 CreateClusterInstanceBody object 实例对象。 datastore 是 CreateClusterDatastoreBody object 数据搜索引擎类型。 name 是 String 集群名称。4~32个字
"size": "L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访
询性能,提升使用效率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsearch作为关系型数据库的补充,以此提升数据库的全文检索能力和高并发的Ad Hoc查询能力。
源集群的访问地址。当集群开启HTTPS访问时,URI schema需要对应使用https。 username 源集群的用户名,仅主集群是安全集群时才需要配置。 password 源集群的密码,仅主集群是安全集群时才需要配置。 当返回结果中,“acknowledged”为“true”时,表示配置成功。 在目标
ch集群,源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch 数据导入场景 源数据库 目标OpenSearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL
相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源。 缩容随机节点 缩容指定节点 缩容指定节点是通过选择下线具体哪个节点减少集群的“节点数量”,减少集群占用的资源。 缩容指定节点 约束限制 缩容是通过下线节点减少节点数量,为了降低
能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。 测试前准备 创建Elasticsearch向量数据库,参考创建Elasticsearch集群。
某女装品牌在网上经营电商业务,以前使用传统数据库来为用户提供商品搜索功能,但随着用户数量和业务的增长,使用传统数据库的弊端愈来愈明显。主要问题表现为响应速度慢、准确性低。为了改善用户体验从而避免用户流失,该电商网站开始使用云搜索服务为用户提供商品搜索功能,不仅解决了之前使用传统数据库产生的问题,而且实现了用户数量的增长。
jdbc_driver_class 是 要加载的JDBC驱动程序类,例如“org.mariadb.jdbc.Driver”。 jdbc_connection_string 是 JDBC连接字符串。 jdbc_user 是 JDBC用户名。 jdbc_password 是 JDBC密码。 statement
"size": "L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访
None 服务介绍 云搜索服务 CSS 产品介绍 03:41 了解什么是云搜索服务 特性讲解 云搜索服务 CSS 向量数据库 04:58 了解什么是CSS向量数据库 云搜索服务 CSS Elasticsearch增强能力 07:15 了解CSS的Elasticsearch增强能力
local_cache.evict_time 字符串 index 是 冷数据的本地缓存的淘汰时间,当缓存时间大于该值,缓存将被删除。根据index.frozen_date(冻结成功的时间)判定,当索引无index.frozen_date时,则根据索引创建时间判定。 单位:天 取值范围:1d~365d 默认值:30d
图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。