检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果源数据库为云上RDS for MySQL实例,则默认开启Binlog,无需额外配置,binlog_format格式为row,详细说明可参考设置RDS for MySQL本地Binlog日志清理。
使用Elasticsearch加速关系型数据库的查询分析 介绍如何将MySQL数据库中的数据同步到云搜索服务的Elasticsearch集群,通过Elasticsearch实现数据库的全文检索、Ad Hoc查询和统计分析能力。 应用场景 使用Elasticsearch加速关系型数据库,可以解决关系型数据库在某些方
如果源数据库为云上RDS for MySQL实例,请使用修改实例参数功能,将源数据库参数binlog_format修改为row,重启数据库后生效。 父主题: 数据库参数检查
步与时间相关的数据时,同步前后的数据可能存在时区差。 前提条件 已准备好存有数据的MySQL数据库,本案例以云数据库的RDS for MySQL实例为例,具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstash集群,具体操作请参见创建Logstash集群。本文以7
查看具体的Binlog过期时间时,以界面设置的为准。 操作步骤 登录管理控制台。 单击管理控制台左上角的,选择区域。 单击页面左上角的,选择“数据库 > 云数据库 RDS”,进入RDS信息页面。 在“实例管理”页面,选择目标实例,单击实例名称,进入实例的“概览”页签。
RDS for MySQL Binlog生成的机制 场景一 RDS for MySQL实例设置了7天的Binlog保留,按照5分钟生成一个Binlog与实际的数据量不符。
在页面左上角单击,选择“数据库 > 云数据库 GaussDB(for MySQL)”。 选中要开启Binlog的实例,单击实例名称,进入实例详情界面。 在实例详情界面,单击参数修改,跳转到参数界面。 按照如下条件设置日志参数。
单击页面左上角的,选择“数据库 > 云数据库 RDS”。 在“实例管理”页面,单击目标实例名称,进入“基本信息”页面。 在左侧导航栏,单击“备份恢复”,在“Binlog备份”子页签下,单击“Binlog本地设置”。
--result-file:将binlog解析生成sql文件。 父主题: 数据库基本使用
某女装品牌在网上经营电商业务,以前使用传统数据库来为用户提供商品搜索功能,但随着用户数量和业务的增长,使用传统数据库的弊端愈来愈明显。主要问题表现为响应速度慢、准确性低。为了改善用户体验从而避免用户流失,该电商网站开始使用云搜索服务为用户提供商品搜索功能,不仅解决了之前使用传统数据库产生的问题,而且实现了用户数量的增长。
表2。 表2 使用DRS从数据库导入数据至Elasticsearch 数据导入场景 源数据库 目标Elasticsearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8
--result-file:将Binlog解析生成SQL文件。 父主题: 数据库基本使用
--result-file:将Binlog解析生成SQL文件。 父主题: 数据库基本使用
Logstash集群预置了常见的几种Logstash配置文件模板,请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数
请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch 数据导入场景 源数据库 目标OpenSearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本
询性能,提升使用效率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsearch作为关系型数据库的补充,以此提升数据库的全文检索能力和高并发的Ad Hoc查询能力。
能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。 测试前准备 创建Elasticsearch向量数据库,参考创建Elasticsearch集群。
某女装品牌在网上经营电商业务,以前使用传统数据库来为用户提供商品搜索功能,但随着用户数量和业务的增长,使用传统数据库的弊端愈来愈明显。主要问题表现为响应速度慢、准确性低。为了改善用户体验从而避免用户流失,该电商网站开始使用云搜索服务为用户提供商品搜索功能,不仅解决了之前使用传统数据库产生的问题,而且实现了用户数量的增长。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
"L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访问,或者
CSS服务中Kibana是否支持导出数据功能? Elasticsearch 7.6.2、7.9.3和7.10.2版本(镜像版本号小于24.3.0)的Kibana导出数据需要依赖SQL Workbench插件。 在Kibana的“SQL Workbench”里,输入Elasticsearch
BY或ORDER BY来获得结果。 LIMIT和OFFSET不支持一起使用(例如LIMIT 25 OFFSET 25)。 JDBC驱动 Java数据库连接(JDBC)驱动程序允许您将Open Distro for Elasticsearch与您的商业智能(BI)应用程序集成。 有关下载和
"L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过公网IP访问,或者
根据提示信息修改参数值。 400 CSS.5002 Invalid database type. 数据库类型不合法。 暂时只支持ElasticSearch类型。 400 CSS.5003 Invalid database version. 数据库版本不合法。 Elasticsearch搜索引擎和Kibana目前支持7
升级Elasticsearch集群版本 数据库数据迁移至Elasticsearch集群 数据复制服务DRS 适用于将MySQL数据库中的数据同步到Elasticsearch集群中。一般用于集群间的数据增量迁移,在数据同步后集群随时可割接,较其他增量迁移更加方便灵活。 不同数据库来源的迁移方式和使用约束请参见相关文档。
务情况增加或减少Replica数量。 文档 Elasticsearch存储的实体,是可以被索引的基本单位,相当于关系型数据库中的行。 文档类型 类似关系型数据库中的表,用于区分不同的数据。 Elasticsearch 7.x以下版本中,1个索引里面可以包含若干个文档类型,每个文档必须设定它的文档类型。
BY或ORDER BY来获得结果。 LIMIT和OFFSET不支持一起使用(例如LIMIT 25 OFFSET 25)。 JDBC驱动 Java数据库连接(JDBC)驱动程序允许您将Open Distro for Elasticsearch与您的商业智能(BI)应用程序集成。 有关下载和
图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。
None 服务介绍 云搜索服务 CSS 产品介绍 03:41 了解什么是云搜索服务 特性讲解 云搜索服务 CSS 向量数据库 04:58 了解什么是CSS向量数据库 云搜索服务 CSS Elasticsearch增强能力 07:15 了解CSS的Elasticsearch增强能力 操作指导