检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Elasticsearch加速关系型数据库的查询分析 介绍如何将MySQL数据库中的数据同步到云搜索服务的Elasticsearch集群，通过Elasticsearch实现数据库的全文检索、Ad Hoc查询和统计分析能力。 应用场景 使用Elasticsearch加速关系型数据库，可以解决关系型数据库在某些方
确保MySQL数据库、Logstash集群和Elasticsearch集群在同一时区，否则当同步与时间相关的数据时，同步前后的数据可能存在时区差。 前提条件 已准备好存有数据的MySQL数据库，本案例以云数据库的RDS for MySQL实例为例，具体操作请参见购买RDS for
率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库（例如MySQL、GaussDB for MySQL等）受限于全文检索和Ad Hoc查询能力，因此会将Elasticsearch作为关系型数据库的补充，以此提升数据库的全文检索能力和高并发的Ad
X86计算 节点规格 选择集群节点的规格。 ess.spec-4u8g 节点存储 选择集群节点的存储类型。 高I/O 节点存储容量 设置集群节点的存储空间大小，其取值范围与节点规格关联，不同的规格允许的取值范围不同。节点存储容量只支持配置为20的倍数。 40GB 启用Master节点 Ma
请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch 数据导入场景 源数据库 目标OpenSearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本
表2。 表2 使用DRS从数据库导入数据至Elasticsearch 数据导入场景 源数据库 目标Elasticsearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8
hdf5_file = h5py.File(src, "r") base_vectors = hdf5_file["train"] query_vectors = hdf5_file["test"] ground_truths = hdf5_file["neighbors"]
云搜索服务支持通过云数据迁移服务CDM的向导式界面，将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中，数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群 将Oracle数据库的数据导入到CSS服务 本地或第三方Oracle数据库
云搜索服务支持通过云数据迁移服务CDM的向导式界面，将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中，数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群 将Oracle数据库的数据导入到CSS服务 本地或第三方Oracle数据库
Logstash配置文件模板介绍 系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板，请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明
节点规格 选择集群节点的规格。 ess.spec-4u8g 节点存储 选择集群节点的存储类型。 普通I/O 节点存储容量 设置集群节点的存储空间大小，其取值范围与节点规格关联，不同的规格允许的取值范围不同。节点存储容量只支持配置为20的倍数。 40GB 启用Master节点 Ma
图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景，存在数据量大、查询并发高、吞吐大、查询延迟低的要求，关系型数据库具备较好的事务性与原子性，但其TP与AP处理能力较弱，通过将CSS作为备数据库，可提升整个系统的TP与AP处理能力。
配置Filebeat的配置文件“filebeat.yml”。 例如，采集“/root/”目录下以“log”结尾的所有文件，配置文件“filebeat.yml”中的内容如下： filebeat.inputs: - type: log enabled: true # 采集的日志文件路径。
bucketName 是 String 词库文件存放的OBS桶（桶类型必须为标准存储或者低频存储，不支持归档存储）。 mainObject 否 String 主词词库文件对象，必须为UTF-8无BOM编码的文本文件，一行一个分词，文件大小最大支持100M。 7个词库参数至少修改一
None 服务介绍 云搜索服务 CSS 产品介绍 03:41 了解什么是云搜索服务 特性讲解 云搜索服务 CSS 向量数据库 04:58 了解什么是CSS向量数据库 云搜索服务 CSS Elasticsearch增强能力 07:15 了解CSS的Elasticsearch增强能力 操作指导
华为云 云搜索服务 云搜索服务（Cloud Search Service，简称CSS），为您提供托管的分布式搜索引擎服务，完全兼容开源Elasticsearch搜索引擎，支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。 图说云搜索服务 产品介绍
variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.get
Shard下的实际存储索引的一个副本。可以理解为备份Shard。副本的存在可以预防单节点故障。使用过程中，您可以根据业务情况增加或减少Replica数量。 文档 Elasticsearch存储的实体，是可以被索引的基本单位，相当于关系型数据库中的行。 文档类型 类似关系型数据库中的表，用于区分不同的数据。
实时性可控：读写分离的默认同步周期为30秒，支持修改，可以控制数据迁移的实时性，减少数据同步过程中的延迟 。 性能影响 使用读写分离迁移集群的核心在于通过底层文件复制来实现数据同步，此方法绕开了Elasticsearch的外部读写API，因此对源集群的性能影响被降至最低。 约束限制 源集群和目标集群的版本必须一致，都是7
升级Elasticsearch集群版本 数据库数据迁移至Elasticsearch集群 数据复制服务DRS 适用于将MySQL数据库中的数据同步到Elasticsearch集群中。一般用于集群间的数据增量迁移，在数据同步后集群随时可割接，较其他增量迁移更加方便灵活。 不同数据库来源的迁移方式和使用约束请参见相关文档。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
