检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Elasticsearch加速关系型数据库的查询分析 介绍如何将MySQL数据库中的数据同步到云搜索服务的Elasticsearch集群,通过Elasticsearch实现数据库的全文检索、Ad Hoc查询和统计分析能力。 应用场景 使用Elasticsearch加速关系型数据库,可以解决关系型数据库在某些方
仅Elasticsearch 7.10.2版本的集群支持在嵌套字段中使用向量索引。 创建向量索引 创建一个带有嵌套字段的向量索引,该索引包含一个id字段,类型为keyword,包含一个embedding字段,类型为nested。embedding嵌套字段包含两个子字段chunk和emb,其中chunk为k
某女装品牌在网上经营电商业务,以前使用传统数据库来为用户提供商品搜索功能,但随着用户数量和业务的增长,使用传统数据库的弊端愈来愈明显。主要问题表现为响应速度慢、准确性低。为了改善用户体验从而避免用户流失,该电商网站开始使用云搜索服务为用户提供商品搜索功能,不仅解决了之前使用传统数据库产生的问题,而且实现了用户数量的增长。
"topk":2 } } } } 表1 标准查询的参数说明 参数 说明 vector(第一个) 表示该查询类型为VectorQuery。 my_vector 指定了需要查询的向量字段名称。 vector(第二个) 指定查询向量的具体值,支持数组形式以及Base64编码形式的输入。
Elasticsearch 7.x及以上版本中,文档类型只支持“_doc”。 映射 用来约束字段的类型,可以根据数据自动创建。相当于数据库中的Schema。 字段 组成文档的最小单位。相当于数据库中的Column。
Field mappings参数 type 字段类型,“vector”表示该字段为向量字段。 dimension 向量数据维度。取值范围:[1, 4096]。 indexing 是否开启向量索引加速。 可选值: false:表示关闭向量索引加速,向量数据仅写入docvalue
某女装品牌在网上经营电商业务,以前使用传统数据库来为用户提供商品搜索功能,但随着用户数量和业务的增长,使用传统数据库的弊端愈来愈明显。主要问题表现为响应速度慢、准确性低。为了改善用户体验从而避免用户流失,该电商网站开始使用云搜索服务为用户提供商品搜索功能,不仅解决了之前使用传统数据库产生的问题,而且实现了用户数量的增长。
cle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群 将Oracle数据库的数据导入到CSS服务 本地或第三方Oracle数据库 ElasticSearch
perf.lua http://x.x.x.x:9200 “t”表示压测线程数。 “c”表示与服务端的连接数。 “d”表示压测时间,“10m”表示10分钟 。 “s”表示Wrk的压测配置脚本。 “x.x.x.x”表示Elasticsearch集群的访问地址。 在回显中获得测试数据
"topk":2 } } } } 表1 标准查询的参数说明 参数 说明 vector(第一个) 表示该查询类型为VectorQuery。 my_vector 指定了需要查询的向量字段名称。 vector(第二个) 指定查询向量的具体值,支持数组形式以及Base64编码形式的输入。
通性。 登录云搜索服务管理控制台。 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。 在集群列表,单击集群操作列的“配置中心”,进入配置中心页面。 或者,在集群列表,单击集群名称,进入集群基本信息页面,在左侧导航栏选择“配置中心”,进入配置中心页面。 在配置中心页面,单击“连通性测试”。
Elasticsearch”。 在Elasticsearch集群列表,获取集群的访问地址。 图2 获取集群信息 登录目标Elasticsearch集群的Kibana操作页面。 在CSS服务的Elasticsearch集群列表,选择目标集群,单击操作列的“Kibana”,登录Kibana。
cle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群 将Oracle数据库的数据导入到CSS服务 本地或第三方Oracle数据库 ElasticSearch
None 服务介绍 云搜索服务 CSS 产品介绍 03:41 了解什么是云搜索服务 特性讲解 云搜索服务 CSS 向量数据库 04:58 了解什么是CSS向量数据库 云搜索服务 CSS Elasticsearch增强能力 07:15 了解CSS的Elasticsearch增强能力 操作指导
Logstash配置文件模板介绍 系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板,请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch
基于冻结状态查询索引列表 执行如下命令,基于冻结状态查询索引列表。 GET _cat/freeze_indices?stage=${STAGE} 表7 请求参数说明 参数名 说明 STAGE 索引的冻结状态,可选值如下: start:开始冻结但是还未完成的索引列表 done: 已经完成冻结的索引列表
型同时变更。 节点数量的取值范围请参见表2。 图1 集群缩容 单击“下一步”。 确认变更信息后,单击“提交申请”。 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列中显示为“缩容中”,表示集群正在缩容。当集群状态变为“可用”,则表示缩容成功。 缩容指定节点 登录云搜索服务管理控制台。
单击右上角的“创建集群”,进入创建集群页面。 在创建集群页面,根据指导完成集群配置。 关键配置参数请参见表3,其他参数可以保持默认值。创建集群的详细说明请参见创建Logstash集群。 表3 Logstash集群的关键配置 参数 说明 计费模式 选择“按需计费”,按实际使用时长计费,计
String 参数解释: 错误码。 取值范围: CSS.6000:表示集群创建失败。 CSS.6001:表示集群扩容失败。 CSS.6002:表示集群重启失败。 CSS.6004:表示集群节点创建失败。 CSS.6005:表示服务初始化失败。 errorMsg String 参数解释:
易用性好:支持丰富的可视化查询语句与拖拽式报表。 强大的处理能力:支持每天百TB级数量入库,提供PB级以上数据处理能力。 图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事