检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 bucket_name 是 String 证书文件存放的OBS桶(桶类型必须为标准存储或者低频存储,不支持归档存储)。 certs_object 是 String 证书文件对象。证书文件大小不能超过1M。证书名称在4位到32位之间,必须以字母开头,以(.cer|
8,分布极不均匀。 解决方案 如果问题是由分片数据量过大导致。 分片大小可以通过index模板下的“number_of_shards”参数进行配置。 模板创建完成后,再次新创建索引时生效,旧的索引不能调整。 如果问题是由分片数分布不均匀导致。 临时解决方案: 可以通过如下命令设置“routing
推荐采用云搜索服务的向量检索功能。该功能依托于CSS自主研发的向量搜索引擎,并利用Elasticsearch的插件架构进行了深度集成,为用户提供了一种高效、低成本的解决方案,旨在满足包括但不限于高性能、高精度和多模态在内的多样化高维向量检索需求。更多信息请参见向量检索。 仅Elasticsearch 7.6.2、Elasticsearch
entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数:
据提取的特征向量数据进行最近邻或近似近邻检索。详情请参见向量检索。 存算分离 云搜索服务提供冻结索引API,支持将存储在SSD的热数据转储到OBS中以降低数据的存储成本,实现存算分离。详情请参见存算分离。 流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供单个节
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。 |
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。 |
日志和事件监控:收集和分析大量日志数据,实时监控系统状态和安全事件。 医疗健康记录:快速检索和分析患者记录,支持临床决策和研究。 方案架构 图1 Elasticsearch加速关系型数据库的方案架构 用户业务数据存储到MySQL。 通过数据复制服务DRS将MySQL中的数据实时同步到CSS服务的Elasticsearch集群。
node,所有节点都是Coordinating node分摊来客户端请求吗? 如果没有ingest业务时,那么客户端节点是不是就处于空闲状态? 解决方案 集群节点的“node.roles”为“i”时,表示集群的客户端节点上启用了ingest节点模式。 Elasticsearch的“coordinating
v 查看集群监控,排查集群的写入和查询任务相关指标。 如果集群长期处于高堆内存占用状态,查看集群节点个数、节点规模,确认是否需要扩容。 解决方案 根据任务堆积现象优化客户端写入或查询程序。 根据业务情况,如果集群长期处于高负载状态,则集群会存在写入、查询缓慢,节点频繁掉线等情况。需
能超过32。若无需扩容该参数将该参数设置为0即可。 disksize 是 Integer 扩容实例存储容量。集群原实例存储容量和扩容实例存储容量之和不能超过创建集群时对应默认实例存储容量上限。若无需扩容该参数将该参数设置为0即可。当集群为包周期集群时不支持同时修改节点个数和磁盘容量。
aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入,该方案可以有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 Bulk聚合优化 文本索引加速 通过指定配置项“index.nati
使用CDM导入数据到Elasticsearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群
配置自定义词库,并查看分词效果。当预置词库即可满足分词需求时,可以跳过此步骤。 准备词库文件(UTF-8无BOM格式编码的文本文件),上传到对应OBS路径下。 主词词库文件中包含词语“智能手机”;停词词库文件中包含词语“是”;同义词词库文件中包含一组同义词“开心”和“高兴”。 由于系统预置的静态停词词库
aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入,该方案可以有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 Bulk聚合优化 文本索引加速 通过指定配置项“index.nati
配置自定义词库,并查看分词效果。当预置词库即可满足分词需求时,可以跳过此步骤。 准备词库文件(UTF-8无BOM格式编码的文本文件),上传到对应OBS路径下。 主词词库文件中包含词语“智能手机”;停词词库文件中包含词语“是”;同义词词库文件中包含一组同义词“开心”和“高兴”。 由于系统预置的静态停词词库
通过索引生命周期管理实现OpenSearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到
创建配置文件页面,编辑Elasticsearch集群的全量迁移配置文件。 选择集群模板:展开系统模板,选择“elasticsearch”,单击操作列的“应用”。 设置配置文件名称:在“名称”处自定义配置文件名称,例如“es-es-all”。 修改配置文件内容:在“配置文件内容”处
跨地域或跨账号迁移:将其他Region或账号下的Elasticsearch集群迁移到当前集群中。 集群合并:将两个Elasticsearch集群的索引数据合并到一个集群中。 方案架构 图1 迁移流程 通过CSS服务的读写分离插件迁移华为云Elasticsearch集群(源集群)至华为云Elasticsearch(目标集群)的数据迁移流程如图1所示。