检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS服务中如何清理Elasticsearch索引数据? 在清理索引数据前,请谨慎评估索引数据删除后对业务的影响。 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。
使用DSL语言在Elasticsearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如
在Elasticsearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。
在Hadoop生态系统中更好地开展工作。 本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他任何需要使用ES集群的应用。如有需要,也可以参考本文在其他服务中使用Elasticsearch,前提是要保证客户端与Elasticsearch集群网络连通。 准备工作
不能以“/”结尾,允许多层路径,但长度不能超过255字符。 图3 自定义Base Path 配置完成后,单击“Save changes”保存配置。大约10秒后,配置即可生效。 通过地址“Kibana公网访问地址+Base Path Alias”访问Kibana。 例如,Elas
ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个
在半点时刻会自动删除超过保留个数的快照。过期删除策略只针对与当前自动创建快照策略相同执行频次的自动快照。 bucket 否 String 备份使用的OBS桶名称。 basePath 否 String 快照在OBS桶中的存放路径。 agency 否 String 委托名称,委托给CSS,允许CSS调用您的其他云服务。
_template/template_test 新建一个索引,指定“aliases”,并配置“is_write_index”为“true”。该索引会自动应用索引模板“template_test”,并通过索引模板的配置与生命周期策略“rollover_workflow”相关联,实现当索引的大小达
_template/template_test 新建一个索引,指定“aliases”,并配置“is_write_index”为“true”。该索引会自动应用索引模板“template_test”,并通过索引模板的配置与生命周期策略“rollover_workflow”相关联,实现当索引的大小达
(CPU架构为X86计算) 本地盘 挂载SSD盘 适用大型搜索与分析场景,场景对计算或磁盘I/O均有较高要求,例如舆情分析、专利检索、以及部分数据库加速场景。 规划节点规格 在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。例如,一个由3个节点组成的集群,每个节点配置为32核C
index_state_management.policy_id 生命周期的策略名 新建一个索引“data-2022-06-06”,该索引会自动应用索引模板“template_hot_warm”,并通过索引模板的配置与生命周期策略“hot_warm_policy”相关联,实现索引在创建3天后冻结,7天后删除。
ECS服务器部署Logstash推送数据到CSS服务报错 问题现象 ECS服务器部署logstash,然后推送数据到云搜索服务CSS,出现错误信息如下: LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError:
(CPU架构为X86计算) 本地盘 挂载SSD盘 适用大型搜索与分析场景,场景对计算或磁盘I/O均有较高要求,例如舆情分析、专利检索、以及部分数据库加速场景。 规划节点规格 在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。例如,一个由3个节点组成的集群,每个节点配置为32核C
多种向量索引,支持欧式、内积、余弦、汉明等多种相似度计算方式,召回率和检索性能均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticsearch的所有能力,包括分布式、多副本、错误恢复、快照、权限控制等;兼容所有原生Elast
多种向量索引,支持欧式、内积、余弦、汉明等多种相似度计算方式,召回率和检索性能均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticsearch的所有能力,包括分布式、多副本、错误恢复、快照、权限控制等;兼容所有原生Elast
index_state_management.policy_id 生命周期的策略名。 新建一个索引“data-2022-06-06”,该索引会自动应用索引模板“template_hot_warm”,并通过索引模板的配置与生命周期策略“hot_warm_policy”相关联,实现索引在创建
化查询与分析。该方案可以用于以下场景: 日志管理:集中管理应用程序和系统日志,快速定位问题。 安全监控:检测和响应安全威胁,进行入侵检测和异常行为分析。 业务分析:分析用户行为,优化产品和服务。 性能监控:监控系统和应用程序性能,实时发现瓶颈。 方案架构 ELKB(Elastic
图1 项目隔离模型 Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP:应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 企业项目
当需要修改预置的Extra停词词库时,单击“更新”,选择txt格式的词库文件。 当不使用Extra停词库时,单击“不使用此词库”,删除词库。 单击“保存”,在弹窗中单击“确定”。词库信息在下方呈现,此时词库状态为“更新中”。请耐心等待1分钟左右,当词库配置完成后,词库状态变更为“成功”。
配置OpenSearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷