检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他任何需要使用ES集群的应用。如有需
dotProduct无法执行。 推荐采用云搜索服务的向量检索功能。该功能依托于CSS自主研发的向量搜索引擎,并利用Elasticsearch的插件架构进行了深度集成,为用户提供了一种高效、低成本的解决方案,旨在满足包括但不限于高性能、高精度和多模态在内的多样化高维向量检索需求。更多信息请参见向量检索。
续过高(超过90%) 问题描述 关于Elasticsearch集群的最大堆内存持续超过90%的问题。其中如果节点在90%堆内存上下波动,有增有减,则无异常;持续高内存时,集群存在一定的风险。 原因分析 排查集群的写入和查询队列,查看是否有大量任务堆积。 GET /_cat/thread_pool/write
集群突现load高的故障排查 问题现象 集群任务被长时间拒绝,且大量任务出现卡死的情况,在Cerebro界面可以看到集群的load数值突然飙升。 原因分析 集群出现load升高的可能原因如下: 查询请求命中的数据较多导致查询线程执行缓慢。 写入压力过大导致很多线程出现卡死现象。 排查步骤
快照管理接口 自动设置集群快照的基础配置(不推荐使用) 修改集群快照的基础配置 手动创建快照 恢复快照 删除快照 设置自动创建快照策略 查询自动创建快照的策略 查询快照列表 停用快照功能 开启自动创建快照功能 关闭自动创建快照功能 父主题: API
快照命名前缀,需要用户自己手动输入。 bucket String 参数解释: 快照存放的OBS桶的桶名。 basePath String 参数解释: 快照在OBS桶中的存放路径。 agency String 参数解释: 访问OBS桶用到的委托。 enable String 参数解释: 是否开启自动创建快照策略。
对OBS服务的授权。 自动设置集群快照接口将会自动创建快照OBS桶和委托。如果有多个集群,每个集群使用这个接口都会创建一个不一样的OBS桶,可能会导致OBS的配额不够,较多的OBS桶也难以维护。建议可以直接使用修改集群快照的基础配置。 调用方法 请参见如何调用API。 URI POST
CSS服务中如何修改Elasticsearch和OpenSearch集群的TLS算法? 支持修改TLS算法的集群:7.6.2及以上版本的Elasticsearch集群、OpenSearch集群 登录云搜索服务控制台。 选择“集群管理”进入集群列表。 选择需要修改的集群,单击集群名称,进入集群基本信息页面。
表示关闭自动创建快照策略时,是否需要清除所有自动创建的快照。 默认为“false”,表示不会删除之前已自动创建的快照。 设置为true,表示在关闭自动创建快照策略的同时,删除所有已创建的快照。 frequency 否 String 自动创建快照的执行频次。 说明: 默认值DAY,取值HOU
够有效减少训练的开销、中心点索引的查询次数,提升写入以及查询的性能。 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_
够有效减少训练的开销、中心点索引的查询次数,提升写入以及查询的性能。 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_
确保业务操作的连续性不受影响,然而,集群的高可用性上有风险。 单节点使用率超过90%:系统将自动触发分片迁移机制,将该节点上的分片重新分配至磁盘使用率较低的其他数据节点。这一过程可能导致集群暂时无法分配新的分片,进而影响到业务的正常运行,因为分片的迁移和重新分配可能会导致查询延迟
与其他服务之间的关系 CSS与其他服务的关系如图1所示。 图1 CSS与其他服务的关系 表1 CSS服务与其他服务的关系 相关服务 交互功能 虚拟私有云(Virtual Private Cloud,简称VPC) 云搜索服务CSS的集群创建在虚拟私有云(VPC)的子网内,VPC通过
Distro会执行一个初始化的流程,将policy的内容填到这条数据中,初始化以后的数据如下图所示。 图3 初始化后数据 初始化结束后,policy中的min_index_age都会被复制过来。 如果此时去更新policy的内容,已经完成初始化流程的索引是完全不感知的,因为他已经将旧的policy
Elasticsearch集群内核支持的监控指标 表1 集群内核支持的监控指标 指标名称 描述 支持的集群版本 相关文档 search请求的P99时延 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CS
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求已成功。 400 非法请求。 建议直接修改该请求,不要重试该请求。 404 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。
CSS集群各节点的向量索引查询加载的堆外内存使用量的平均值。 ≥ 0 bytes avg_vector_index_off_heap_usage 平均向量索引堆外内存使用率 CSS集群各节点的向量索引查询加载的堆外内存使用率的平均值。 只有触发向量索引的查询才会触发对应向量索引的查询加载的堆外内存使用率。
云搜索服务的包周期资源如何续费? 云搜索服务支持按年按月续费资源,具体续费操作如下: 已有集群时如何续费 如果是已经建好的包周期集群,需要续订包周期,可以执行如下步骤: 在云搜索服务的集群管理列表页,找到需要续订的计费模式为“包年/包月”的集群。 单击操作列的“更多 > 续费”,确定后进入续费页面。
Elasticsearch向量检索的性能测试和比较 应用场景 云搜索服务的向量检索引擎提供了全托管、高性能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。
如何获取CSS服务的安全证书? CSS服务只有启用HTTPS访问的安全集群才能下载安全证书(CloudSearchService.cer)。安全证书不支持在公网环境下使用。 登录云搜索服务控制台。 选择“集群管理”进入集群列表。 单击对应集群的名称,进入集群基本信息页面。 在“基