检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高效可靠:华为云向量检索引擎,提供优秀的搜索性能以及分布式容灾能力。 索引丰富:支持多种索引算法及相似度度量方式,满足各类应用场景及需求。 “0”学习成本:完全兼容开源ES语法与生态。 图4 向量检索场景
引来过滤掉无关文档,而向量检索是通过对向量建立索引结构来绕过不相关的向量,减小需要考察的范围。 降低单个向量计算的复杂度 向量检索支持漏斗模型,先对所有向量进行量化和近似计算,筛选出一定量接近检索目标的数据集,然后基于筛选的数据集进行精细的计算和排序。本方法不需要对所有向量都进行复杂的计算,可以有效提高检索效率。
引来过滤掉无关文档,而向量检索是通过对向量建立索引结构来绕过不相关的向量,减小需要考察的范围。 降低单个向量计算的复杂度 向量检索支持漏斗模型,先对所有向量进行量化和近似计算,筛选出一定量接近检索目标的数据集,然后基于筛选的数据集进行精细的计算和排序。本方法不需要对所有向量都进行复杂的计算,可以有效提高检索效率。
dotProduct无法执行。 推荐采用云搜索服务的向量检索功能。该功能依托于CSS自主研发的向量搜索引擎,并利用Elasticsearch的插件架构进行了深度集成,为用户提供了一种高效、低成本的解决方案,旨在满足包括但不限于高性能、高精度和多模态在内的多样化高维向量检索需求。更多信息请参见向量检索。
FLAT:暴力计算,目标向量依次和所有向量进行距离计算,此方法计算量大,召回率100%。适用于对召回准确率要求极高的场景。 GRAPH:图索引,内嵌深度优化的HNSW算法,主要应用在对性能和精度均有较高要求且单shard中文档数量在千万个以内的场景。 GRAPH_PQ:将HNSW算法与PQ
《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
Level Client接入Elasticsearch集群 High Level Client是在Low Level Client基础上进行封装的,如果High Level Client中的方法调用(例如“.search”,“.bulk”)不能满足使用需求,或存在兼容性问题,可以选择使用Low
在左侧菜单栏选择“集群管理 > Logstash”。 单击右上角的“创建集群”,进入“创建集群”页面。 配置集群的计费模式和可用区。 表1 计费模型和可用区参数说明 参数 说明 取值样例 计费模式 集群支持“包年/包月”和“按需计费”两种模式。 包年/包月:根据集群购买时长,一次性支付
Elasticsearch官方提供了SDK(Rest High level Client)方式连接集群,Rest Client客户端对Elasticsearch的API进行了封装,用户只需要构造对应的结构即可对ES集群进行访问。Rest Client的详细使用请参考官方文档:https://www.elastic.
建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。
件对外提供安全集群能力,opendistro_security安全插件是基于RBAC(Role-Based Access Control)模型构建。RBAC包括三个重要核心概念:用户(User)、权限(Action)、角色(Role)。RBAC简化了用户和权限的关系,降低了权限管
Hive客户端接入Elasticsearch集群 Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。
创建管道事件批时,在将过小的批调度到管道工作线程之前,等待每个事件的时间。 默认值:50 单位:毫秒 queue.type 用于事件缓冲的内部队列模型。 “memory”为基于内存的传统队列。 “persisted”为基于磁盘的ACKed持久化队列。 默认值:memory queue.checkpoint
Integer 每个event被pipeline调度等待的最小时间。 单位毫秒。 queueType 是 String 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,persisted为基于磁盘的ACKed持久化队列,默认值为memory。 queueCheckPointWrites
Integer 每个event被pipeline调度等待的最小时间。 单位毫秒。 queueType 是 String 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,persisted为基于磁盘的ACKed持久化队列,默认值为memory。 queueCheckPointWrites
件对外提供安全集群能力,opendistro_security安全插件是基于RBAC(Role-Based Access Control)模型构建。RBAC包括三个重要核心概念:用户(User)、权限(Action)、角色(Role)。RBAC简化了用户和权限的关系,降低了权限管
在左侧菜单栏选择“集群管理 > Elasticsearch”。 单击右上角的“创建集群”,进入“创建集群”页面。 配置集群的计费模式和可用区。 表1 计费模型和可用区参数说明 参数 说明 取值样例 计费模式 集群支持“包年/包月”和“按需计费”两种模式。 包年/包月:根据集群购买时长,一次性支付
false } } 安全集群(使用HTTP访问)的Logstash配置文件样例 当源端和目的端的Elasticsearch集群都是安全模型且未启用HTTPS访问时,Logstash配置文件可参考如下。 input { elasticsearch { #
Integer 每个event被pipeline调度等待的最小时间。 单位毫秒。 queueType String 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,persisted为基于磁盘的ACKed持久化队列,默认值为memory。 queueCheckPointWrites
Integer 每个event被pipeline调度等待的最小时间。 单位毫秒。 queueType String 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,persisted为基于磁盘的ACKed持久化队列,默认值为memory。 queueCheckPointWrites