检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
式介绍 Elasticsearch集群支持通过多种方式导入数据,基于业务使用场景可以自行选择导入数据的方式,具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强,具体操作请参见增强Elasticsearch集群数据导入性能。 表1 El
通过Curl命令行接入OpenSearch集群 开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。 前提条件
Hoc查询和统计分析能力。 应用场景 使用Elasticsearch加速关系型数据库,可以解决关系型数据库在某些方面的局限性,实现更加高效和智能的数据处理和分析。常用于以下应用场景: 电子商务平台:快速搜索商品,提供个性化推荐,实时监控用户行为和交易数据。 内容管理系统:对大量文档和内容进行高效检索,支持复杂的查询和数据分析。
通过Curl命令行接入Elasticsearch集群 开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。
当主集群出现故障时,支持通过主从切换保证业务正常进行。 判断主从集群的索引同步方式。查询从集群是否有索引同步的匹配模式,命令参考查询并删除集群匹配模式。 如果没有匹配模式,则表示主从集群是指定索引同步关系,则执行3。 如果有匹配模式,则表示主从集群是模式匹配索引同步关系,则执行2。 删除从集群的索引同步
项目隔离模型 Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP:应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 企业项目 企业项目是项目
选择已经启动的管道名称,单击“全部停止”,停止正在运行的任务,等待所有管道任务停止完成。 图11 停止任务 步骤6:删除集群 已完成数据迁移业务,无需继续使用集群时,可删除集群释放资源,删除前请确保所有正在运行的管道任务全部停止。 集群删除前请停止所有正在运行的任务,请谨慎操作, 删除前请备份配置文件。
64”软件包。 通过SCP工具将下载的“migrator-linux-amd64”软件包上传到Linux ECS的执行路径下。 在Linux ECS的执行路径下执行命令,将源集群的索引结构和数据迁移到目标集群。 # 索引全量迁移 ./migrator-linux-amd64 -s
在“续费”页面,选择集群的续费时长,判断是否勾选“统一到期日”,将集群到期时间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。 确认配置费用后单击“去支付”。 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 如果集群处于已过期或者已冻结状态时,进行续费即可恢复使用。
10 11 12 mappings = { "settings": { "index": { "number_of_shards": number_of_shards, "number_of_replicas": 1, }, }, "mappings": {
FLAT:暴力计算,目标向量依次和所有向量进行距离计算,此方法计算量大,召回率100%。适用于对召回准确率要求极高的场景。 GRAPH:图索引,内嵌深度优化的HNSW算法,主要应用在对性能和精度均有较高要求且单shard中文档数量在千万个以内的场景。 GRAPH_PQ:将HNSW算法与PQ算法进行了结合,通过P
#addrs == 0 then -- 根据集群的实际地址进行修改。 append("x.x.x.x", 9200) append("x.x.x.x", 9200) append("x.x.x.x", 9200) end local
在Kibana操作页面,执行命令查看集群是否存在索引。 GET _cat/indices?v 当待导入数据的集群已存在可用的索引时,则不需要再创建索引,直接执行步骤7。 当待导入数据的集群不存在可用的索引时,则需要执行下一步创建索引。 在Kibana执行命令,创建待导入数据的索引,并指定自定义映射来定义数据类型。
于该参数值时,则执行暴力搜索。 默认值为“null”,即不会切换为暴力搜索。 Field mappings参数 type 字段类型,“vector”表示该字段为向量字段。 dimension 向量数据维度。取值范围:[1, 4096]。 indexing 是否开启向量索引加速。 可选值:
配置文件主要分为两个部分“authc”和“authz”。 authc(authentication,认证):主要作用是验证用户是否是其宣称的人(验证密码)。 authz(uthorization,授权):主要作用是判断当前用户是否具有相应权限。 PUT _plugins/_security/api/securityconfig/config
Dashboards操作页面,执行命令查看集群是否存在索引。 GET _cat/indices?v 当待导入数据的集群已存在可用的索引时,则不需要再创建索引,直接执行步骤7。 当待导入数据的集群不存在可用的索引时,则需要执行下一步创建索引。 在OpenSearch Dashboards执行命令,创建待
" } 问题分析 引起bulk reject的大多原因是shard容量过大或shard分配不均,具体可通过以下方法进行定位分析。 检查分片(shard)数据量是否过大。 单个分片数据量过大,可能引起Bulk Reject,建议单个分片大小控制在20GB - 50GB左右。可在ki
”时,待同步索引为“log1”,同步过来的索引为“log1”。 apply_exist_index 是否同步主集群上已存在的索引,默认为“true”。 在目标集群查询集群的自动同步状态,同步周期默认是30秒。 执行如下命令,获取匹配索引的同步状态。 GET auto_sync/stats
nSearch Dashboards页面。 在OpenSearch Dashboards的左侧导航中选择“Dev Tools”,进入命令执行页面。 创建生命周期策略“hot_warm_policy”。 策略定义:当索引创建3天后,自动调用冻结索引API将数据转储到OBS;索引创建7天后,删除该索引。
配置文件主要分为两个部分“authc”和“authz”。 authc(authentication,认证):主要作用是验证用户是否是其宣称的人(验证密码)。 authz(uthorization,授权):主要作用是判断当前用户是否具有相应权限。 PUT _opendistro/_security/api/securityconfig/config