检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的回程路由,以此打通Logstash集群和数据源之间的网络。 约束限制 修改集群路由时,可能导致业务网络异常,影响Logstash和数据源之间的网络连接,请谨慎操作。 配置Logstash集群路由 登录云搜索服务管理控制台。 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
"SELECT * FROM my-index LIMIT 50" } 默认情况下,查询结果返回的是JSON格式的数据。当需要返回CSV格式的数据时,则需要在命令中对format参数进行如下设置: 1 2 3 4 POST _plugins/_sql?format=csv {
使用OpenSearch集群搜索数据 使用DSL语言在OpenSearch中搜索数据 使用SQL语言在OpenSearch中搜索数据 父主题: 使用OpenSearch搜索数据
存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分,新写入的数据一般属于热数据,存储在SSD中
集群索引插入数据失败 问题现象 向CSS集群索引中插入数据失败,报错如下: 问题分析 当磁盘的使用率超过95%时,Elasticsearch为了防止节点耗尽磁盘空间,自动将索引设置为只读模式。 解决方案 新版本(7.10.2之后)集群磁盘使用率下降后会自动关闭只读模式,只需清理或扩容磁盘。
使用DSL语言在OpenSearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL
单,即被判定为账户欠费。欠费后,可能会影响集群资源的正常运行,请及时充值。 欠费原因 在按需计费模式账户中的余额不足以抵扣产生的按需费用。 欠费影响 包年/包月 对于包年/包月集群,用户已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月集群仍可正常使用。然而,对
以步骤2中“/tmp/access_log/”的数据文件为例,输入数据文件从首行开始,且过滤条件保持为空,即不做任何数据处理操作。需导入数据的集群,其节点内网访问地址和端口号为“192.168.0.81:9200”。导入数据的索引名称为“myindex”。配置文件的示例如下所示,配置文件按实际数据情况修改完成后,输入“:wq”保存。
Elasticsearch数据迁移 Elasticsearch集群数据迁移方案介绍 通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云
在OpenSearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。 POST
确认集群不存在非标操作。当集群进行过修改回程路由、系统参数、Kibana配置等这些非标操作时,这些操作无法被记录到系统中,因此在切换过程中将无法继承,切换后可能会影响业务。 在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 约束限制 为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。
使用Logstash迁移数据 Logstash是一款收集、转换、清洗、解析数据的工具,本章节为您提供了一个使用Logstash集群完成Elasticsearch集群间数据迁移的示例,您可以参考此示例来了解Logstash服务,包括创建集群、导入导出数据、任务配置等操作。 视频介绍
t节点时,数据节点将用于存储数据并提供接入集群和分析数据的功能。 当集群未启用Master节点但启用了Client节点时,数据节点将用于存储数据并提供集群管理功能。 当集群同时启用了Master节点和Client节点时,数据节点将仅用于存储数据。 说明: 当集群中数据节点的数量和
备份与恢复OpenSearch集群数据 创建快照备份OpenSearch集群数据 恢复OpenSearch集群数据 删除OpenSearch集群快照 父主题: 使用OpenSearch搜索数据
迁移时长可控:基于迁移时长评估公式可以配置数据迁移速率,理想状态下等于文件复制速率。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。
arch中搜索数据。 SQL使用示例 在Kibana中使用SQL语言搜索数据(推荐) 在Kibana的DevTools中将请求发送到“_opendistro/_sql”,可以使用请求参数或请求正文。 例如,执行如下命令,从“my-index”索引中搜索出50条数据。 1 2 3 4
热启动pipeline迁移数据 功能介绍 该接口用于热启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-start 表1 路径参数 参数 是否必选
确认集群不存在非标操作。当集群进行过修改回程路由、系统参数、Kibana配置等这些非标操作时,这些操作无法被记录到系统中,因此在切换过程中将无法继承,切换后可能会影响业务。 在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 约束限制 为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。
适用于大规模数据迁移:快照备份适用于数据量大的场景,特别是当数据量达到GB、TB甚至PB级别时。 恢复过程可控:在恢复数据时,可以选择恢复特定索引或全部索引,并且可以指定恢复到特定的集群状态。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案