最多支持配置3个可用区。 配置数据节点。 数据节点用于存储集群数据,当集群未启用Master节点和Client节点时,数据节点将同时承担集群管理、存储数据、提供接入集群和分析数据的职责。此时,为保证集群中数据的稳定性,建议设置节点数量大于等于3个。 图2 配置数据节点 表3 数据节点配置 参数 示例
最多支持配置2个可用区。 配置数据节点。 Logstash集群的数据节点用于处理和传输数据。 图3 配置数据节点 表3 数据节点配置 参数 示例 说明 CPU架构 X86计算 选择数据节点的CPU架构。 节点规格 ess.spec-4u8g 选择数据节点的规格。单击“选择节点规格”,在弹窗中选择合适的规格。
询需求。 实时数据同步:通过华为云数据复制服务DRS,可以实现MySQL数据库中的数据实时同步到Elasticsearch,确保数据的一致性和实时性。 简化的数据迁移和索引创建:在Elasticsearch中,可以创建与MySQL数据库表结构相对应的索引,简化了数据迁移和索引管理的复杂性。
网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 数据安全 在云搜索服务中,通过多副本、集群跨az部署、索引数据第三方(OBS)备份功能保证用户的数据安全。 父主题: 安全
数据导入导出类 Elasticsearch显示CPU使用率高,导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
CSS服务中Kibana是否支持导出数据功能? Elasticsearch 7.10.2版本(镜像版本号大于或等于7.10.2_24.3.3_*)的Kibana支持一键导出CSV格式的数据。 导出的数据不能超过10MB,当数据超过10M时,仅导出前面10M数据。 当数据中存在“=+-@”等特殊
最多支持配置3个可用区。 配置数据节点。 数据节点用于存储集群数据,当集群未启用Master节点和Client节点时,数据节点将同时承担集群管理、存储数据、提供接入集群和分析数据的职责。此时,为保证集群中数据的稳定性,建议设置节点数量大于等于3个。 图2 配置数据节点 表3 数据节点配置 参数 示例
API导入数据:使用POST命令导入数据。 在ECS服务器上使用开源Elasticsearch API导入数据:使用Curl命令导入数据。 在Kibana上使用开源Elasticsearch API导入数据 在Kibana上支持通过POST命令使用开源Elasticsearch API导入单条数据。 登录云搜索服务管理控制台。
使用OpenSearch搜索数据 OpenSearch使用流程 OpenSearch集群规划建议 创建OpenSearch集群(新版) 创建OpenSearch集群(旧版) 访问OpenSearch集群 导入数据至OpenSearch集群 使用OpenSearch集群搜索数据 增强OpenSearch集群搜索能力
热启动pipeline迁移数据 功能介绍 该接口用于热启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-start 表1 路径参数 参数 是否必选
h集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式
Dashboards上使用开源OpenSearch API导入数据:使用POST命令导入数据。 在ECS服务器上使用开源OpenSearch API导入数据:使用Curl命令导入数据。 在OpenSearch Dashboards上使用开源OpenSearch API导入数据 在OpenSearch Dash
快照在恢复过程中不可查询集群数据。 当两个集群的shard不一样时,则无法恢复集群数据。 用于恢复的目标集群版本不得低于源集群版本,一般保持版本一致即可。 前提条件 快照管理列表中有“快照状态”为“可用”的快照。快照存储在OBS桶中需要额外收费,具体收费请参见OBS计费说明。 恢复数据 登录云搜索服务管理控制台。
启动pipeline迁移数据 功能介绍 该接口用于启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/start 表1 路径参数 参数 是否必选 参数类型
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
"size": "L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过
索;冷数据节点则存储历史数据,这些数据访问频率较低,可以存储在成本较低的硬件上。 原理描述 图1 切换冷热数据原理 在创建集群时,启用的冷数据节点会被打上“cold”标签,用来存放冷数据,数据节点会被打上“hot”标签,用于存放热数据。在集群中,通过配置指定索引,将历史数据分配到
使用OpenSearch集群搜索数据 使用DSL语言在OpenSearch中搜索数据 使用SQL语言在OpenSearch中搜索数据 父主题: 使用OpenSearch搜索数据
热停止pipeline迁移数据 功能介绍 该接口用于热停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-stop 表1 路径参数 参数 是否必选
停止pipeline迁移数据 功能介绍 该接口用于停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/stop 表1 路径参数 参数 是否必选 参数类型
您即将访问非华为云网站,请注意账号财产安全