检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导入导出类 Elasticsearch显示CPU使用率高,导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
CSS服务中Kibana是否支持导出数据功能? Elasticsearch 7.10.2版本(镜像版本号大于或等于7.10.2_24.3.3_*)的Kibana支持一键导出CSV格式的数据。 导出的数据不能超过10MB,当数据超过10M时,仅导出前面10M数据。
CSS服务资源监控 在云搜索服务管理控制台的总览页面,可以查看云搜索服务的资源监控和告警。 查看资源告警 在总览页面查看CSS服务的告警信息。 登录云搜索服务管理控制台。 在左侧导航栏选择“总览”,在“告警”模块查看告警信息。
步骤3:搜索数据:在Elasticsearch集群中对数据进行全文检索和聚合结果显示。 步骤4:删除索引:当不再使用对应的索引数据时,可以删除对应索引节约资源。 准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。
步骤5:停止任务:当数据迁移完成,不再需要迁移任务时,您可以停止任务。 步骤6:删除集群:无需继续使用集群时,可删除集群释放资源。 准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。
方案优势 数据一致性高:利用读写分离的主从复制机制,确保数据在不同分片之间的同步,提高数据的一致性 。 迁移速度快:读写分离的自动同步速度依赖带宽,不受源集群和目标集群的影响,同步快。
数据安全 在云搜索服务中,通过多副本、集群跨az部署、索引数据第三方(OBS)备份功能保证用户的数据安全。 父主题: 安全
对于资源消耗较低的集群,在迁移时可以采用默认参数配置,建议同时监控源集群的性能负载,并根据实际情况适时调整size和slice参数,以优化迁移效率和资源使用。 约束限制 集群迁移过程中,源集群的索引数据不能增删改,否则会导致迁移后的源集群数据和目标集群数据内容不一致。
表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。
云搜索服务的包周期资源如何续费? 云搜索服务支持按年按月续费资源,具体续费操作如下: 已有集群时如何续费 如果是已经建好的包周期集群,需要续订包周期,可以执行如下步骤: 在云搜索服务的集群管理列表页,找到需要续订的计费模式为“包年/包月”的集群。
统计分析能力:Elasticsearch的聚合功能可以快速进行数据统计和分析,如年龄分布统计等,这在关系型数据库中可能需要更多的计算资源和时间。
步骤3:搜索数据:在OpenSearch集群中对数据进行全文检索和聚合结果显示。 步骤4:删除索引:当不再使用对应的索引数据时,可以删除对应索引节约资源。 准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
执行如下命令将Logstash收集的数据导入到集群中。 ./bin/logstash -f logstash-simple.conf 此命令需要在存放logstash-simple.conf文件的目录下执行。
父主题: 导入数据至OpenSearch集群
恢复成功,快照列表中“任务状态”将变更为“恢复成功”,索引数据将根据快照信息重新生成。 父主题: 备份与恢复OpenSearch集群数据
使用OpenSearch搜索数据 OpenSearch使用流程 OpenSearch集群规划建议 创建OpenSearch集群 访问OpenSearch集群 导入数据至OpenSearch集群 使用OpenSearch集群搜索数据 增强OpenSearch集群搜索能力 配置OpenSearch
缩容Elasticsearch集群 当集群有充足的能力处理当前数据时,为节省资源可以参考本文缩容集群的节点数量。 场景描述 CSS服务支持多种缩容场景,如表1所示。
使用OpenSearch集群搜索数据 使用DSL语言在OpenSearch中搜索数据 使用SQL语言在OpenSearch中搜索数据 父主题: 使用OpenSearch搜索数据
场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。