检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导入导出类 Elasticsearch显示CPU使用率高,导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
OpenSearch集群导入数据方式 OpenSearch集群导入数据方式介绍 OpenSearch集群支持通过多种方式导入数据,基于业务使用场景可以自行选择导入数据的方式,具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强,具体操作请参
Elasticsearch集群导入数据方式 Elasticsearch集群导入数据方式介绍 Elasticsearch集群支持通过多种方式导入数据,基于业务使用场景可以自行选择导入数据的方式,具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强,具体操
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景
使用CDM导入数据到Elasticsearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务
果数据与导入数据一致,表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时,导入数据的流程说明如图3所示。 图3 Logstash部署在弹性云服务器上时导入数据示意图
果数据与导入数据一致,表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时,导入数据的流程说明如图3所示。 图3 Logstash部署在弹性云服务器上时导入数据示意图
增强OpenSearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述
API导入数据:使用POST命令导入数据。 在ECS服务器上使用开源Elasticsearch API导入数据:使用Curl命令导入数据。 在Kibana上使用开源Elasticsearch API导入数据 在Kibana上支持通过POST命令使用开源Elasticsearch API导入单条数据。 登录云搜索服务管理控制台。
步与时间相关的数据时,同步前后的数据可能存在时区差。 前提条件 已准备好存有数据的MySQL数据库,本案例以云数据库的RDS for MySQL实例为例,具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstash集群,具体操作请参见创建Logstash集群。本文以7
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
导入数据至Elasticsearch集群 Elasticsearch集群导入数据方式 使用自建Logstash导入数据到Elasticsearch 使用开源Elasticsearch API导入数据到Elasticsearch 使用CDM导入数据到Elasticsearch 增强
Dashboards上使用开源OpenSearch API导入数据:使用POST命令导入数据。 在ECS服务器上使用开源OpenSearch API导入数据:使用Curl命令导入数据。 在OpenSearch Dashboards上使用开源OpenSearch API导入数据 在OpenSearch
度。 PUT /my_logs { "settings": { "refresh_interval": "30s" } } 父主题: 数据导入导出类
配置章节。 重建索引,使分片数大于集群节点数。 如果分片数和队列大小都满足条件,但是cpu和负载依然比较高,建议扩容节点。 父主题: 数据导入导出类
批量添加或删除集群标签 功能介绍 该接口用于对集群批量添加或删除标签。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/{resource_type}/{cluster_id}/tags/action 表1 路径参数 参数 是否必选 参数类型
(可选)准备工作:根据业务需要,完成集群高级配置。 (可选)预构建与注册中心点向量:当选择使用“IVF_GRAPH”或“IVF_GRAPH_PQ”索引算法创建向量索引时,则需要对中心点向量进行预构建和注册。 创建向量索引:基于业务场景创建向量索引。 导入向量数据:将向量数据导入集群。 在Elasticsearch
修改logstash配置文件output标签下elasticsearch内添加配置项ilm_enabled => false。 重新尝试推送数据到es。 父主题: 数据导入导出类
redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。