检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导入导出类 Elasticsearch显示CPU使用率高，导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
源复制到其他数据库，并保持一致，实现关键业务的数据实时流动。 使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群，源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至Elasticsearch 数据导入场景 源数据库 目标Elasticsearch集群
请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch 数据导入场景 源数据库 目标OpenSearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本
数据导入场景 源数据 目标集群 将Oracle数据库的数据导入到CSS服务 本地或第三方Oracle数据库 ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 OpenSearch 1.3.6版本 将OBS的数据导入到CSS服务 OBS桶中的JSON数据
使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群 将Oracle数据库的数据导入到CSS服务 本地或第三方Oracle数据库 ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 OpenSearch 1.3.6版本 将OBS的数据导入到CSS服务 OBS桶中的JSON数据
增强OpenSearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性，通过优化Bulk路由、文本索引加速、分词加速等方式，有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述
API导入数据：使用POST命令导入数据。 在ECS服务器上使用开源Elasticsearch API导入数据：使用Curl命令导入数据。 在Kibana上使用开源Elasticsearch API导入数据 在Kibana上支持通过POST命令使用开源Elasticsearch API导入单条数据。 登录云搜索服务管理控制台。
果数据与导入数据一致，表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时，导入数据的流程说明如图3所示。 图3 Logstash部署在弹性云服务器上时导入数据示意图
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性，通过优化Bulk路由、文本索引加速、分词加速等方式，有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述
果数据与导入数据一致，表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时，导入数据的流程说明如图3所示。 图3 Logstash部署在弹性云服务器上时导入数据示意图
Dashboards上使用开源OpenSearch API导入数据：使用POST命令导入数据。 在ECS服务器上使用开源OpenSearch API导入数据：使用Curl命令导入数据。 在OpenSearch Dashboards上使用开源OpenSearch API导入数据 在OpenSearch
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
度。 PUT /my_logs { "settings": { "refresh_interval": "30s" } } 父主题： 数据导入导出类
导入数据至Elasticsearch集群 Elasticsearch集群导入数据方式 使用自建Logstash导入数据到Elasticsearch 使用开源Elasticsearch API导入数据到Elasticsearch 使用CDM导入数据到Elasticsearch 增强
步与时间相关的数据时，同步前后的数据可能存在时区差。 前提条件 已准备好存有数据的MySQL数据库，本案例以云数据库的RDS for MySQL实例为例，具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstash集群，具体操作请参见创建Logstash集群。本文以7
配置章节。 重建索引，使分片数大于集群节点数。 如果分片数和队列大小都满足条件，但是cpu和负载依然比较高，建议扩容节点。 父主题： 数据导入导出类
（可选）准备工作：根据业务需要，完成集群高级配置。 （可选）预构建与注册中心点向量：当选择使用“IVF_GRAPH”或“IVF_GRAPH_PQ”索引算法创建向量索引时，则需要对中心点向量进行预构建和注册。 创建向量索引：基于业务场景创建向量索引。 导入向量数据：将向量数据导入集群。 （可选）离线构建：当向量字段
修改logstash配置文件output标签下elasticsearch内添加配置项ilm_enabled => false。 重新尝试推送数据到es。 父主题： 数据导入导出类
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
