检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景
"%{[@metadata][_id]}" # 目的端Elasticsearch集群的证书,云上的集群保持以下值不变;自建logstash集群,则需要在集群详情页面下载证书到节点里,这里输入对应的证书路径+证书名称 cacert => "/rds/datastore/logstash/v7
”后面的“下载证书”。 图1 下载证书 转换安全证书(CloudSearchService.cer)。将下载的安全证书上传到客户端机器上,使用keytool工具将“.cer”证书转换成Java可以读取的“.jks”证书格式。 在Linux系统中,执行如下命令转换证书。 keytool
Elasticsearch集群导入数据方式 Elasticsearch集群导入数据方式介绍 Elasticsearch集群支持通过多种方式导入数据,基于业务使用场景可以自行选择导入数据的方式,具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强,具体操
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述
使用CDM导入数据到Elasticsearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务
API导入数据:使用POST命令导入数据。 在ECS服务器上使用开源Elasticsearch API导入数据:使用Curl命令导入数据。 在Kibana上使用开源Elasticsearch API导入数据 在Kibana上支持通过POST命令使用开源Elasticsearch API导入单条数据。 登录云搜索服务管理控制台。
数据导入导出类 Elasticsearch显示CPU使用率高,导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
Elasticsearch在某一时间段CPU比较高,logstash在该时刻报错Elasticsearch Unreachable,导致日志无法写入到Elasticsearch里。 原因分析 客户index是单shard,压力承载于单个节点,负载过高,造成队列满后,作业被拒绝。 处理步骤 登录云搜索服务控制台。 选择“集群管理”进入集群管理列表。
import javax.net.ssl.HostnameVerifier; import javax.net.ssl.SSLContext; import javax.net.ssl.SSLSession; import javax.net.ssl.TrustManager;import
导入数据至Elasticsearch集群 Elasticsearch集群导入数据方式 使用自建Logstash导入数据到Elasticsearch 使用开源Elasticsearch API导入数据到Elasticsearch 使用CDM导入数据到Elasticsearch 增强
n)。 数据库密码 填写Elasticsearch集群的管理员密码。 加密证书 选择Elasticsearch集群的安全证书,如果未启用“SSL安全连接”,则不用选择。获取方式请参见获取CSS集群的安全证书。 设置同步 流速模式 选择“不限速”。 同步对象类型 不勾选“同步表结构
) func main() { insecure := flag.Bool("insecure-ssl", false, "Accept/Ignore all server SSL certificates") flag.Parse() // Get the SystemCertPool
度。 PUT /my_logs { "settings": { "refresh_interval": "30s" } } 父主题: 数据导入导出类
修改logstash配置文件output标签下elasticsearch内添加配置项ilm_enabled => false。 重新尝试推送数据到es。 父主题: 数据导入导出类
选择“参数配置”,单击“编辑”,展开“自定义”,单击“添加”。 Elasticsearch集群:在自定义参数中添加“参数名称”为“opendistro_security.ssl.http.enabled_ciphers”,“参数值”为“['TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256'
xcontent.XContentType; import javax.net.ssl.SSLContext; import javax.net.ssl.TrustManager; import javax.net.ssl.X509TrustManager; import java.io.IOException;
xcontent.XContentType; import javax.net.ssl.SSLContext; import javax.net.ssl.TrustManager; import javax.net.ssl.X509TrustManager; import java.io.IOException;
向量检索的客户端代码示例(Python) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: