华为云用户手册

查询性能优化 在批量导入场景下，数据写入完成后，执行forcemerge操作能有效提升查询效率。 POST index_name/_forcemerge?max_num_segments=1 如果向量索引所需堆外内存超过了熔断线，查询时索引的缓存管理器会控制索引的换进换出，导致查询变慢，此时可适当调大熔断线的配置。 PUT _cluster/settings { "persistent": { "native.cache.circuit_breaker.cpu.limit": "75%" } } 如果需要返回的字段较少，且均为keyword或者数值类型字段，可以通过docvalue_fields配置召回需要的字段，有效降低fetch阶段的开销。 POST my_index/_search { "size": 2, "stored_fields": ["_none_"], "docvalue_fields": ["my_label"], "query": { "vector": { "my_vector": { "vector": [1, 1], "topk": 2 } } } }

标签管理 CSS 服务支持对集群标签进行增删改查。 登录 云搜索服务 管理控制台。 在集群管理页面，单击待管理标签的集群名称。 系统跳转至该集群“基本信息”页面。 左侧菜单栏选择“标签”，在此可以对集群标签进行添加，修改，删除操作。 查看 在“标签”页，可以查看当前集群的标签详情，包括标签个数，以及每个标签的键和值。 添加 单击左上角的“编辑标签”，在弹出的“编辑标签”窗口，单击“添加新标签”输入标签的键和值，并单击“确定”返回标签列表。 修改 单击左上角的“编辑标签”，在弹出的“编辑标签”窗口，修改标签的键和值，并单击“确定”返回标签列表。 删除 单击左上角的“编辑标签”，在弹出的“编辑标签”窗口，单击标签所在行的“删除”，删除后单击“确定”返回标签列表。 表1 标签命名规则 参数 说明 标签键 对于同一个集群，标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @”。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @/”。不能以空格开头和结尾。 不能为空。

OpenSearch集群搜索增强特性介绍 云搜索 服务的OpenSearch集群在开源OpenSearch基础上增加了许多增强特性，增强特性的功能和支持的集群版本请参见表1。 表1 OpenSearch集群搜索增强特性列表 增强特性 特性描述 支持的集群版本 相关文档 向量检索 向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 OpenSearch 1.3.6 向量检索特性介绍 存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能，将历史数据存储到OBS中降低数据的存储成本。 存算分离和切换冷热数据比，更适用于对搜索性能要求不高的场景，冷数据存储在OBS中，存储成本更低一些。 OpenSearch 1.3.6 配置OpenSearch集群存算分离 切换冷热数据 通过切换冷热数据，可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据，对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本，提升搜索效率。 切换冷热数据和存算分离比，更适用于对搜索性能要求高的场景，冷数据存储在集群本地的冷数据节点中，存储的数据量大小依赖冷数据节点数和磁盘容量，存储成本也会比OBS高一些。 只要集群有冷数据节点就支持。 切换OpenSearch集群冷热数据 父主题： 增强OpenSearch集群搜索能力

索引merge任务优化 开启以上三种数据导入性能优化后，集群的索引merge任务会增加，通过指定配置项“index.merge.scheduler.max_thread_count”可以降低索引merge任务开销对导入性能的影响。索引merge任务优化可以增加shard的合并线程数，减少合并对数据导入的限流。 在“集群管理”页面，选择可用的集群，单击操作列“Kibana”，登录Kibana界面。 在Kibana左侧导航栏，选择“Dev Tools”。 在“Dev Tools”页面，执行如下命令启动索引merge任务优化。 PUT my_index { "settings": { "index.merge.scheduler.max_thread_count": 8 } } 配置项“index.merge.scheduler.max_thread_count”的取值范围是[1, node.processors/2]，缺省值是4，建议设置为8。

Bulk路由优化 通过指定配置项“index.bulk_routing”可以开启集群的Bulk路由优化，该优化可以减少内部转发的请求数量，在shard数较多的场景下，能够有效提升写入性能以及减少写入拒绝。 开启Bulk路由优化后（即“index.bulk_routing”设置为“pack”或“ocal_pack”），数据写入不再根据“_id”进行路由，与路由的相关功能使用会受限，例如根据“_id”进行文档GET请求可能失败。 在“集群管理”页面，选择可用的集群，单击操作列“Kibana”，登录Kibana界面。 在Kibana左侧导航栏，选择“Dev Tools”。 在“Dev Tools”页面，执行如下命令开启Bulk路由优化。 PUT my_index { "settings": { "index.bulk_routing": "local_pack" } } 配置项“index.bulk_routing”的取值范围如下所示。 “default”：缺省值，使用集群默认的路由机制，Bulk请求中的每一条记录会拆分后独立路由。 “pack”：单个Bulk请求的数据会被随机路由到同一个shard中。 “ocal_pack”：单个Bulk请求的数据会被路由到接收该Bulk请求的数据节点的本地shard中，如果该节点不包含对应index的shard，则会进行随机路由到其他包含该索引shard节点上。该方案依赖客户端Bulk请求的随机打散和主shard的均衡分布。

特性介绍 数据导入性能增强为云搜索服务自主研发的特性，通过优化Bulk路由、文本索引加速、分词加速等方式，有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述 相关文档 Bulk路由优化 根据Elasticsearch默认的路由规则，Bulk请求中的每一条数据会被路由到不同的shard，当索引分片较多时，会产生大量的内部转发请求，在大规模写入场景下容易触发写拒绝。同时，在大规模集群中，长尾效应会导致Bulk请求时延较高。 通过指定配置项“index.bulk_routing”可以开启集群的Bulk路由优化，该优化可以减少内部转发的请求数量，在shard数较多的场景下，能够有效提升写入性能以及减少写入拒绝。 说明： 开启Bulk路由优化后（即“index.bulk_routing”设置为“pack”或“ocal_pack”），数据写入不再根据“_id”进行路由，与路由的相关功能使用会受限，例如根据“_id”进行文档GET请求可能失败。 Bulk路由优化 Bulk聚合优化 通过指定配置项“index.aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入，该方案可以有效减少内存申请、锁申请、及其他调用开销，从而提升数据导入性能。 Bulk聚合优化 文本索引加速 通过指定配置项“index.native_speed_up”可以开启文本索引加速。索引加速功能通过优化索引流程以及内存使用等方式实现，对于文本字段（text、keyword）能够极大提升索引构建的性能。当开启文本索引加速时，支持通过指定配置项“index.native_analyzer”同时开启分词加速。对于需要分词的文本字段（text），当无特殊分词需求时可以开启分词加速提升分词性能。 说明： 仅当开启文本索引加速（即“index.native_speed_up”设置为“true”）时，才支持开启分词加速（即“index.native_analyzer”设置为“true”），否则分词加速不生效。 包含“nested”字段的索引不支持开启文本索引加速。 文本索引加速 索引merge任务优化 开启以上三种数据导入性能优化后，集群的索引merge任务会增加，通过指定配置项“index.merge.scheduler.max_thread_count”可以降低索引merge任务开销对导入性能的影响。索引merge任务优化可以增加shard的合并线程数，减少合并对数据导入的限流。 索引merge任务优化

文本索引加速 通过指定配置项“index.native_speed_up”可以开启文本索引加速。索引加速功能通过优化索引流程以及内存使用等方式实现，对于文本字段（text、keyword）能够极大提升索引构建的性能。当开启文本索引加速时，支持通过指定配置项“index.native_analyzer”同时开启分词加速。对于需要分词的文本字段（text），当无特殊分词需求时可以开启分词加速提升分词性能。 仅当开启文本索引加速（即“index.native_speed_up”设置为“true”）时，才支持开启分词加速（即“index.native_analyzer”设置为“true”），否则分词加速不生效。 包含“nested”字段的索引不支持开启文本索引加速。 在“集群管理”页面，选择可用的集群，单击操作列“Kibana”，登录Kibana界面。 在Kibana左侧导航栏，选择“Dev Tools”。 在“Dev Tools”页面，执行如下命令开启文本索引加速。 PUT my_index { "settings": { "index.native_speed_up": true, "index.native_analyzer": true } } 配置项“index.native_speed_up”和“index.native_analyzer”的取值范围是true和fales，缺省值是fales。

Bulk聚合优化 通过指定配置项“index.aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入，该方案可以有效减少内存申请、锁申请、及其他调用开销，从而提升数据导入性能。 在“集群管理”页面，选择可用的集群，单击操作列“Kibana”，登录Kibana界面。 在Kibana左侧导航栏，选择“Dev Tools”。 在“Dev Tools”页面，执行如下命令开启Bulk聚合优化。 PUT my_index { "settings": { "index.aggr_perf_batch_size": "128" } } 配置项“index.aggr_perf_batch_size”的取值范围为[1, Integer.MAX_VALUE]。缺省值为1，表示关闭Bulk聚合优化。当取值大于1时，表示打开Bulk聚合优化且批量取值为MIN(bulk_doc_size, aggr_perf_batch_size)。

前提条件 为方便操作，建议采用Linux操作系统的机器部署Logstash。 Logstash的下载路径为：https://www.elastic.co/cn/downloads/logstash-oss Logstash要求使用OSS版本，选择和 CS S一致版本。 安装Logstash之前，需要先安装JDK。在Linux操作系统中，您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中，您可以访问JDK官网，下载符合操作系统版本的JDK，并根据指导安装。 安装完Logstash后，再根据如下步骤导入数据。安装Logstash的操作指导，请参见：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 在“Logstash部署在弹性云服务器上时导入数据”场景中，请确保此弹性云服务器与接入的Elasticsearch集群在同一个VPC下。

使用DRS从数据库导入数据至OpenSearch 数据复制服务 （Data Replication Service，简称DRS）是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。实时同步是指在不同的系统之间，将数据通过同步技术从一个数据源复制到其他数据库，并保持一致，实现关键业务的数据实时流动。 使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群，源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch 数据导入场景 源数据库 目标OpenSearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本 OpenSearch 1.3.6版本 将MySQL同步到CSS/ES 将 GaussDB (for MySQL)数据库的数据导入到CSS Elasticsearch集群 GaussDB(for MySQL)主备实例 OpenSearch 1.3.6版本 将GaussDB(for MySQL)同步到CSS/ES 将自建MySQL数据库的数据导入到CSS Elasticsearch集群 本地或ECS自建MySQL数据库 5.5、5.6、5.7、8.0版本 OpenSearch 1.3.6版本 将MySQL同步到CSS/ES

OpenSearch集群导入数据方式介绍 OpenSearch集群支持通过多种方式导入数据，基于业务使用场景可以自行选择导入数据的方式，具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强，具体操作请参见增强OpenSearch集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式 使用自建Logstash导入数据到OpenSearch 开源OpenSearch API 使用开源OpenSearch API导入数据，使用灵活，适用于开发自己写的应用代码场景。 JSON 使用开源OpenSearch API导入数据到OpenSearch 云数据迁移 服务 CDM CDM向导式页面。适用于批数据迁移，比如数据存放在OBS或者Oracle数据库中，推荐使用CDM比较方便。 JSON 使用CDM导入数据到OpenSearch 数据复制服务DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库 使用DRS从数据库导入数据至OpenSearch

SQL使用示例 在Kibana中使用SQL语言搜索数据（推荐） 在Kibana的DevTools中将请求发送到“_plugins/_sql”，可以使用请求参数或请求正文。 例如，执行如下命令，从“my-index”索引中搜索出50条数据。 1 2 3 4 POST _plugins/_sql { "query": "SELECT * FROM my-index LIMIT 50" } 默认情况下，查询结果返回的是JSON格式的数据。当需要返回CSV格式的数据时，则需要在命令中对format参数进行如下设置： 1 2 3 4 POST _plugins/_sql?format=csv { "query": "SELECT * FROM my-index LIMIT 50" } 查询结果返回CSV格式的数据时，每行对应一个文档，每列对应一个字段。 在ECS中使用Curl命令执行SQL搜索数据 例如，执行如下命令，从“kibana_sample_data_flights”索引中搜索出10条数据。 curl -XPOST https://localhost:9200/_opendistro/_sql -u username:password -k -d '{"query": "SELECT * FROM kibana_sample_data_flights LIMIT 10"}' -H 'Content-Type: application/json' localhost表示集群的访问地址，username和password分别表示安全模式集群的用户名和密码。

常用的DSL查询语句 下面列举了常用的DSL查询语句，全量的DSL查询语句请参见《Elasticsearch指南》。 设置查询条件过滤，等同于SQL语言中的where。 如下命令中，查询未在“_search”前面过滤索引，所以是查询所有索引。bool为条件句，filter强制过滤“status”字段为“published”并且“publish_date”字段为“2015-01-01”以后的文档，must规定“title”字段含有“Search”并且“content”字段含有“Search”。 must和filter字段的区别在于filter等同于SQL的where会过滤字段但不参与ES搜索的打分机制，must也属于过滤必须满足的条件，但是会根据查询的匹配程度对搜索到的文档进行打分，在返回的结果中越匹配的文档会越靠前显示。 GET /_search { "query": { "bool": { "must": [ { "match": { "title": "Search" } }, { "match": { "content": "search" } } ], "filter": [ { "term": { "status": "published" } }, { "range": { "publish_date": { "gte": "2015-01-01" } } } ] } } } 聚合查询，近似于SQL语言中的Group by。 该查询是根据genre这个字段进行聚合，会根据test索引里的title字段进行分类统计。如果title为text（含keyword）类型，需要使用“title.keyword”进行聚合，默认情况下Elasticsearch和OpenSearch无法直接对text类型的字段进行聚合。其中titles仅为聚合的命名，可以根据需要命名为titles或者titleaggs等。 GET /test/_search { "aggs": { "titles": { "terms": { "field": "title.keyword" } } } } 以上聚合查询的例子包含了test索引的所有文档，即match_all查询条件为隐式条件。可以配合设置查询条件过滤中的查询条件过滤特定的文档进行聚合。

标签管理 CSS服务支持对集群标签进行增删改查。 登录云搜索服务管理控制台。 在集群管理页面，单击待管理标签的集群名称。 系统跳转至该集群“基本信息”页面。 左侧菜单栏选择“标签”，在此可以对集群标签进行添加，修改，删除操作。 查看 在“标签”页，可以查看当前集群的标签详情，包括标签个数，以及每个标签的键和值。 添加 单击左上角的“编辑标签”，在弹出的“编辑标签”窗口，单击“添加新标签”输入标签的键和值，并单击“确定”返回标签列表。 修改 单击左上角的“编辑标签”，在弹出的“编辑标签”窗口，修改标签的键和值，并单击“确定”返回标签列表。 删除 单击左上角的“编辑标签”，在弹出的“编辑标签”窗口，单击标签所在行的“删除”，删除后单击“确定”返回标签列表。 表1 标签命名规则 参数 说明 标签键 对于同一个集群，标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @”。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @/”。不能以空格开头和结尾。 不能为空。

运行代码 根据集群类型将以上适配的代码写入到“EsTest.gc”文件并存放到一个单独的目录，在该目录执行以下命令运行代码。 go env -w GO111MODULE=on go env -w GOPROXY=https://repo.huaweicloud.com/repository/goproxy/ go env -w GONOSUMDB=* go mod init test go mod tidy go run EsTest.go

连接安全集群 连接未开启https的安全集群，示例如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 package main import ( "github.com/elastic/go-elasticsearch/v7" "log" ) func main() { cfg := elasticsearch.Config{ Addresses: []string{ "http://HOST:9200/", }, Username: "USERNAME", Password: "PASSWORD", } es, _ := elasticsearch.NewClient(cfg) log.Println(es.Info()) } 连接开启https的安全集群，不使用证书，示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 package main import ( "crypto/tls" "github.com/elastic/go-elasticsearch/v7" "log" "net/http" ) func main() { cfg := elasticsearch.Config{ Addresses: []string{ "https://HOST:9200/", }, Username: "USERNAME", Password: "PASSWORD", Transport: &http.Transport{ TLSClientConfig: &tls.Config{ InsecureSkipVerify: true, }, }, } es, _ := elasticsearch.NewClient(cfg) log.Println(es.Info()) } 连接开启https的安全集群，使用证书，示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 package main import ( "crypto/tls" "crypto/x509" "flag" "github.com/elastic/go-elasticsearch/v7" "io/ioutil" "log" "net" "net/http" "time" ) func main() { insecure := flag.Bool("insecure-ssl", false, "Accept/Ignore all server SSL certificates") flag.Parse() // Get the SystemCertPool, continue with an empty pool on error rootCAs, _ := x509.SystemCertPool() if rootCAs == nil { rootCAs = x509.NewCertPool() } // Read in the cert file certs, err := ioutil.ReadFile("/tmp/CloudSearchService.cer") if err != nil { log.Fatalf("Failed to append %q to RootCAs: %v", "xxx", err) } // Append our cert to the system pool if ok := rootCAs.AppendCertsFromPEM(certs); !ok { log.Println("No certs appended, using system certs only") } config := elasticsearch.Config{ Addresses: []string{ "https://HOST:9200/", }, Username: "USERNAME", Password: "PASSWORD", Transport: &http.Transport{ MaxIdleConnsPerHost: 10, ResponseHeaderTimeout: time.Second, DialContext: (&net.Dialer{ Timeout: 30 * time.Second, KeepAlive: 30 * time.Second, }).DialContext, TLSClientConfig: &tls.Config{ InsecureSkipVerify: *insecure, RootCAs: rootCAs, }, }, } es, _ := elasticsearch.NewClient(config) log.Println(elasticsearch.Version) log.Println(es.Info()) } 表1 函数中的变量说明 参数 描述 HOST ES集群的访问地址，当存在多个IP地址时，中间用“,”隔开。 USERNAME 访问集群的用户名。 PASSWORD 用户名对应的密码。

连接非安全集群 连接非安全集群，示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 package main import ( "github.com/elastic/go-elasticsearch/v7" "log" ) func main() { cfg := elasticsearch.Config{ Addresses: []string{ "http://HOST:9200/", }, } es, _ := elasticsearch.NewClient(cfg) log.Println(es.Info()) } 其中，HOST为集群节点的内网IP地址。

CSS自定义策略样例 如果系统预置的CSS权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考权限策略和授权项。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见：创建自定义策略。下面为您介绍常用的CSS自定义策略样例。 为了兼容开源生态，CSS服务的 IAM 权限和数据面集群权限分开控制，如果要开启数据面的安全能力，需要使用安全模式。 如果是子账号，需要同时设置GetBucketStoragePolicy、GetBucketLocation、ListBucket、ListAllMyBuckets权限，才能看到OBS桶。 示例1：授权用户创建集群。 { "Version": "1.1", "Statement": [ { "Action": [ "css:cluster:create", "vpc:securityGroups:get", "vpc:securityGroups:create", "vpc:securityGroups:delete", "vpc:securityGroupRules:get", "vpc:securityGroupRules:create", "vpc:securityGroupRules:delete", "vpc:vpcs:list", "vpc:privateIps:list", "vpc:ports:get", "vpc:ports:create", "vpc:ports:update", "vpc:ports:delete", "vpc:quotas:list", "vpc:subnets:get", "ecs:cloudServerFlavors:get", "ecs:serverInterfaces:use", "ecs:cloudServers:addNics", "ecs:quotas:get", "evs:types:get", "evs:quotas:get" ], "Effect": "Allow" } ] } 示例2：拒绝用户删除集群。 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先原则。 如果您给用户授予CSS Admin的系统策略，但不希望用户拥有CSS admin中定义的删除云服务器权限，您可以创建一条拒绝删除云服务的自定义策略，然后同时将CSS Admin和拒绝策略授予用户，根据Deny优先原则，则用户可以对CSS执行除了删除集群外的所有操作。拒绝策略示例如下： { "Version": "1.1", "Statement": [ { "Effect": "Deny", "Action": [ "css:cluster:delete" ] } ] } 示例3：多个授权项策略。 一个自定义策略中可以包含多个授权项，且除了可以包含本服务的授权项外，还可以包含其他服务的授权项，可以包含的其他服务必须跟本服务同属性，即都是项目级服务或都是全局级服务。多个授权语句策略描述如下： { "Version": "1.1", "Statement": [ { "Action": [ "ecs:cloudServers:resize", "ecs:cloudServers:delete", "ecs:cloudServers:delete", "css:cluster:restart", "css:*:get*", "css:*:list*" ], "Effect": "Allow" } ] }

示例流程 图1 给用户授权CSS权限流程 创建用户组并授权 在IAM控制台创建用户组，并授予云搜索服务只读权限“CSS ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 将用户添加至用户组中，从而使用户拥有对应的CSS权限，一个用户组下面的用户具有相同的权限。 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择云搜索服务CSS，进入CSS主界面，单击右上角“创建集群”，尝试购买CSS集群，如果无法购买CSS集群（假设当前权限仅包含CSS ReadOnlyAccess），表示“CSS ReadOnlyAccess”已生效。 在“服务列表”中选择除云搜索服务外（假设当前策略仅包含CSS ReadOnlyAccess）的任一服务，如果提示权限不足，表示“CSS ReadOnlyAccess”已生效。

使用Spring Boot接入HTTPS集群（使用安全证书） 该场景适用于使用安全证书连接安全模式+HTTPS协议的集群。 获取安全证书（CloudSearchService.cer）。 登录云搜索服务控制台。 选择“集群管理”进入集群列表。 单击对应集群的名称，进入集群基本信息页面。 在“基本信息”页面，单击“HTTPS访问”后面的“下载证书”。 图1 下载证书 转换安全证书（CloudSearchService.cer）。将下载的安全证书上传到客户端机器上，使用keytool工具将“.cer”证书转换成Java可以读取的“.jks”证书格式。 在Linux系统中，执行如下命令转换证书。 keytool -import -alias newname -keystore ./truststore.jks -file ./CloudSearchService.cer 在Windows系统中，执行如下命令转换证书。 keytool -import -alias newname -keystore .\truststore.jks -file .\CloudSearchService.cer 其中，newname是由用户自定义的证书名称。 该命令执行后，会提示设置证书密码，并确认密码。请保存该密码，后续接入集群会使用。 application.properties配置文件： 1 2 3 elasticsearch.url=host1:9200,host2:9200 elasticsearch.username=username elasticsearch.password=password 表3 参数说明 参数 描述 host Elasticsearch集群的访问地址。 username 访问集群的用户名。 password 用户名对应的密码。 配置代码： com.xxx为项目目录，例如com.company.project。 com.xxx.repository为仓库目录，通过extends org.springframework.data.elasticsearch.repository.ElasticsearchRepository进行具体定义。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 package com.xxx.configuration; import org.elasticsearch.client.RestHighLevelClient; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.ComponentScan; import org.springframework.context.annotation.Configuration; import org.springframework.data.elasticsearch.client.ClientConfiguration; import org.springframework.data.elasticsearch.client.RestClients; import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration; import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories; import java.io.File; import java.io.FileInputStream; import java.io.InputStream; import java.security.KeyStore; import java.security.SecureRandom; import java.security.cert.CertificateException; import java.security.cert.X509Certificate; import javax.net.ssl.HostnameVerifier; import javax.net.ssl.SSLContext; import javax.net.ssl.SSLSession; import javax.net.ssl.TrustManager; import javax.net.ssl.TrustManagerFactory; import javax.net.ssl.X509TrustManager; @Configuration @EnableElasticsearchRepositories(basePackages = "com.xxx.repository") @ComponentScan(basePackages = "com.xxx") public class Config extends AbstractElasticsearchConfiguration { @Value("${elasticsearch.url}") public String elasticsearchUrl; @Value("${elasticsearch.username}") public String elasticsearchUsername; @Value("${elasticsearch.password}") public String elasticsearchPassword; @Override @Bean public RestHighLevelClient elasticsearchClient() { SSLContext sc = null; try { TrustManager[] tm = {new MyX509TrustManager(cerFilePath, cerPassword)}; sc = SSLContext.getInstance("SSL", "SunJSSE"); sc.init(null, tm, new SecureRandom()); } catch (Exception e) { e.printStackTrace(); } final ClientConfiguration clientConfiguration = ClientConfiguration.builder() .connectedTo(StringHostParse(elasticsearchUrl)) .usingSsl(sc, new NullHostNameVerifier()) .withBasicAuth(elasticsearchUsername, elasticsearchPassword) .build(); return RestClients.create(clientConfiguration).rest(); } private String[] StringHostParse(String hostAndPorts) { return hostAndPorts.split(","); } public static class MyX509TrustManager implements X509TrustManager { X509TrustManager sunJSSEX509TrustManager; MyX509TrustManager(String cerFilePath, String cerPassword) throws Exception { File file = new File(cerFilePath); if (!file.isFile()) { throw new Exception("Wrong Certification Path"); } System.out.println("Loading KeyStore " + file + "..."); InputStream in = new FileInputStream(file); KeyStore ks = KeyStore.getInstance("JKS"); ks.load(in, cerPassword.toCharArray()); TrustManagerFactory tmf = TrustManagerFactory.getInstance("SunX509", "SunJSSE"); tmf.init(ks); TrustManager[] tms = tmf.getTrustManagers(); for (TrustManager tm : tms) { if (tm instanceof X509TrustManager) { sunJSSEX509TrustManager = (X509TrustManager) tm; return; } } throw new Exception("Couldn't initialize"); } @Override public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public X509Certificate[] getAcceptedIssuers() { return new X509Certificate[0]; } } public static class NullHostNameVerifier implements HostnameVerifier { @Override public boolean verify(String arg0, SSLSession arg1) { return true; } } } 其中，cerFilePath和cerPassword是生成的.jks证书的存放路径及其密码。

通过Spring Boot接入HTTP集群 该场景适用于连接非安全模式的集群或是安全模式+HTTP协议的集群。 配置文件： 1 2 3 4 elasticsearch.url=host1:9200,host2:9200 //非安全集群不用配置如下两行。 elasticsearch.username=username elasticsearch.password=password 表1 参数说明 参数 描述 host Elasticsearch集群的访问地址。 username 访问集群的用户名。 password 用户名对应的密码。 配置代码： com.xxx为项目目录，例如com.company.project。 com.xxx.repository为仓库目录，通过extends org.springframework.data.elasticsearch.repository.ElasticsearchRepository进行具体定义。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 package com.xxx.configuration; import org.elasticsearch.client.RestHighLevelClient; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.ComponentScan; import org.springframework.context.annotation.Configuration; import org.springframework.data.elasticsearch.client.ClientConfiguration; import org.springframework.data.elasticsearch.client.RestClients; import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration; import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories; @Configuration @EnableElasticsearchRepositories(basePackages = "com.xxx.repository") @ComponentScan(basePackages = "com.xxx") public class Config extends AbstractElasticsearchConfiguration { @Value("${elasticsearch.url}") public String elasticsearchUrl; //非安全集群不用配置如下两个参数。 @Value("${elasticsearch.username}") public String elasticsearchUsername; @Value("${elasticsearch.password}") public String elasticsearchPassword; @Override @Bean public RestHighLevelClient elasticsearchClient() { final ClientConfiguration clientConfiguration = ClientConfiguration.builder() .connectedTo(StringHostParse(elasticsearchUrl)) //非安全集群无需配置withBasicAuth。 .withBasicAuth(elasticsearchUsername, elasticsearchPassword) .build(); return RestClients.create(clientConfiguration).rest(); } private String[] StringHostParse(String hostAndPorts) { return hostAndPorts.split(","); } }

使用Spring Boot接入HTTPS集群（不使用安全证书） 该场景适用于不使用安全证书连接安全模式+HTTPS协议的集群。 配置文件： 1 2 3 elasticsearch.url=host1:9200,host2:9200 elasticsearch.username=username elasticsearch.password=password 表2 参数说明 参数 描述 host Elasticsearch集群的访问地址。 username 访问集群的用户名。 password 用户名对应的密码。 配置代码： com.xxx为项目目录，例如com.company.project。 com.xxx.repository为仓库目录，通过extends org.springframework.data.elasticsearch.repository.ElasticsearchRepository进行具体定义。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 package com.xxx.configuration; import org.elasticsearch.client.RestHighLevelClient; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.ComponentScan; import org.springframework.context.annotation.Configuration; import org.springframework.data.elasticsearch.client.ClientConfiguration; import org.springframework.data.elasticsearch.client.RestClients; import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration; import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories; import java.security.KeyManagementException; import java.security.NoSuchAlgorithmException; import java.security.SecureRandom; import java.security.cert.CertificateException; import java.security.cert.X509Certificate; import javax.net.ssl.HostnameVerifier; import javax.net.ssl.SSLContext; import javax.net.ssl.SSLSession; import javax.net.ssl.TrustManager; import javax.net.ssl.X509TrustManager; @Configuration @EnableElasticsearchRepositories(basePackages = "com.xxx.repository") @ComponentScan(basePackages = "com.xxx") public class Config extends AbstractElasticsearchConfiguration { @Value("${elasticsearch.url}") public String elasticsearchUrl; @Value("${elasticsearch.username}") public String elasticsearchUsername; @Value("${elasticsearch.password}") public String elasticsearchPassword; @Override @Bean public RestHighLevelClient elasticsearchClient() { SSLContext sc = null; try { sc = SSLContext.getInstance("SSL"); sc.init(null, trustAllCerts, new SecureRandom()); } catch (KeyManagementException | NoSuchAlgorithmException e) { e.printStackTrace(); } final ClientConfiguration clientConfiguration = ClientConfiguration.builder() .connectedTo(StringHostParse(elasticsearchUrl)) .usingSsl(sc, new NullHostNameVerifier()) .withBasicAuth(elasticsearchUsername, elasticsearchPassword) .build(); return RestClients.create(clientConfiguration).rest(); } private String[] StringHostParse(String hostAndPorts) { return hostAndPorts.split(","); } public static TrustManager[] trustAllCerts = new TrustManager[] { new X509TrustManager() { @Override public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public X509Certificate[] getAcceptedIssuers() { return null; } } }; public static class NullHostNameVerifier implements HostnameVerifier { @Override public boolean verify(String arg0, SSLSession arg1) { return true; } } }

注意事项 建议Elasticsearch Rest High Level Client的版本和Elasticsearch的版本保持一致，例如需要访问的Elasticsearch集群版本是7.10.2，则使用的Elasticsearch Rest High Level Client客户端版本建议也是7.10.2。 本章节以2.5.5版本Spring Boot为例介绍Spring Boot接入集群的方式，对应的spring data elasticsearch版本是4.2.x。

约束限制 建议Rest High Level Client的版本和Elasticsearch的版本保持一致，例如需要访问的ES集群版本是7.6.2，则使用的Rest High Level Client客户端版本建议也是7.6.2。如果您使用相比Elasticsearch集群更高版本的Java Rest High Level Client且存在少量请求的兼容性问题，您可以使用“RestHighLevelClient.getLowLevelClient()”方式直接获取Low Level Client，实现自定义的Elasticsearch请求内容。

通过自建Cerebro访问集群 使用自建Cerebro访问集群时，需要确保自建Cerebro与集群的网络是互通的。 获取集群的访问地址。不同网络配置的访问地址获取方式请参见网络配置。 启动自建Cerebro，填写集群的访问地址对接CSS集群。 安全模式的集群填写：https://访问地址:9200 安全模式的集群要输入集群的用户名和密码才能登录。 非安全模式的集群填写：http://访问地址:9200

SQL使用示例 在Kibana中使用SQL语言搜索数据（推荐） 在Kibana的DevTools中将请求发送到“_opendistro/_sql”，可以使用请求参数或请求正文。 例如，执行如下命令，从“my-index”索引中搜索出50条数据。 1 2 3 4 POST _opendistro/_sql { "query": "SELECT * FROM my-index LIMIT 50" } 默认情况下，查询结果返回的是JSON格式的数据。当需要返回CSV格式的数据时，则需要在命令中对format参数进行如下设置： 1 2 3 4 POST _opendistro/_sql?format=csv { "query": "SELECT * FROM my-index LIMIT 50" } 查询结果返回CSV格式的数据时，每行对应一个文档，每列对应一个字段。 在ECS中使用Curl命令执行SQL搜索数据 例如，执行如下命令，从“kibana_sample_data_flights”索引中搜索出10条数据。 curl -XPOST https://localhost:9200/_opendistro/_sql -u username:password -k -d '{"query": "SELECT * FROM kibana_sample_data_flights LIMIT 10"}' -H 'Content-Type: application/json' localhost表示集群的访问地址，username和password分别表示安全模式集群的用户名和密码。

修改企业项目 针对之前已创建的集群，其绑定的企业项目可根据实际情况进行修改。 登录在云搜索服务管理控制台， 在左侧导航栏，选择对应的集群类型，进入集群管理页面。 在集群列表中，单击集群名称进入集群“基本信息”页面。 在集群“基本信息”页面，单击“企业项目”右侧的企业项目名称，进入项目管理页面。 在“资源”页签下，“区域”选项中选择当前集群所在的区域，“服务”选项中选“云搜索服务 CSS”。此时，资源列表将筛选出对应的CSS集群。 图1 筛选CSS集群 勾选需要修改企业项目的集群，然后单击“迁出”。 在“迁出资源”页面，选择“迁出方式”，再选择“请选择要迁入的企业项目”，然后单击“确定”。 迁出完成后，可以在云搜索服务管理控制台集群管理页面，查看修改后的集群企业项目信息。

支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail 删除集群 cluster deleteCluster 修改集群名称 cluster updateClusterName 查询集群列表 cluster listClusters 修改集群密码 cluster resetPassword 重启集群 cluster restartCluster 扩容集群 cluster updateExtendCluster 扩容实例的数量和存储容量 cluster updateExtendInstanceStorage 变更规格 cluster updateFlavor 获取实例规格列表 cluster listFlavors 查询所有标签 cluster listClustersTags 查询指定集群的标签 cluster showClusterTag 添加指定集群标签 cluster createClustersTags 删除集群标签 cluster deleteClustersTags 批量添加或删除集群标签 cluster updateBatchClustersTags 指定节点缩容 cluster updateShrinkNodes 指定节点类型规格变更 cluster updateFlavorByType 指定节点类型缩容 cluster updateShrinkCluster 下载安全证书 cluster downloadCert 节点替换 cluster updateInstance 安全模式修改 cluster changeMode 添加独立Master、Client cluster addIndependentNode 集群内核升级 cluster upgradeCore 获取目标镜像ID cluster listImages 获取升级详情信息 cluster upgradeDetail 重试升级失败任务 cluster retryUpgradeTask 切换安全组 cluster changeSecurityGroup 创建集群V2 cluster createClusterV2 重启集群V2 cluster restartCluster 滚动重启 cluster rollingRestart 加载自定义词库 cluster createLoadIkThesaurus 查看自定义词库配置 cluster showIkThesaurus 删除自定义词库 cluster deleteIkThesaurus 开启Kibana公网访问 cluster startKibanaPublic 关闭Kibana公网访问 cluster updateCloseKibana 修改Kibana公网带宽 cluster updateAlterKibana 修改Kibana公网访问控制 cluster updatePublicKibanaWhitelist 关闭Kibana公网访问控制 cluster stopPublicKibanaWhitelist 开启日志功能 cluster startLogs 关闭日志功能 cluster stopLogs 查询作业列表 cluster listLogsJob 查询日志基础配置 cluster showGetLogSetting 修改日志基础配置 cluster updateLogSetting 开启日志自动备份策略 cluster startLogAutoBackupPolicy 关闭日志自动备份策略 cluster stopLogAutoBackupPolicy 备份日志 cluster createLogBackup 查询日志 cluster showLogBackup 开启公网访问 cluster createBindPublic 关闭公网访问 cluster updateUnbindPublic 修改公网访问带宽 cluster updatePublicBandWidth 开启公网访问控制白名单 cluster startPublicWhitelist 关闭公网访问控制白名单 cluster stopPublicWhitelist 自动设置集群快照的基础配置 cluster startAutoSetting 修改集群快照的基础配置 cluster updateSnapshotSetting 手动创建快照 snapshot createSnapshot 恢复快照 snapshot restoreSnapshot 删除指定快照 snapshot deleteSnapshot 设置自动创建快照策略 cluster createAutoCreatePolicy 查询自动创建快照的策略 cluster showAutoCreatePolicy 查询快照列表 cluster listSnapshots 停用快照功能 cluster stopSnapshot 开启自动创建快照功能 cluster startAutoCreateSnapshots 关闭自动创建快照功能 cluster stopAutoCreateSnapshots 开启终端节点服务 cluster startVpecp 关闭终端节点服务 cluster stopVpecp 获取终端节点连接 cluster showVpcepConnection 更新终端节点连接 cluster updateVpcepConnection 修改终端节点服务白名单 cluster updateVpcepWhitelist 修改参数配置 cluster listYmls 获取参数配置任务列表 cluster listYmlsJob 获取参数配置列表 cluster updateYmls 查询集群支持的elbv3负载均衡器 cluster listElbs 打开或关闭ES负载均衡器 cluster enableOrDisableElb ES监听器配置 cluster createElbListener 获取该esELB的信息 cluster showElbDetail 更新ES监听器 cluster updateEsListener 查询证书列表 cluster listElbCerts 获取智能运维任务列表及详情 cluster listAiOps 创建一次集群检测任务 cluster createAiOps 删除一个检测任务记录 cluster deleteAiOps 获取智能运维告警可用的 SMN 主题 cluster listSmnTopics

支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail 删除集群 cluster deleteCluster 修改集群名称 cluster updateClusterName 查询集群列表 cluster listClusters 修改集群密码 cluster resetPassword 重启集群 cluster restartCluster 扩容集群 cluster updateExtendCluster 扩容实例的数量和存储容量 cluster updateExtendInstanceStorage 变更规格 cluster updateFlavor 获取实例规格列表 cluster listFlavors 查询所有标签 cluster listClustersTags 查询指定集群的标签 cluster showClusterTag 添加指定集群标签 cluster createClustersTags 删除集群标签 cluster deleteClustersTags 批量添加或删除集群标签 cluster updateBatchClustersTags 指定节点缩容 cluster updateShrinkNodes 指定节点类型规格变更 cluster updateFlavorByType 指定节点类型缩容 cluster updateShrinkCluster 下载安全证书 cluster downloadCert 节点替换 cluster updateInstance 安全模式修改 cluster changeMode 添加独立Master、Client cluster addIndependentNode 集群内核升级 cluster upgradeCore 获取目标镜像ID cluster listImages 获取升级详情信息 cluster upgradeDetail 重试升级失败任务 cluster retryUpgradeTask 切换安全组 cluster changeSecurityGroup 创建集群V2 cluster createClusterV2 重启集群V2 cluster restartCluster 滚动重启 cluster rollingRestart 加载自定义词库 cluster createLoadIkThesaurus 查看自定义词库配置 cluster showIkThesaurus 删除自定义词库 cluster deleteIkThesaurus 开启Kibana公网访问 cluster startKibanaPublic 关闭Kibana公网访问 cluster updateCloseKibana 修改Kibana公网带宽 cluster updateAlterKibana 修改Kibana公网访问控制 cluster updatePublicKibanaWhitelist 关闭Kibana公网访问控制 cluster stopPublicKibanaWhitelist 开启日志功能 cluster startLogs 关闭日志功能 cluster stopLogs 查询作业列表 cluster listLogsJob 查询日志基础配置 cluster showGetLogSetting 修改日志基础配置 cluster updateLogSetting 开启日志自动备份策略 cluster startLogAutoBackupPolicy 关闭日志自动备份策略 cluster stopLogAutoBackupPolicy 备份日志 cluster createLogBackup 查询日志 cluster showLogBackup 开启公网访问 cluster createBindPublic 关闭公网访问 cluster updateUnbindPublic 修改公网访问带宽 cluster updatePublicBandWidth 开启公网访问控制白名单 cluster startPublicWhitelist 关闭公网访问控制白名单 cluster stopPublicWhitelist 自动设置集群快照的基础配置 cluster startAutoSetting 修改集群快照的基础配置 cluster updateSnapshotSetting 手动创建快照 snapshot createSnapshot 恢复快照 snapshot restoreSnapshot 删除指定快照 snapshot deleteSnapshot 设置自动创建快照策略 cluster createAutoCreatePolicy 查询自动创建快照的策略 cluster showAutoCreatePolicy 查询快照列表 cluster listSnapshots 停用快照功能 cluster stopSnapshot 开启自动创建快照功能 cluster startAutoCreateSnapshots 关闭自动创建快照功能 cluster stopAutoCreateSnapshots 开启终端节点服务 cluster startVpecp 关闭终端节点服务 cluster stopVpecp 获取终端节点连接 cluster showVpcepConnection 更新终端节点连接 cluster updateVpcepConnection 修改终端节点服务白名单 cluster updateVpcepWhitelist 修改参数配置 cluster listYmls 获取参数配置任务列表 cluster listYmlsJob 获取参数配置列表 cluster updateYmls 查询集群支持的elbv3负载均衡器 cluster listElbs 打开或关闭ES负载均衡器 cluster enableOrDisableElb ES监听器配置 cluster createElbListener 获取该esELB的信息 cluster showElbDetail 更新ES监听器 cluster updateEsListener 查询证书列表 cluster listElbCerts 获取智能运维任务列表及详情 cluster listAiOps 创建一次集群检测任务 cluster createAiOps 删除一个检测任务记录 cluster deleteAiOps 获取智能运维告警可用的SMN主题 cluster listSmnTopics

前提条件 为方便操作，建议采用Linux操作系统的机器部署Logstash。 Logstash的下载路径为：https://www.elastic.co/cn/downloads/logstash-oss Logstash要求使用OSS版本，选择和CSS一致版本。 安装Logstash之前，需要先安装JDK。在Linux操作系统中，您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中，您可以访问JDK官网，下载符合操作系统版本的JDK，并根据指导安装。 安装完Logstash后，再根据如下步骤导入数据。安装Logstash的操作指导，请参见：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 在“Logstash部署在弹性云服务器上时导入数据”场景中，请确保此弹性云服务器与接入的Elasticsearch集群在同一个VPC下。