华为云用户手册

  • 系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板,请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。 jdbc模板说明 kafka 从kafka导入数据到Elasticsearch类型集群。 kafka模板说明 beats 从beats导入数据到Elasticsearch类型集群。 dis模板说明 dis 从dis导入数据到Elasticsearch类型集群。 beats模板说明
  • 已有集群的标签管理 您可以对已经创建的集群的标签进行修改,删除,也可以添加标签。 登录 云搜索服务 管理控制台。 在集群管理页面,单击待管理标签的集群名称。 系统跳转至该集群“基本信息”页面。 左侧菜单栏选择“标签”,在此可以对集群标签进行添加,修改,删除操作。 查看 在“标签”页,可以查看当前集群的标签详情,包括标签个数,以及每个标签的键和值。 添加 单击左上角的“添加标签”,在弹出的“添加标签”窗口,输入新添加标签的键和值,并单击“确定”。 修改 只能修改已有标签的标签值。 单击标签所在行“操作”列下的“编辑”,在弹出的“编辑标签”窗口,输入修改后标签值,并单击“确定”。 删除 单击标签所在行“操作”列下的“删除”,如果确认删除,在弹出的“删除标签”窗口,单击“确定”。
  • 新建集群的标签管理 登录 云搜索 服务管理控制台。 单击右上角的“创建集群”,进入创建集群页面。 在创建集群页面,“高级配置”选择“自定义”后,为集群添加标签。 您可以选择预定义标签,并为此标签设置“标签值”。您可以单击“查看预定义标签”,进入“标签管理服务”,了解此用户下已有的标签。 您也可以自定义“标签键”和“标签值”。 图1 创建集群时添加标签 云搜索服务的每个集群最多可以设置20个标签。当设置不正确时,可单击标签右侧的“删除”按钮,删除此标签。当不设置标签时,可保持为空。 表1 标签命名规则 参数 说明 标签键 对于同一个集群,标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @”。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @/”。不能以空格开头和结尾。 不能为空。
  • OpenSearch集群搜索增强特性介绍 云搜索服务的OpenSearch集群在开源OpenSearch基础上增加了许多增强特性,增强特性的功能和支持的集群版本请参见表1。 表1 OpenSearch集群搜索增强特性列表 增强特性 特性描述 支持的集群版本 相关文档 存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。 OpenSearch 1.3.6 配置OpenSearch集群存算分离 切换冷热数据 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 切换冷热数据和存算分离比,更适用于对搜索性能要求高的场景,冷数据存储在集群本地的冷数据节点中,存储的数据量大小依赖冷数据节点数和磁盘容量,存储成本也会比OBS高一些。 只要集群有冷数据节点就支持。 切换OpenSearch集群冷热数据 父主题: 增强OpenSearch集群搜索能力
  • 管理索引策略 登录云搜索服务管理控制台。 在“集群管理”页面选择需要登录的集群,单击“操作”列中的“Kibana”,登录Kibana页面。 在菜单栏选择“IM”或“Index Management”,进入索引管理页面 。 左侧选择“Managed Indices”,进入索引策略管理列表。 此处会展示当前集群已配置的索引策略。 在索引策略管理列表,管理策略。 当索引的策略状态异常时,可以勾选状态异常的索引,单击“Retry policy”,可以重试策略。 当需要更新索引的策略时,可以勾选索引,单击“Change policy”进入变更策略页面,更新策略后,单击“Change”变更策略。 当需要解除索引的策略时,可以勾选索引,单击“Remove policy”,在弹窗确认后单击“Remove”改索引将被解除策略。 具体使用可参考索引管理官方介绍。
  • 背景信息 Elasticsearch的ISM(Index State Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息的变化来自动触发周期性的管理操作。通过ISM插件可以自定义索引策略,实现自动处理索引的滚动或删除,以优化集群搜索性能或降低存储成本。ISM的使用流程: 创建生命周期策略:在Kibana创建索引的生命周期策略Policy。 索引关联生命周期策略:将索引关联上创建的生命周期策略,生成索引策略。 管理索引策略:支持对索引策略进行策略修改、重启和变更。 ISM更多功能请参见索引管理官方介绍。 创建的索引生命周期策略常用于以下场景: 通过索引生命周期实现时间序列数据滚动索引 通过索引生命周期实现索引存算分离
  • 创建生命周期策略 登录云搜索服务管理控制台。 在“集群管理”页面选择需要登录的集群,单击“操作”列中的“Kibana”,登录Kibana页面。 在菜单栏选择“IM”或“Index Management”,进入索引管理页面 。 单击“Create policy”,配置生命周期策略。 “Policy ID”:自定义策略名称。 “Define policy”:基于策略示例,配置自定义策略。 图1 配置策略 单击“Create”,完成策略的创建。
  • 文本索引加速 通过指定配置项“index.native_speed_up”可以开启文本索引加速。索引加速功能通过优化索引流程以及内存使用等方式实现,对于文本字段(text、keyword)能够极大提升索引构建的性能。当开启文本索引加速时,支持通过指定配置项“index.native_analyzer”同时开启分词加速。对于需要分词的文本字段(text),当无特殊分词需求时可以开启分词加速提升分词性能。 仅当开启文本索引加速(即“index.native_speed_up”设置为“true”)时,才支持开启分词加速(即“index.native_analyzer”设置为“true”),否则分词加速不生效。 包含“nested”字段的索引不支持开启文本索引加速。 在“集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana左侧导航栏,选择“Dev Tools”。 在“Dev Tools”页面,执行如下命令开启文本索引加速。 PUT my_index { "settings": { "index.native_speed_up": true, "index.native_analyzer": true } } 配置项“index.native_speed_up”和“index.native_analyzer”的取值范围是true和fales,缺省值是fales。
  • 索引merge任务优化 开启以上三种数据导入性能优化后,集群的索引merge任务会增加,通过指定配置项“index.merge.scheduler.max_thread_count”可以降低索引merge任务开销对导入性能的影响。索引merge任务优化可以增加shard的合并线程数,减少合并对数据导入的限流。 在“集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana左侧导航栏,选择“Dev Tools”。 在“Dev Tools”页面,执行如下命令启动索引merge任务优化。 PUT my_index { "settings": { "index.merge.scheduler.max_thread_count": 8 } } 配置项“index.merge.scheduler.max_thread_count”的取值范围是[1, node.processors/2],缺省值是4,建议设置为8。
  • Bulk聚合优化 通过指定配置项“index.aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入,该方案可以有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 在“集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana左侧导航栏,选择“Dev Tools”。 在“Dev Tools”页面,执行如下命令开启Bulk聚合优化。 PUT my_index { "settings": { "index.aggr_perf_batch_size": "128" } } 配置项“index.aggr_perf_batch_size”的取值范围为[1, Integer.MAX_VALUE]。缺省值为1,表示关闭Bulk聚合优化。当取值大于1时,表示打开Bulk聚合优化且批量取值为MIN(bulk_doc_size, aggr_perf_batch_size)。
  • Bulk路由优化 通过指定配置项“index.bulk_routing”可以开启集群的Bulk路由优化,该优化可以减少内部转发的请求数量,在shard数较多的场景下,能够有效提升写入性能以及减少写入拒绝。 开启Bulk路由优化后(即“index.bulk_routing”设置为“pack”或“ocal_pack”),数据写入不再根据“_id”进行路由,与路由的相关功能使用会受限,例如根据“_id”进行文档GET请求可能失败。 在“集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana左侧导航栏,选择“Dev Tools”。 在“Dev Tools”页面,执行如下命令开启Bulk路由优化。 PUT my_index { "settings": { "index.bulk_routing": "local_pack" } } 配置项“index.bulk_routing”的取值范围如下所示。 “default”:缺省值,使用集群默认的路由机制,Bulk请求中的每一条记录会拆分后独立路由。 “pack”:单个Bulk请求的数据会被随机路由到同一个shard中。 “ocal_pack”:单个Bulk请求的数据会被路由到接收该Bulk请求的数据节点的本地shard中,如果该节点不包含对应index的shard,则会进行随机路由到其他包含该索引shard节点上。该方案依赖客户端Bulk请求的随机打散和主shard的均衡分布。
  • 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述 相关文档 Bulk路由优化 根据Elasticsearch默认的路由规则,Bulk请求中的每一条数据会被路由到不同的shard,当索引分片较多时,会产生大量的内部转发请求,在大规模写入场景下容易触发写拒绝。同时,在大规模集群中,长尾效应会导致Bulk请求时延较高。 通过指定配置项“index.bulk_routing”可以开启集群的Bulk路由优化,该优化可以减少内部转发的请求数量,在shard数较多的场景下,能够有效提升写入性能以及减少写入拒绝。 说明: 开启Bulk路由优化后(即“index.bulk_routing”设置为“pack”或“ocal_pack”),数据写入不再根据“_id”进行路由,与路由的相关功能使用会受限,例如根据“_id”进行文档GET请求可能失败。 Bulk路由优化 Bulk聚合优化 通过指定配置项“index.aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入,该方案可以有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 Bulk聚合优化 文本索引加速 通过指定配置项“index.native_speed_up”可以开启文本索引加速。索引加速功能通过优化索引流程以及内存使用等方式实现,对于文本字段(text、keyword)能够极大提升索引构建的性能。当开启文本索引加速时,支持通过指定配置项“index.native_analyzer”同时开启分词加速。对于需要分词的文本字段(text),当无特殊分词需求时可以开启分词加速提升分词性能。 说明: 仅当开启文本索引加速(即“index.native_speed_up”设置为“true”)时,才支持开启分词加速(即“index.native_analyzer”设置为“true”),否则分词加速不生效。 包含“nested”字段的索引不支持开启文本索引加速。 文本索引加速 索引merge任务优化 开启以上三种数据导入性能优化后,集群的索引merge任务会增加,通过指定配置项“index.merge.scheduler.max_thread_count”可以降低索引merge任务开销对导入性能的影响。索引merge任务优化可以增加shard的合并线程数,减少合并对数据导入的限流。 索引merge任务优化
  • 前提条件 为方便操作,建议采用Linux操作系统的机器部署Logstash。 Logstash的下载路径为:https://www.elastic.co/cn/downloads/logstash-oss Logstash要求使用OSS版本,选择和 CSS 一致版本。 安装Logstash之前,需要先安装JDK。在Linux操作系统中,您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中,您可以访问JDK官网,下载符合操作系统版本的JDK,并根据指导安装。 安装完Logstash后,再根据如下步骤导入数据。安装Logstash的操作指导,请参见:https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 在“Logstash部署在弹性云服务器上时导入数据”场景中,请确保此弹性云服务器与接入的Elasticsearch集群在同一个VPC下。
  • OpenSearch集群导入数据方式介绍 OpenSearch集群支持通过多种方式导入数据,基于业务使用场景可以自行选择导入数据的方式,具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强,具体操作请参见增强OpenSearch集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、 CS V、文本等多种格式 使用自建Logstash导入数据到OpenSearch 开源OpenSearch API 使用开源OpenSearch API导入数据,使用灵活,适用于开发自己写的应用代码场景。 JSON 使用开源OpenSearch API导入数据到OpenSearch 云数据迁移 服务 CDM CDM向导式页面。适用于批数据迁移,比如数据存放在OBS或者Oracle数据库中,推荐使用CDM比较方便。 JSON 使用CDM导入数据到OpenSearch 数据复制服务 DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库 使用DRS从数据库导入数据至OpenSearch
  • 使用DRS从数据库导入数据至OpenSearch 数据复制服务(Data Replication Service,简称DRS)是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源复制到其他数据库,并保持一致,实现关键业务的数据实时流动。 使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群,源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch 数据导入场景 源数据库 目标OpenSearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本 OpenSearch 1.3.6版本 将MySQL同步到CSS/ES 将 GaussDB (for MySQL)数据库的数据导入到CSS Elasticsearch集群 GaussDB(for MySQL)主备实例 OpenSearch 1.3.6版本 将GaussDB(for MySQL)同步到CSS/ES 将自建MySQL数据库的数据导入到CSS Elasticsearch集群 本地或ECS自建MySQL数据库 5.5、5.6、5.7、8.0版本 OpenSearch 1.3.6版本 将MySQL同步到CSS/ES
  • SQL使用示例 在Kibana中使用SQL语言搜索数据(推荐) 在Kibana的DevTools中将请求发送到“_plugins/_sqlURI”,可以使用请求参数或请求正文。 例如,执行如下命令,从“my-index”索引中搜索出50条数据。 1 2 3 4 POST _plugins/_sql { "query": "SELECT * FROM my-index LIMIT 50" } 默认情况下,查询结果返回的是JSON格式的数据。当需要返回CSV格式的数据时,则需要在命令中对format参数进行如下设置: 1 2 3 4 POST _plugins/_sql?format=csv { "query": "SELECT * FROM my-index LIMIT 50" } 查询结果返回CSV格式的数据时,每行对应一个文档,每列对应一个字段。 在ECS中使用Curl命令执行SQL搜索数据 例如,执行如下命令,从“kibana_sample_data_flights”索引中搜索出10条数据。 curl -XPOST https://localhost:9200/_opendistro/_sql -u username:password -k -d '{"query": "SELECT * FROM kibana_sample_data_flights LIMIT 10"}' -H 'Content-Type: application/json' localhost表示集群的访问地址,username和password分别表示安全模式集群的用户名和密码。
  • 已有集群终端节点服务管理 如果创建集群时未开启终端节点服务,集群创建成功后,可以通过如下步骤进行开启。 登录云搜索服务管理控制台。 在集群管理页面,单击需要开启终端节点服务的集群名称,进入集群基本信息页面。 选择“终端节点服务”,在“终端节点服务”右侧单击开关,打开集群的终端节点服务功能。 表2 配置终端节点服务 参数 说明 创建内网 域名 勾选“创建内网域名”,系统将会自动为用户创建一个内网域名,通过这个域名可以在同一个VPC内访问该集群。 终端节点服务白名单 在“终端节点服务白名单”中添加允许通过节点IP或内网域名访问集群的账号。 单击“添加”输入授权账号ID。授权账号ID配置成“*”,则表示允许全部用户访问该集群。 单击操作列的“删除”,可以删除不允许访问的账号ID。 说明: “授权账号ID”可以在“我的凭证”中进行查看“账号ID”获取。 管理终端节点。 在终端节点服务页面下,显示所有连接当前终端节点服务的终端节点。 图2 管理终端节点 单击操作列的“接受”或者“拒绝”可以修改节点的“状态”。如果对某个终端节点“拒绝”操作之后,其生成的内网域名将不能再访问到当前集群。
  • 创建集群时开启终端节点服务 登录云搜索服务管理控制台。 在右上方单击“创建集群”。 在创建集群页面,“高级配置”选择“自定义”后,开启终端节点服务。 图1 开启终端节点服务 表1 配置终端节点服务 参数 说明 创建内网域名 勾选“创建内网域名”,系统将会自动为用户创建一个内网域名,通过这个域名可以在同一个VPC内访问该集群。 终端节点服务白名单 在“终端节点服务白名单”中添加允许通过节点IP或内网域名访问集群的账号。 单击“添加”输入授权账号ID。授权账号ID配置成“*”,则表示允许全部用户访问该集群。 单击操作列的“删除”,可以删除不允许访问的账号ID。 说明: “授权账号ID”可以在“我的凭证”中进行查看“账号ID”获取。
  • 通过节点IP或内网域名访问集群 获取集群的内网域名或者节点IP。 登录云搜索服务控制台,进入集群列表,单击集群名称,进入集群“基本信息”页面,选择“终端节点服务”,查看“节点IP”和“内网域名”。 图3 查看节点IP和内网域名信息 在弹性云服务器中,直接通过Curl命令调用Elasticsearch API即可使用集群。 弹性云服务器需要满足如下要求: 为弹性云服务分配足够的磁盘空间。 此弹性云服务器的VPC需要与集群在同一个VPC中,开通终端节点服务后,可以实现跨VPC访问。 此弹性云服务器的安全组需要和集群的安全组相同。 如果不同,请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许集群所有安全组的访问。修改操作请参见配置安全组规则。 待接入的CSS集群,其安全组的出方向和入方向需允许TCP协议及9200端口,或者允许端口范围包含9200端口。 例如,执行如下Curl命令,查看集群中的索引信息,集群中的内网访问地址为“vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com”,端口为“9200”。 如果接入集群未启用安全模式,接入方式为: curl 'http://vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com:9200/_cat/indices' 如果接入集群已启用安全模式,则需要使用https方式访问,并附加用户名和密码,在curl命令中添加-u选项。 curl -u username:password -k 'https://vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com:9200/_cat/indices'
  • 约束限制 集群开启终端节点服务之后,终端节点将按需进行收费,终端节点的费用将由用户进行支付,详细的计费方式请参考终端节点计费说明。 当集群的网络配置中,“虚拟私有云”选择的是共享VPC,“子网”选择的是共享VPC下的子网,则该集群不支持配置终端节点服务。 创建终端节点需要有相关的权限,请参考 VPC终端节点 权限管理。 公网访问和终端节点服务使用的是同一个负载均衡。当集群开启了公网访问白名单,由于白名单是作用在负载均衡上面,将会同时限制公网访问集群和内网通过VPCEP访问集群的IP地址。此时需要在公网访问白名单中添加一个网络白名单“198.19.128.0/17”,通过该白名单用来放通经过VPCEP的流量。
  • 常用的DSL查询语句 下面列举了常用的DSL查询语句,全量的DSL查询语句请参见《Elasticsearch指南》。 设置查询条件过滤,等同于SQL语言中的where。 如下命令中,查询未在“_search”前面过滤索引,所以是查询所有索引。bool为条件句,filter强制过滤“status”字段为“published”并且“publish_date”字段为“2015-01-01”以后的文档,must规定“title”字段含有“Search”并且“content”字段含有“Search”。 must和filter字段的区别在于filter等同于SQL的where会过滤字段但不参与ES搜索的打分机制,must也属于过滤必须满足的条件,但是会根据查询的匹配程度对搜索到的文档进行打分,在返回的结果中越匹配的文档会越靠前显示。 GET /_search { "query": { "bool": { "must": [ { "match": { "title": "Search" } }, { "match": { "content": "search" } } ], "filter": [ { "term": { "status": "published" } }, { "range": { "publish_date": { "gte": "2015-01-01" } } } ] } } } 聚合查询,近似于SQL语言中的Group by。 该查询是根据genre这个字段进行聚合,会根据test索引里的title字段进行分类统计。如果title为text(含keyword)类型,需要使用“title.keyword”进行聚合,默认情况下Elasticsearch和OpenSearch无法直接对text类型的字段进行聚合。其中titles仅为聚合的命名,可以根据需要命名为titles或者titleaggs等。 GET /test/_search { "aggs": { "titles": { "terms": { "field": "title.keyword" } } } } 以上聚合查询的例子包含了test索引的所有文档,即match_all查询条件为隐式条件。可以配合设置查询条件过滤中的查询条件过滤特定的文档进行聚合。
  • 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 图1 切换冷热数据原理 在创建集群时,启用的冷数据节点会被打上“cold”标签,用来存放冷数据,数据节点会被打上“hot”标签,用于存放热数据。用户可以通过配置指定索引,将数据分配到冷数据节点上。只有集群存在冷数据节点时,数据节点才会被打上热标签。 冷数据节点只有在创建集群时可以选择启用,已建集群不支持添加冷数据节点,如果集群没有冷数据节点又想切换冷热数据,可以使用存算分离功能,具体操作请参见配置Elasticsearch集群存算分离。 冷数据节点支持节点数量扩缩容和磁盘存储容量的扩容,具体操作请参见扩缩容Elasticsearch集群。
  • 采集日志 日志采集可以实时将CSS集群日志存放到本集群或其他同网络的集群中,方便通过Kibana进行日志搜索分析。 如果要使用日志采集功能,集群必须满足以下条件。当集群不满足要求时,建议先升级集群再启用日志采集。 集群版本是Elasticsearch 7.10.2、OpenSearch 1.3.6或OpenSearch 2.11.0。 集群的镜像版本号 ≥ 24.2.0。集群的镜像版本号可以在集群列表的“版本”列查看,如图所示。 图2 查看集群子版本号 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要配置日志备份的集群名称,进入集群基本信息页面。 左侧导航栏,选择“日志管理”,在“日志采集开关”右侧单击开关,打开集群的日志采集功能。 如果页面上没有“日志采集开关”,则表示该集群不支持采集日志。 在“日志采集配置”弹窗中,完成参数配置。 表2 日志采集配置 参数 说明 索引前缀名称 设置采集的日志中索引名称的前缀,则日志采集的索引名称为“索引前缀名称+日志采集日期”,日志采集日期以天为单位。 索引前缀名称只支持数字、小写字母、下划线和中划线,支持1~128个字符。 保留周期 设置采集的日志的保留周期,单位为天,支持输入1~3650。当采集的日志超过保存周期时,日志将会被删除。 日志保存集群 设置采集的日志保存在哪个集群,支持选择“当前集群”和“其他集群”。 默认选择“当前集群”。当选择“其他集群”时,需要选择日志保存的目标集群,并进行集群网络联通行检查,只有在同一VPC网络下的集群才支持跨集群保存日志,且集群版本必须一致。 如果集群已经启用了日志采集功能,也可以单击右侧的编辑图标修改日志采集配置。 单击“确定”,开启集群日志采集开关。 当“状态”变成“运行中”时,表示已启动日志采集。 单击“访问Kibana”,登录集群,可以搜索查看日志。 单击“日志保存集群”处的集群名称,可以跳转到集群详情页面。 图3 日志采集 当需要关闭日志采集时,单击“日志采集开关”右侧的开关,在弹窗中单击“确定”,关闭日志采集。 日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。
  • 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation.log 弃用操作的日志记录。 clustername_index_indexing_slowlog.log 慢索引日志。 clustername_index_search_slowlog.log 慢索引查询日志。 clustername.log Elasticsearch运行日志。 clustername_access.log 接入日志。
  • 已有集群配置公网访问 您可以对已经创建集群的公网访问进行修改,查看,解绑,也可以配置公网访问。 登录云搜索服务管理控制台。 在集群管理页面,单击需要配置公网访问的集群名称,进入集群基本信息页面,管理公网访问相关配置。 图2 修改公网访问相关配置 配置公网访问 如果创建安全集群时,开启了HTTPS访问但未配置公网访问,集群创建成功后,可以在集群基本信息页面配置公网访问。 单击“公网访问”参数右侧的“绑定”,设置访问带宽后,单击“确定”。 如果绑定失败,用户可以等待几分钟后,再次尝试重新绑定公网访问。 修改 对已经配置了公网访问的集群,可以通过单击“带宽”参数右侧的“修改”,修改带宽大小,也可以通过单击“访问控制”右侧的“设置”,设置访问控制开关和访问白名单。 查看 在“基本信息”页面,可以查看当前集群绑定的公网IP地址。 解绑 对于已经绑定的公网IP地址,可以通过单击“公网访问”参数右侧的“解绑”,解绑公网IP地址。
  • 约束限制 CSS开启公网访问后,会使用到EIP和带宽资源,涉及相关资源费用。 仅Elasticsearch集群版本≥6.5.4和OpenSearch集群才支持开启“安全模式”。 公网访问和终端节点服务使用的是同一个负载均衡。当集群开启了公网访问白名单,由于白名单是作用在负载均衡上面,将会同时限制公网访问集群和内网通过VPCEP访问集群的IP地址。此时需要在公网访问白名单中添加一个网络白名单“198.19.128.0/17”,通过该白名单用来放通经过VPCEP的流量。
  • 创建集群时配置公网访问 登录云搜索服务管理控制台。 在创建集群页面,开启“安全模式”。设置管理员密码,并启用HTTPS访问。 “公网访问”选择“自动绑定”,配置公网访问相关参数。 图1 创建集群时配置公网访问 表1 公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 访问控制开关 如果关闭访问控制开关,则允许任何IP通过公网IP访问集群。如果开启访问控制开关,则只允许白名单列表中的IP通过公网IP访问集群。 白名单 设置允许访问的IP地址或网段,中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。
  • 通过公网IP地址接入集群 公网访问配置完成后,集群将会获得一个“公网访问”的IP地址,用户可以通过公网IP地址和端口接入集群。 例如,启用HTTPS的安全集群的公网访问地址为“10.62.179.32”,端口为“9200”,则执行Curl命令查看集群中的索引信息。 curl -u username:password -k 'https://10.62.179.32:9200/_cat/indices' 其中username和password表示安全集群的用户名和密码。
  • 新建集群的标签管理 登录云搜索服务管理控制台。 单击右上角的“创建集群”,进入创建集群页面。 在创建集群页面,“高级配置”选择“自定义”后,为集群添加标签。 您可以选择预定义标签,并为此标签设置“标签值”。您可以单击“查看预定义标签”,进入“标签管理服务”,了解此用户下已有的标签。 您也可以自定义“标签键”和“标签值”。 图1 创建集群时添加标签 云搜索服务的每个集群最多可以设置20个标签。当设置不正确时,可单击标签右侧的“删除”按钮,删除此标签。当不设置标签时,可保持为空。 表1 标签命名规则 参数 说明 标签键 对于同一个集群,标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @”。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @/”。不能以空格开头和结尾。 不能为空。
  • 已有集群的标签管理 您可以对已经创建的集群的标签进行修改,删除,也可以添加标签。 登录云搜索服务管理控制台。 在集群管理页面,单击待管理标签的集群名称。 系统跳转至该集群“基本信息”页面。 左侧菜单栏选择“标签”,在此可以对集群标签进行添加,修改,删除操作。 查看 在“标签”页,可以查看当前集群的标签详情,包括标签个数,以及每个标签的键和值。 添加 单击左上角的“添加标签”,在弹出的“添加标签”窗口,输入新添加标签的键和值,并单击“确定”。 修改 只能修改已有标签的标签值。 单击标签所在行“操作”列下的“编辑”,在弹出的“编辑标签”窗口,输入修改后标签值,并单击“确定”。 删除 单击标签所在行“操作”列下的“删除”,如果确认删除,在弹出的“删除标签”窗口,单击“确定”。
共100000条