检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生产系统中,数据会以各种各样的形式,或分散或集中地存在于很多系统中。华为云Logstash的出现,能够很轻松地帮助您处理各种来源的数据并转储到华为云Elasticsearch云服务中,从而更加方便地发现其中的价值。同时您也可以单独使用Logstash云服务处理数据发送到其他的系统中。
{ "persistent": { "native.vector.index_threads": 8 } } 查询性能优化 在批量导入场景下,数据写入完成后,执行forcemerge操作能有效提升查询效率。 POST index_name/_forcemerge?max_num_segments=1
公网带宽单价请参见云搜索服务价格计算器中的“带宽价格”。 在购买云搜索服务过程中,可能还会涉及一些快照存储费用。具体如表2所示。 表2 快照配置计费项 计费项 计费项说明 对象存储(Object Storage Service,OBS) 云搜索服务使用OBS存储快照和日志,会产生相应的费用,具体费用可参见对象存储价格详情。
快照更新时间,格式为ISO8601:CCYY-MM-DDThh:mm:ss。 backupType String 快照创建类型: 0:表示自动创建。 1:表示手动创建。 backupMethod String 创建快照方式。 backupExpectedStartTime String 快照开始执行时间。
CSS服务中如何转换CER安全证书的格式? 启用了HTTPS访问的安全集群可以下载CSS服务安全证书(CloudSearchService.cer)。而大多数软件支持“.pem”或“.jks”格式的证书,因此要对安全证书进行格式转换。 将安全证书从“.cer”格式转换为“.pem”格式。
balance策略,在多节点场景下,尤其是在新扩容的节点上,可能出现shard在各节点上分配不均的问题。为避免这类问题,可以通过设置索引级别的参数“routing.allocation.total_shards_per_node”控制索引分片在各节点的分布情况。此参数可以在索引模板中配置,也可以修改已有索引的setting生效。
Elasticsearch集群创建index pattern卡住,如何解决? 问题现象 在Kibana的“Dev Tools”页面,执行GET .kibana/_settings命令查询kibana索引的状态,如果状态为“true”,说明集群磁盘过高。 问题原因 索引置为只读状态导致。
如何查看CSS集群所分布的可用区? CSS服务中Filebeat版本与集群版本的关系是什么? 如何获取CSS服务的安全证书? CSS服务中如何转换CER安全证书的格式? CSS服务中Elasticsearch和OpenSearch集群支持修改安全组吗? CSS服务中Elasticsearch集群如何设置search
{ "persistent": { "native.vector.index_threads": 8 } } 查询性能优化 在批量导入场景下,数据写入完成后,执行forcemerge操作能有效提升查询效率。 POST index_name/_forcemerge?max_num_segments=1
配置Elasticsearch集群内核监控 场景描述 表1 集群内核监控介绍 集群内核监控增强 描述 支持的集群版本 相关文档 P99时延监控 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服务新增了P99延迟监控特性,能够有效
优化Elasticsearch和OpenSearch集群查询性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 数据查询流程 图1 数据查询流程 如图1所示,以Elasticse
Search Service)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CSS服务的其它功能。 默认情况下,新建的IA
Elasticsearch集群迁移方案 迁移场景 迁移工具 适用场景 使用限制 场景示例 华为云Elasticsearch集群间数据迁移 华为云Logstash 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。
操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的OpenSearch集群的访问地址。 在云搜索服务管理控制台,单击左侧导航栏的“集群管理”。
建议Transport Client的版本和Elasticsearch的版本保持一致,例如需要访问的Elasticsearch集群版本是7.6.2,则使用的Transport Client客户端版本建议也是7.6.2。 由于该方案只适用于接入非安全集群,因此只支持通过内网IP地址的方式访问集群。
产品咨询 CSS服务如何保证数据和业务运行安全? CSS服务创建集群时有哪些节点存储选项? CSS服务的集群节点磁盘空间用于存放哪些文件? CSS服务使用的数据压缩算法是什么? CSS服务中Kibana是否支持导出数据功能?
相关文档 1 Logstash类型集群 云搜索服务支持创建Logstash类型集群。 商用 / 2021年1月 序号 功能名称 功能描述 阶段 相关文档 1 新增7.9.3版本 云搜索服务支持创建7.9.3版本集群。 商用 创建集群 2020年8月 序号 功能名称 功能描述 阶段 相关文档
支持TransportClient,可以同时使用tcp和http进行连接请求。 支持TransportClient,可以同时使用tcp和http进行连接请求。建议使用Java High Level REST Client。 只支持RestClient,只支持使用http进行连接请求。建议使用Java High
操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的Elasticsearch集群的访问地址。 在云搜索服务
问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被Lucene用于缓存文件,因此节点内存占用会一直很高,平均已用内存比例达到98%是正常现象,请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JVM堆使用率”这两个指标来监控集群内存使用情况。