检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Elasticsearch、自建Logstash和Kibana构建日志管理平台 使用CSS服务的Elasticsearch集群搭建的统一日志管理平台可以实时地、统一地、方便地管理日志,让日志驱动运维、运营等,提升服务管理效率。 应用场景 本文以Elasticsearch、Fi
产品组件 CSS服务支持Kibana和Cerebro组件。 Kibana Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。
监控安全风险 云监控(Cloud Eye)是面向华为云资源的监控平台,提供了实时监控、及时告警、资源分组、站点监控等能力。CSS服务基于云监控服务CES,从集群和节点两个维度提供了丰富的监控指标,监控信息通过CES对外提供可视化报表展示。 CSS支持的监控指标请参见支持的监控指标
连通性测试 功能介绍 该接口用于连通性测试。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/logs/connectivity 表1 路径参数 参数 是否必选 参数类型 描述 project_id
应用场景 云搜索服务可以帮助网站和APP搭建搜索框,提升用户的搜索体验;也可以用于搭建日志分析平台,助力企业实现数据驱动运维,数据驱动运营;它的向量检索能力可以帮助客户快速构建基于AI的图搜、推荐、语义搜索等丰富的应用。 站内搜索 云搜索服务可用于对网站内容进行关键字检索、对电商网站商品进行检索与推荐。
产品优势 云搜索服务主要有以下特点与显著优势: 高效易用 TB级数据毫秒级返回检索结果,提供可视化平台方便数据展示和分析。 弹性灵活 按需申请,在线扩容,零业务中断,快速应对业务增长。 无忧运维 全托管服务,开箱即用,主要操作一键可达,专业团队贴身看护。 内核增强 向量检索 云搜
使用Elasticsearch加速关系型数据库,可以解决关系型数据库在某些方面的局限性,实现更加高效和智能的数据处理和分析。常用于以下应用场景: 电子商务平台:快速搜索商品,提供个性化推荐,实时监控用户行为和交易数据。 内容管理系统:对大量文档和内容进行高效检索,支持复杂的查询和数据分析。 金融
连通性测试 功能介绍 该接口用于连通性测试。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/checkconnection 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查看Elasticsearch集群审计日志 公有云平台提供了云审计服务。通过云审计服务,您可以记录与云搜索服务相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster
查看OpenSearch集群审计日志 公有云平台提供了云审计服务。通过云审计服务,您可以记录与云搜索服务相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster
适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。 在集群迁移期间,不要对源集群的索引进行增删改操作,避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 可以通过给自
到新的搜索集群。 访问方式 公有云提供了Web化的服务管理平台,即管理控制台和基于HTTPS请求的API(Application programming interface)管理方式。 API方式 如果用户需要将公有云平台上的云搜索服务集成到第三方系统,用于二次开发,请使用API
据库的补充,以此提升数据库的全文检索能力和高并发的Ad Hoc查询能力。 构建日志管理平台 使用Elasticsearch和Logstash构建日志管理平台 使用云搜素服务搭建的统一日志管理平台可以实时地、统一地、方便地管理日志,让日志驱动运维、运营等,提升服务管理效率。 自定义规则排序搜索
配置Elasticsearch集群读写分离 场景描述 读写分离支持将写入主集群(Leader)的数据自动同步到从集群(Follower),实现主集群承担写入任务,从集群承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。
Elasticsearch集群迁移 优化集群性能 写入性能优化 查询性能优化 实践案例 使用CSS加速数据库的查询分析 使用CSS搭建统一日志管理平台 使用Elasticsearch集群自定义评分查询 02 购买 云搜索服务的计费方式简单、灵活,您既可以选择按实际使用的资源计费,也可以选
更改Elasticsearch集群安全模式 集群创建完成后,可以参考本文更改集群的安全模式。 场景描述 CSS服务支持创建多种安全模式的集群,不同集群的差异请参见表1。 表1 集群类型介绍 集群类型 集群描述 适用场景 非安全集群 非安全模式的集群 非安全模式的集群无需安全认证即
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责
Elasticsearch显示CPU使用率高,导致日志无法写入 问题现象 Elasticsearch在某一时间段CPU比较高,logstash在该时刻报错Elasticsearch Unreachable,导致日志无法写入到Elasticsearch里。 原因分析 客户index
集群突现load高的故障排查 问题现象 集群任务被长时间拒绝,且大量任务出现卡死的情况,在Cerebro界面可以看到集群的load数值突然飙升。 原因分析 集群出现load升高的可能原因如下: 查询请求命中的数据较多导致查询线程执行缓慢。 写入压力过大导致很多线程出现卡死现象。 排查步骤
性能说明 通过Elasticsearch官方提供的benchmark脚本rally1.0.0,对云搜索服务的集群(版本:7.6.2) 进行性能测试。 本次测试采用官方提供的geonames,大小3.2G,11396505个doc。索引采用6个shard(默认为5个)。性能指标说明