检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
电子商务平台:快速搜索商品,提供个性化推荐,实时监控用户行为和交易数据。 内容管理系统:对大量文档和内容进行高效检索,支持复杂的查询和数据分析。 金融服务:实时监控交易数据,进行风险分析和欺诈检测。 社交媒体分析:对用户生成的内容进行情感分析,趋势和影响力评估。 客户关系管理:
Logstash是一个服务器端的数据管道,负责收集、解析和丰富数据后,将其发送到Elasticsearch。 Kibana为Elasticsearch提供一个开源的数据分析和可视化平台,用于对Elasticsearch中的数据进行搜索、查看和交互。 Beats:轻量级的数据收集器(如Filebeat、Met
产品组件 CSS服务支持Kibana和Cerebro组件。 Kibana Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。
《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
引来过滤掉无关文档,而向量检索是通过对向量建立索引结构来绕过不相关的向量,减小需要考察的范围。 降低单个向量计算的复杂度 向量检索支持漏斗模型,先对所有向量进行量化和近似计算,筛选出一定量接近检索目标的数据集,然后基于筛选的数据集进行精细的计算和排序。本方法不需要对所有向量都进行复杂的计算,可以有效提高检索效率。
扩容集群 功能介绍 该接口用于集群扩容实例(仅支持扩容elasticsearch实例)。只扩容普通节点,且只针对要扩容的集群实例不存在特殊节点(Master、Client、冷数据节点)的情况。集群扩容实例的数量和存储容量,请参考扩容实例的数量和存储容量。 调用方法 请参见如何调用API。
在左侧菜单栏选择“集群管理 > Elasticsearch”。 单击右上角的“创建集群”,进入“创建集群”页面。 配置集群的计费模式和可用区。 表1 计费模型和可用区参数说明 参数 说明 取值样例 计费模式 集群支持“包年/包月”和“按需计费”两种模式。 包年/包月:根据集群购买时长,一次性支付
使用ElasticSearch的HLRC(High Level Rest Client)时,报出I/O Reactor STOPPED 问题现象 使用ElasticSearch的HLRC(High Level Rest Client)时,偶现报出I/O Reactor STOPP
监控和分析能力。 在多集群环境中,可能需要将不同Elasticsearch集群的数据和可视化图表整合到一个统一的集群,以便于实现跨集群的数据分析和管理。 这些场景展示了Kibana可视化图表迁移在实际应用中的重要性,它不仅涉及到数据的移动,还包括了确保业务连续性、提高效率和满足合规性要求等多个方面。
集群整合:将分散在不同第三方Elasticsearch集群中的数据统一数据迁移到华为云Elasticsearch集群进行集中管理,以实现更高效的数据分析和查询。 跨版本迁移:将低版本的第三方Elasticsearch集群数据迁移到高版本的华为云Elasticsearch集群中。 技术栈统
配置Elasticsearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明
修改参数配置 功能介绍 该接口用于修改参数配置。 自定义参数需要配置为Elasticsearch支持的参数,否则集群重启会失败,建议谨慎操作,以免影响业务。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/ymls/update
通过华为云Logstash实现Elasticsearch集群间数据迁移 使用华为云CSS服务的Logstash集群可以实现Elasticsearch集群间的数据迁移。 应用场景 华为云Logstash是一款全托管的数据接入处理服务,兼容开源Logstash的能力,支持用于Elasticsearch集群间数据迁移。
引来过滤掉无关文档,而向量检索是通过对向量建立索引结构来绕过不相关的向量,减小需要考察的范围。 降低单个向量计算的复杂度 向量检索支持漏斗模型,先对所有向量进行量化和近似计算,筛选出一定量接近检索目标的数据集,然后基于筛选的数据集进行精细的计算和排序。本方法不需要对所有向量都进行复杂的计算,可以有效提高检索效率。
缩容Elasticsearch集群 当集群有充足的能力处理当前数据时,为节省资源可以参考本文缩容集群的节点数量。 场景描述 CSS服务支持多种缩容场景,如表1所示。 表1 缩容场景 场景 描述 相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源。
配置Elasticsearch集群聚合增强 场景描述 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下,耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。
在左侧菜单栏选择“集群管理 > Logstash”。 单击右上角的“创建集群”,进入“创建集群”页面。 配置集群的计费模式和可用区。 表1 计费模型和可用区参数说明 参数 说明 取值样例 计费模式 集群支持“包年/包月”和“按需计费”两种模式。 包年/包月:根据集群购买时长,一次性支付
创建管道事件批时,在将过小的批调度到管道工作线程之前,等待每个事件的时间。 默认值:50 单位:毫秒 queue.type 用于事件缓冲的内部队列模型。 “memory”为基于内存的传统队列。 “persisted”为基于磁盘的ACKed持久化队列。 默认值:memory queue.checkpoint
审计与日志 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录CSS服务的操作事件用于审计。
建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。