检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合,为您全方
置。 表1 配置自定义词库 参数 说明 OBS桶 选择词库文件存储的OBS位置。 单击“创建桶”可以跳转到创建桶页面新建OBS桶,新建OBS桶必须和集群在相同“区域”,且“默认存储类别”只支持“标准存储”或“低频访问存储”。 主词词库 主词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。
置。 表1 配置自定义词库 参数 说明 OBS桶 选择词库文件存储的OBS位置。 单击“创建桶”可以跳转到创建桶页面新建OBS桶,新建OBS桶必须和集群在相同“区域”,且“默认存储类别”只支持“标准存储”或“低频访问存储”。 主词词库 主词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。
均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticsearch的所有能力,包括分布式、多副本、错误恢复、快照、权限控制等;兼容所有原生Elasticsearch生态,包括集群监测工具Cerebro,可视化工具Kibana,
云搜索服务支持细粒度授权功能。 商用 权限管理 2020年7月 序号 功能名称 功能描述 阶段 相关文档 1 套餐包详情 云搜索服务支持查看当前账号下的所有集群的节点、存储以及带宽的相关信息,以及套餐包的使用情况。 商用 套餐包详情 2 Kibana公网访问 云搜索服务支持安全模式的集群通过公网访问云上Kibana服务。
GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时,该索引文件会被加载到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。
GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时,该索引文件会被加载到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。
配置Filebeat的配置文件“filebeat.yml”。 例如,采集“/root/”目录下以“log”结尾的所有文件,配置文件“filebeat.yml”中的内容如下: filebeat.inputs: - type: log enabled: true # 采集的日志文件路径。
单击“确定”,开始启动配置文件启动Logstash迁移任务。 可以在管道列表看到启动的配置文件。 热启动配置文件 当管道列表有“工作中”的任务时,通过热启动配置文件启动Logstash迁移任务。一次只能选择一个配置文件进行热启动,即一次只能新增一个管道。 在配置文件列表,选择一个需要热
日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。
日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。
志备份功能关闭或集群删除时,失败记录也会被清空。 查看日志文件。 日志备份成功后,用户可以单击“OBS桶”跳转到桶列表,找到存放备份日志的桶查看日志文件。 图1 进入OBS 日志文件介绍 Logstash集群备份的日志文件主要包括废弃操作日志、运行日志。 表2 日志类型信息 日志名称
存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分,新写入的数据一般属于热数据,存储在SSD中方便
filebeat是性能非常出色的文件采集工具,绝大多数的业务日志可以很容易的在1秒内收集至elasticsearch内,但是个别日志量大的业务日志无法及时收集,按照官方的默认配置通常1核CPU分配给filebeat时,写ES的速率低于1M/S,这里可以针对filebeat.yml配置文件做优化,提高写入ES的性能。
能超过32。若无需扩容该参数将该参数设置为0即可。 disksize 是 Integer 扩容实例存储容量。集群原实例存储容量和扩容实例存储容量之和不能超过创建集群时对应默认实例存储容量上限。若无需扩容该参数将该参数设置为0即可。当集群为包周期集群时不支持同时修改节点个数和磁盘容量。
CSS服务创建集群时有哪些节点存储选项? 云搜索服务采用EVS和本地磁盘存储用户的索引。在集群创建过程中,用户可指定EVS的类型及规格(即卷大小)。 支持EVS类型有普通I/O、高I/O、超高I/O。 针对不同的ECS,其对应的EVS卷大小限制根据创建集群选择的节点规格而定。 创
医疗健康记录:快速检索和分析患者记录,支持临床决策和研究。 方案架构 图1 Elasticsearch加速关系型数据库的方案架构 用户业务数据存储到MySQL。 通过数据复制服务DRS将MySQL中的数据实时同步到CSS服务的Elasticsearch集群。 在Elasticsearch集群中进行全文检索、Ad
西哥城一、拉美-墨西哥城二、拉美-圣保罗一。 冷热数据存储 云搜索服务提供了冷数据节点供企业选择,企业可以将部分现查要求秒级返回的数据放在高性能机器上面,对于历史数据要求分钟级别返回的数据放在大容量低规格节点。 冷热数据存储 VPC服务介绍【视频】 发布区域:华北-北京四、华北-
检测集群节点数与AZ(可用区)数,判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。
登录部署了Logstash的服务器,将需要进行操作的数据文件存储至此服务器中。 例如,需要导入的数据文件“access_20181029_log”,文件存储路径为“/tmp/access_log/”,此数据文件中包含的数据如下所示: 文件存储路径中的access_log文件夹如果不存在,用户可以自建。 |