检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用自建Logstash导入数据到OpenSearch 云搜索服务支持使用自建Logstash将其收集的数据迁移到Elasticsearch和OpenSearch中,方便用户通过CSS搜索引擎高效管理和获取数据。数据文件支持JSON、CSV等格式。 Logstash是开源的服务器
Dashboards登录OpenSearch集群 OpenSearch Dashboards使用限制 OpenSearch Dashboards中可以自定义用户名、角色名、租户名等,不能包含中文字符。 通过控制台访问OpenSearch Dashboards登录OpenSearch集群 登录云搜索服务管理控制台。
OpenSearch集群访问方式 通过OpenSearch Dashboards登录OpenSearch集群 通过Cerebro登录OpenSearch集群 通过Curl命令行接入OpenSearch集群 通过LDAP接入OpenSearch集群 父主题: 使用OpenSearch搜索数据
创建IAM用户并授权使用CSS 如果您需要对您所拥有的CSS服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建
息”页面,展现了集群的基本信息。集群ID是系统自动生成的,是集群在服务中的唯一标示。 集群状态 展示集群的运行状态。 可用:正常运行的集群。 创建中:正在创建中的集群。 处理中:重启中、扩容中、备份中或恢复中的集群。 异常:创建失败或不可用的集群。 说明: 当集群处于“不可用”状
自动设置集群快照的基础配置(不推荐使用) 功能介绍 该接口用于自动设置集群快照的基础配置,包括配置OBS桶和IAM委托。 “OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。
静态主词词库是预置的常用词语的主词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的静态主词词库时,单击“更新”,选择txt格式的词库文件。 当不使用静态主词库时,单击“不使用此词库”,删除词库。 静态停词词库 静态停词词库是预置的常用词语的停词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置
Async请求的回调中抛出异常验证status的状态切换,如下图所示: 当请求失败,status会切换为STOPPED且I/O Reactor将关闭,并使HLRC实例卡住。后续使用该HLRC实例调用任何请求都会失败。此处手动抛出异常是为了复现问题,生产环境中很难分辨是什么原因导致I/O
系统模板是CSS服务预置的配置文件模板,具体请参见Logstash配置文件模板介绍。 自定义模板是用户在使用过程中添加的配置文件模板。 说明: 配置文件内容大小不能超过100k。 隐藏内容列表 配置隐藏字符串列表后,在返回的配置内容中,会将所有在列表中的字串隐藏为“***”。 输入需要隐藏的敏感字串列表,按“Enter”创建。
使用自建Logstash导入数据到Elasticsearch 云搜索服务支持使用自建Logstash将其收集的数据迁移到Elasticsearch和OpenSearch中,方便用户通过CSS搜索引擎高效管理和获取数据。数据文件支持JSON、CSV等格式。 Logstash是开源的
根据业务使用的编程语言自行选择接入方式。各种访问方式兼容多种网络配置方式,不同网络配置方式获取到的集群访问地址有差异,您可以根据自己的网络环境选择合适的网络配置方式。 访问方式 表1 集群的访问方式 访问方式 适用场景 相关文档 OpenSearch Dashboards(推荐方式)
circuit_breaker.cpu.limit 向量索引堆外内存使用上限。 假设使用128GB内存的机器且堆内存大小为31GB,默认堆外内存使用上限为(128 - 31) * 45% = 43.65GB,堆外内存使用量超过该值将会触发写入熔断。 默认值:45%。 native.cache
具体操作请参见《统一身份认证服务用户指南》中的如何查看或修改用户信息章节。 查看用户组的权限中是否包含:“全局服务”中“对象存储服务”项目的“OBS Administrator”权限、当前所属区域的“Elasticsearch Administrator”权限。 具体操作请参见《统一身份认证服务用户指南》中的如何查看或修改用户组章节。
-filter来使用。 简繁体转换插件的转换类型包含如下两种: s2t:将中文简体转换为中文繁体。 t2s:将中文繁体转换为中文简体。 配置简繁体转换搜索 登录云搜索服务管理控制台。 在左侧导航栏中,选择“集群管理”,进入集群列表页面。 在集群列表中,单击需要使用的集群对应“操作”列的“Kibana”。
扩缩容OpenSearch集群 扩容OpenSearch集群 缩容OpenSearch集群 父主题: 使用OpenSearch搜索数据
页面。 查看cpu和heap指标,如果这两个指标过高则说明集群当前压力较大,客户端可以适当减少大请求发送,等待集群压力下降。 查看shards是否合理,官方建议单个shard大小为20-40GB,建议不要超过50GB;单个节点上的同一索引shard数不要超过5个。 方法2:Kibana工具
称进入集群详情页,查看“节点信息”中是否有冷数据节点的信息。 图2 查看冷数据节点 是,集群存在冷数据节点,则执行下一步。 否,集群不存在冷数据节点,则不支持切换集群的冷热数据。如果想将历史数据定义为冷数据,减低存储成本,提升搜索效率,可以使用存算分离功能,具体操作请参见配置Elasticsearch集群存算分离。
最多支持配置3个“可用区”,多可用区的使用建议请参见规划集群可用区。 集群类型 选择“OpenSearch”。 集群版本 选择所需的集群版本,支持的版本以界面可选项为准。 集群名称 自定义集群名称,可输入的字符范围为4~32个字符,只能包含数字、字母、中划线和下划线,且必须以字母开头。 节点数量 集群中的数据节
集群索引插入数据失败 问题现象 向CSS集群索引中插入数据失败,报错如下: 问题分析 当磁盘的使用率超过95%时,Elasticsearch为了防止节点耗尽磁盘空间,自动将索引设置为只读模式。 解决方案 新版本(7.10.2之后)集群磁盘使用率下降后会自动关闭只读模式,只需清理或扩容磁盘。
服务通过使用Opendistro的Security插件,在集群中加入Active Directory作为身份验证后端,使集群无缝接入到LDAP服务中。本文会讲解CSS集群接入LDAP认证的基本方式,并会讲解基本原理。 本文介绍如何在CSS服务的OpenSearch集群中配置轻量目