云服务器内容精选

  • 形态变更概述 CSS 集群支持形态变更,包括集群扩容、集群规格变更、集群缩容等。当创建的集群规格不能满足业务需求时,可以通过形态变更,提高集群的使用效率,降低运维成本。 扩容 当集群数据节点(ess)的写入与查询压力大、响应时间过长时,可以通过扩容数据节点的“节点存储容量”保证数据的持久性。如果因数据量过大或操作不当导致数据节点状态异常时,可以扩容“节点数量”保证集群的可用性。 冷数据节点(ess-cold)主要用于分担ess数据节点的压力,当发现冷数据有丢失的风险时,可以扩容冷数据节点的“节点存储容量”保证冷数据的持久性,同时也支持扩容节点个数保证集群的可用性。 变更规格 当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以变更Master节点(ess-master)的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,需要变更Client节点(ess-client)的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以变更数据节点(ess)的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以变更冷数据节点(ess-cold)的“节点规格”提高对数据查询的效率。 缩容集群节点数量 当集群有充足的能力处理当前数据时,为节省资源可以随机减小集群占用的资源。 缩容指定节点 当集群有充足的能力处理当前数据时,为节省资源可以指定一个或多个节点进行缩容。 替换指定节点 当集群中的节点发生故障,可以通过删除故障节点,重建一个一样的新节点,实现指定节点替换。 添加Master/Client节点 当集群数据面业务增长,需要动态调整集群形态时,可以增加Master/Client节点。 更改安全模式 集群创建完成后,可以通过更改安全模式进行集群模式变更。 CS S服务支持如下几种安全模式更改: 非安全模式切换为安全模式:“非安全模式”切换为“安全模式+HTTP协议”或“安全模式+HTTPS协议” 安全模式切换为非安全模式:“安全模式+HTTP协议”或“安全模式+HTTPS协议”切换为“非安全模式” 切换安全模式下的协议:“安全模式+HTTP协议”切换为“安全模式+HTTPS协议”、“安全模式+HTTPS协议”切换为“安全模式+HTTP协议” 切换可用区 切换可用区包含两大场景:可用区高可用改造和可用区平移切换。 可用区高可用改造:适用于单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ的场景,目的是为了提升集群的高可用性。 可用区平移切换:适用于从一个AZ完全迁移到另一个AZ的场景,目的是为了解决当前可用区资源不足的问题。
  • 修改Kibana公网访问 对已经配置了Kibana公网访问的集群, 云搜索服务 支持修改带宽、修改访问控制和关闭Kibana公网访问。 登录 云搜索 服务管理控制台。 在集群管理页面,单击需要修改Kibana公网访问的集群名称,进入集群基本信息页面。 选择“Kibana公网访问”,修改Kibana公网访问。 修改带宽 单击“带宽”参数右侧的“修改”,在“修改Kibana公网访问带宽”页面修改带宽大小,修改完成后,单击“确定”。 修改访问控制 单击“访问控制开关”右侧的“修改”,在“修改Kibana公网访问控制”页面设置“访问控制开关”和访问“白名单”,修改完成后,单击“确定”。 关闭Kibana公网访问 在“Kibana公网访问”右侧单击开关,确认关闭Kibana公网访问功能。
  • 已有集群开启Kibana公网访问 您可以对已经创建的安全模式集群的Kibana公网访问进行开启、关闭、修改、查看等操作。 登录云搜索服务管理控制台。 在集群管理页面,单击需要配置Kibana公网访问的集群名称,进入集群基本信息页面。 选择“Kibana公网访问”,在“Kibana公网访问”右侧单击开关,打开Kibana公网访问功能。 在开启Kibana公网访问页面,配置相关参数。 表2 Kibana公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 取值范围:1-100。 单位:Mbit/s。 访问控制开关 如果关闭访问控制开关,则允许任何IP通过公网IP访问集群Kibana。如果开启访问控制开关,则只允许白名单列表中的IP通过公网IP访问集群Kibana。 白名单 设置允许访问的IP地址或网段,中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。 建议开启白名单。 配置完成后,单击“确定”。
  • 创建集群时配置Kibana公网访问 登录云搜索服务管理控制台。 单击右上角的“创建集群”,进入创建集群页面。 在创建集群页面,开启“安全模式”。 “高级配置”选择“自定义”后,开启Kibana公网访问,配置相关参数。 表1 Kibana公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 取值范围:1-100。 单位:Mbit/s。 访问控制开关 如果关闭访问控制开关,则允许任何IP通过公网IP访问集群Kibana。如果开启访问控制开关,则只允许白名单列表中的IP通过公网IP访问集群Kibana。 白名单 设置允许访问的IP地址或网段,中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。 建议开启白名单。 集群创建成功后,单击集群名称,进入集群基本信息页面,在“Kibana公网访问”页签,可以查看kibana公网访问地址。
  • 通过公网IP访问Kibana Kibana公网访问配置完成后,将会获得一个Kibana公网访问地址,用户可以通过此IP地址访问集群的Kibana。 登录云搜索服务管理控制台。 在集群管理页面,单击需要配置Kibana公网访问的集群名称,进入集群基本信息页面。 选择“Kibana公网访问”,获取kibana公网访问地址。 图1 获取Kibana公网访问地址 通过该地址,就可以在公网上面访问云搜索服务集群的Kibana。
  • 启动检测任务 登录云搜索服务管理控制台。 在集群管理页面,单击需要进行智能运维的集群名称,跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维页面,单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息,单击“确定”。 表1 配置检测任务 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN 主题 当勾选“任务完成后发送SMN告警”时,需要选择当前账号已创建的SMN主题。 告警灵敏度 当勾选“任务完成后发送SMN告警”时,需要选择告警灵敏度。 当检测到的风险项存在大于等于此告警敏感度的条目,则发送SMN告警消息,消息内容则包含所有风险项。 当检测任务状态变成“完成”时,表示智能检测结束,可以查看集群风险项。
  • 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险。 删除检测任务:当不需要历史所创建的检测任务时,可删除检测任务。删除检测任务后,系统将删除检测任务所对应的所有诊断信息。 智能运维的检查项包含如下项目。 检查当前时刻集群的健康状态,其中red表示有主分片未分配,yellow表示有副分片未分配,green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数,判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用量分布可能导致集群负载不均,读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多,单节点分片数量过多会消耗大量节点资源,读写请求时延增加,集群元数据更新缓慢等。 检测所有分片大小,分片太大可能导致查询性能下降,节点内存消耗增加,影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败,或7天内无快照备份记录。
  • 查看集群风险项 当检测任务完成时,可以查看检测结果。 登录云搜索服务管理控制台。 在集群管理页面,单击集群名称,跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维列表页面,选择已启动的检测任务。单击下方的,可查看当前检测任务的“创建时间”、“摘要”、“ID”以及检测任务所发现的“风险项”。 单击风险项左侧,可查看风险项详情,包括检测项、风险描述、风险建议。 您可以根据风险建议及时处理集群所存在的风险。 图1 风险项 单击智能运维列表操作列的“导出风险项”,支持下载检测结果。
  • 授权使用SMN服务 通过CSS服务的管理员账号登录云搜索服务管理控制台。 在左侧导航栏选择“服务授权”。 在服务授权页面,单击“创建SMN委托”,在弹窗中确认委托创建成功。 如果已经创建过委托,则右上角会提示“css_smn_agency exist, no need to created.”。 如果无创建权限,则右上角会提示“当前用户没有操作权限,请通过 IAM 检查账户权限!”,请确认该管理员账号是否配置了IAM使用权限。
  • 场景描述 云搜索服务默认安装了开源的OpenSearch告警插件(opensearch-alerting),用于提供数据满足特定条件时的通知功能。该插件包含Alerts、Monitors、Destinations三个组件,CSS服务在Destinations组件中适配了 消息通知 服务SMN,且仅支持通过SMN服务作为目的端(Destination)进行告警消息发送。 本文主要介绍如何在OpenSearch Dashboards中设置OpenSearch集群的SMN告警功能。 开源OpenSearch告警插件OpenSearch Alerting的官方指导文档请参见:Alerting - OpenSearch Documentation 。
  • 场景描述 表1 Logstash集群的扩容场景 场景 描述 相关文档 增加节点数量 只支持扩容集群的“节点数量”。适用于如下场景: 当需要确保数据的持续可用性时,扩容Logstash集群的节点数量可以增加系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格 只支持变更集群的“节点规格”。变更规格过程中,会依次对节点进行关机,完成更改后再依次开机,是一个滚动的变更过程。一般用于小规格变更为大规格,常用于如下场景: 当现有的Logstash节点处理能力达到瓶颈,无法满足日益增长的数据量时,升级节点规格可以提供更多的计算资源和存储空间,从而提高整体的处理性能。 在流量高峰期,为了及时处理增加的数据,可以通过升级Logstash节点规格来提高处理能力。 变更节点规格
  • 约束限制 重启过程中集群不可用,请谨慎操作。 工作中状态的集群,重启过程会主动停止Logstash进程。 当管道列表“是否保持常驻”为“否”时,重启过程中会将所有“运行中”的管道状态置为“已停止”。 当管道列表“是否保持常驻”为“是”时,重启过程中会触发Logstash进程恢复机制,将工作中的管道状态置为“恢复中”,如果十分钟内重新拉起Logstash进程,管道状态恢复为“工作中”,否则置为“失败”状态。
  • 背景信息 云搜索服务用opendistro_security安全插件对外提供安全集群能力,opendistro_security安全插件是基于RBAC(Role-Based Access Control)模型构建。RBAC包括三个重要核心概念:用户(User)、权限(Action)、角色(Role)。RBAC简化了用户和权限的关系,降低了权限管理的难度,方便权限扩展易于维护。三者之前的关系如下图所示。 图1 用户、权限和角色 表1 OpenSearch Dashboard创建用户和授权 参数 描述 Permission 权限:单个动作,例如创建索引(例如indices:admin/create)。 Action group 操作组:表示一组权限。例如,预定义的SEARCH操作组授权角色使用_search和_msearchAPI。 Role 角色:定义为权限或操作组的组合,包括对集群,索引,文档或字段的操作权限。 User 用户:可以向Elasticsearch集群发出操作请求。用户具有凭证(例如,用户名和密码)、零个或多个后端角色以及零个或多个自定义属性。 Role mapping 角色映射:用户在成功进行身份验证后会担任角色,角色映射,就是将角色映射到用户(或后端角色)。例如,kibana_user(角色)到jdoe(用户)的映射意味着John Doe在获得kibana_user身份验证后获得了所有权限。同样,all_access(角色)到admin(后端角色)的映射意味着具有后端角色admin(来自LDAP / Active Directory服务器)的任何用户都获得了all_access身份验证后的所有权限。您可以将每个角色映射到许多用户和/或后端角色。 在OpenSearch Dashboard界面的Security菜单中,您可以控制用户在OpenSearch集群中的权限,实现集群、索引、文档和字段四个级别的细粒度访问权限控制。 支持添加或删除集群的用户,并能够将用户映射到角色,实现用户关联角色权限。 角色映射功能允许配置角色的成员,通过用户名、后端角色和主机名将用户分配给相应的角色。支持为每种角色配置集群访问权限、索引和文档的访问权限,以及OpenSearch Dashboard的使用权限。 有关安全集群的更多安全配置信息以及详细的操作指导,可以参考Elasticsearch的安全模式官方介绍。
  • 通过内网地址访问OpenSearch Dashboards登录OpenSearch集群 同一VPC下的服务器才能通过OpenSearch集群的内网访问地址访问OpenSearch Dashboards。 登录云搜索服务管理控制台。 在OpenSearch集群管理页面,单击集群名称,进入集群基本信息页面。 在集群基本信息页面,获取集群的内网访问地址。 图2 获取内网地址 将集群的内网访问地址的端口号从“9200”改为“5601”,即为OpenSearch Dashboards的内网地址。例如,集群的“内网访问IPv4地址”是“192.168.0.***:9200”,则OpenSearch Dashboards的内网地址为“192.168.0.***:5601”。 在服务器中,输入OpenSearch Dashboards的内网地址即可进入OpenSearch Dashboards登录界面。 非安全模式的集群:将直接进入OpenSearch Dashboards操作界面。 安全模式的集群:需要在登录页面输入用户名和密码,单击“Log In”进入OpenSearch Dashboards操作界面。用户名默认为admin,密码为创建集群时设置的管理员密码。 登录成功后,可在OpenSearch Dashboards界面进行相关操作访问OpenSearch集群。
  • 通过公网地址访问OpenSearch Dashboards登录OpenSearch集群 仅安全模式的集群支持通过Kibana公网访问地址访问OpenSearch Dashboards。 登录云搜索服务管理控制台。 开启OpenSearch集群的Kibana公网访问。支持在创建集群的时候就配置Kibana公网访问,或者在集群创建完之后再开启Kibana公网访问。 在创建集群时配置Kibana公网访问:操作指导请参见创建OpenSearch集群。 集群创建完之后再开启Kibana公网访问: 在集群管理页面,单击需要配置Kibana公网访问的集群名称,进入集群基本信息页面。 左侧菜单栏选择“Kibana公网访问”,在“Kibana公网访问”右侧单击开关,打开Kibana公网访问功能。 在开启Kibana公网访问页面,配置相关参数。如果集群已配置Kibana公网访问,此时也支持修改相关配置。 表2 配置Kibana公网访问 参数 说明 带宽 设置公网访问的带宽。 取值范围:1-100。 单位:Mbit/s。 访问控制开关 如果关闭访问控制开关,则允许任何IP通过公网IP访问集群Kibana。如果开启访问控制开关,则只允许白名单列表中的IP通过公网IP访问集群Kibana。 白名单 设置允许访问的IP地址或网段,中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。 建议开启白名单。 说明: Kibana公网访问配置的白名单依赖ELB的白名单能力。更新白名单后,白名单对新建的连接是实时生效的,但对于已存在的长连接,可能会出现去掉的白名单IP地址还能访问Kibana的场景,这是因为要等长连接断开后才生效,预计1分钟左右。 配置完成后,单击“确定”。 待集群的Kibana公网访问开通以后,在Kibana公网访问页面获取“kibana公网访问地址”。 图1 获取Kibana公网访问地址 在浏览器中,输入“kibana公网访问地址”即可进入OpenSearch Dashboards登录界面。 在登录页面输入用户名和密码,单击“Log In”进入OpenSearch Dashboards操作界面。用户名默认为admin,密码为创建集群时设置的管理员密码。 登录成功后,可在OpenSearch Dashboards界面进行相关操作访问OpenSearch集群。