云服务器内容精选
-
Elasticsearch集群迁移方案介绍 表1 Elasticsearch集群迁移方案 迁移场景 迁移工具 适用场景 使用限制 场景示例 华为云Elasticsearch集群间数据迁移 华为云Logstash 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。 在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 如果源集群、Logstash和目标集群在不同VPC，则需要先打通VPC网络建立对等链接。具体操作请参见对等连接简介。 通过华为云Logstash实现Elasticsearch集群间数据迁移 备份与恢复 适用于同Region或跨Region、同账号或跨账号的华为云Elasticsearch集群间的数据迁移。 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。 目标集群的版本不能低于源集群的版本，版本兼容性分析请参见Snapshot version compatibility。 目标集群的节点数要大于源集群的节点数的一半，且不能小于源集群的shard副本数。 标集群的CPU、MEM和Disk配置不能低于源集群的配置。 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 读写分离插件 适用于同Region或跨Region、同账号或跨账号的华为云Elasticsearch集群间的数据迁移。 适用于将多个华为云Elasticsearch集群的数据整合到一个Elasticsearch集群的场景。 集群间需要保证网络连通。 如果源集群、Logstash和目标集群在不同VPC，则需要先打通VPC网络建立对等链接。具体操作请参见对等连接简介。 源集群和目标集群的版本必须一致，都是7.6.2或7.10.2版本。 通过读写分离插件实现华为云Elasticsearch集群间数据迁移 自建Elasticsearch集群迁移至华为云 华为云Logstash 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。 在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 可以通过给自建Elasticsearch集群配置公网访问打通网络。 通过华为云Logstash实现Elasticsearch集群间数据迁移 备份与恢复 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将自建的Elasticsearch服务迁移到华为云平台的场景。 目标集群的版本不能低于源集群的版本，版本兼容性分析请参见Snapshot version compatibility。 备份与恢复不支持动态增量数据同步，建议停止数据更新后再进行备份。 自建Elasticsearch集群需要配置公网访问权限才能备份快照到OBS。 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 云数据迁移 CDM 华为云服务提供的云迁移工具，实现不同云服务间的集群迁移能力。 需要建立企业内部数据中心到华为云的VPN通道或专线。 集群迁移过程中，不能删除源集群的索引数据，否则迁移的数据可能出现异常。 Elasticsearch整库迁移到 云搜索服务 第三方Elasticsearch集群迁移至华为云 华为云Logstash 适用于Elasticsearch集群版本跨度较大的迁移场景，例如从6.X版本迁移至7.X版本。 适用于将多个第三方Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将第三方Elasticsearch服务迁移到华为云平台的场景。 在集群迁移期间，不要对源集群的索引进行增删改操作，避免迁移后源集群与目标集群数据不一致。 集群间需要保证网络连通。 需要建立企业内部数据中心到华为云的VPN通道或专线。 通过华为云Logstash实现Elasticsearch集群间数据迁移 备份与恢复 适用于低版本的第三方Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。 适用于将多个第三方Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将第三方Elasticsearch服务迁移到华为云平台的场景。 目标集群的版本不能低于源集群的版本，版本兼容性分析请参见Snapshot version compatibility。 备份与恢复不支持动态增量数据同步，建议停止数据更新后再进行备份。 第三方存储仓库要配置公网访问才能迁移快照数据。 通过备份与恢复迁移第三方Elasticsearch集群至华为云 云数据迁移 CDM 华为云服务提供的云迁移工具，实现不同云服务间的集群迁移能力。 需要建立企业内部数据中心到华为云的VPN通道或专线。 集群迁移过程中，不能删除源集群的索引数据，否则迁移的数据可能出现异常。 Elasticsearch整库迁移到 云搜索 服务 华为云Elasticsearch集群迁移至OpenSearch集群 跨引擎升级 适用于 CSS 服务的Elasticsearch 7.10.2升级至OpenSearch 1.3.6。 建议在业务低峰期进行升级操作，避免影响业务。 待升级的Elasticsearch集群不能存在正在进行中的任务。 升级Elasticsearch集群版本 数据库数据迁移至Elasticsearch集群 数据复制服务 DRS 适用于将MySQL数据库中的数据同步到Elasticsearch集群中。一般用于集群间的数据增量迁移，在数据同步后集群随时可割接，较其他增量迁移更加方便灵活。 不同数据库来源的迁移方式和使用约束请参见相关文档。 使用DRS从数据库导入数据至Elasticsearch 父主题： ELasticsearch数据迁移
-
应用场景 7.6.2和7.10.2版本的华为云Elasticsearch集群默认安装了 CS S服务的读写分离插件，通过配置读写分离可以实现Elasticsearch集群间的索引数据近实时同步。 通过读写分离插件实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群。常用于以下场景： 跨地域或跨账号迁移：将其他Region或账号下的Elasticsearch集群迁移到当前集群中。 集群合并：将两个Elasticsearch集群的索引数据合并到一个集群中。
-
方案架构 图1 迁移流程 通过CSS服务的读写分离插件迁移华为云Elasticsearch集群（源集群）至华为云Elasticsearch（目标集群）的数据迁移流程如图1所示。 通过读写分离插件建立源集群和目标集群的连接。 在目标集群配置索引自动同步，实现源集群的数据自动同步到目标集群。同步周期默认是30秒，支持修改。 查询自动同步状态，确认集群数据是否迁移完成。 更多关于CSS服务的读写分离功能的介绍请参见配置Elasticsearch集群读写分离。
-
应用场景 S3插件（repository-s3）是一个专为Elasticsearch设计的插件，该插件允许用户将Elasticsearch的快照备份存储到与S3 API兼容的存储服务中，例如华为云的 对象存储服务 (OBS)。S3插件提供了一种高效、灵活且安全的方式来备份Elasticsearch集群的数据。 通过S3插件实现自建Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移，常用于以下场景： 服务迁移上云：将自建的Elasticsearch服务迁移到云平台，以利用云服务的可扩展性、维护简便性和成本效益。 跨版本迁移：将低版本的自建Elasticsearch集群数据迁移到高版本的华为云Elasticsearch集群中。 集群整合：将多个自建Elasticsearch集群迁移到一个华为云Elasticsearch集群中整合为统一的数据平台，以简化管理和提高数据一致性。 技术栈统一：当企业已经在华为云上运行其他服务时，为了技术栈的统一和简化管理，可以选择将Elasticsearch集群也迁移至华为云。
-
应用场景 本文以Elasticsearch、Filebeat、Logstash和Kibana为例，搭建一个统一日志管理平台。使用Filebeat采集ECS中的日志，发送到Logstash进行数据处理，再存储到Elasticsearch中，最后通过Kibana进行日志的可视化查询与分析。该方案可以用于以下场景： 日志管理：集中管理应用程序和系统日志，快速定位问题。 安全监控：检测和响应安全威胁，进行入侵检测和异常行为分析。 业务分析：分析用户行为，优化产品和服务。 性能监控：监控系统和应用程序性能，实时发现瓶颈。
-
方案架构 ELKB（Elasticsearch、Logstash、Kibana、Beats）提供了一整套日志场景解决方案，是目前主流的一种日志系统。 Elasticsearch是一个开源分布式的搜索和分析引擎，用于存储、搜索和分析大量数据。 Logstash是一个服务器端的数据管道，负责收集、解析和丰富数据后，将其发送到Elasticsearch。 Kibana为Elasticsearch提供一个开源的数据分析和可视化平台，用于对Elasticsearch中的数据进行搜索、查看和交互。 Beats：轻量级的数据收集器（如Filebeat、Metricbeat等），安装在服务器上，负责收集和转发数据到Logstash。 使用Elasticsearch和Logstash构建日志管理平台的方案架构如图1所示。 图1 ELKB架构 数据收集 Beats作为数据收集器，负责从各种源收集数据并发送到Logstash。 Logstash可以独立收集数据，或从Beats接收数据，对数据进行过滤、转换和增强。 数据处理 Logstash在将数据发送到Elasticsearch之前，对数据进行必要的处理，如解析结构化日志、过滤无用信息等。 数据存储 Elasticsearch作为核心存储组件，Elasticsearch索引和存储来自Logstash的数据，提供快速搜索和数据检索功能。 数据分析与可视化 使用Kibana对Elasticsearch中的数据进行分析和可视化，创建仪表板和报告，以直观展示数据。 ELKB系统中各组件的版本兼容性请参见https://www.elastic.co/support/matrix#matrix_compatibility。
-
启动检测任务 登录云搜索服务管理控制台。 在集群管理页面，单击需要进行智能运维的集群名称，跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维页面，单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息，单击“确定”。 表1 配置检测任务 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN 主题 当勾选“任务完成后发送SMN告警”时，需要选择当前账号已创建的SMN主题。 告警灵敏度 当勾选“任务完成后发送SMN告警”时，需要选择告警灵敏度。 当检测到的风险项存在大于等于此告警敏感度的条目，则发送SMN告警消息，消息内容则包含所有风险项。 当检测任务状态变成“完成”时，表示智能检测结束，可以查看集群风险项。
-
场景描述 集群的智能运维支持以下功能： 启动检测任务：通过启动检测任务，触发系统智能诊断集群的健康状况。 查看集群风险项：检测任务完成后，可以查看集群存在的风险项详情，根据风险建议及时处理集群存在的风险。 删除检测任务：当不需要历史所创建的检测任务时，可删除检测任务。删除检测任务后，系统将删除检测任务所对应的所有诊断信息。 智能运维的检查项包含如下项目。 检查当前时刻集群的健康状态，其中red表示有主分片未分配，yellow表示有副分片未分配，green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数，判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本，未设置副本的索引在节点发生故障后可能导致索引不可用，本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比，节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡，不均衡的存储用量分布可能导致集群负载不均，读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多，单节点分片数量过多会消耗大量节点资源，读写请求时延增加，集群元数据更新缓慢等。 检测所有分片大小，分片太大可能导致查询性能下降，节点内存消耗增加，影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败，或7天内无快照备份记录。
-
查看集群风险项 当检测任务完成时，可以查看检测结果。 登录云搜索服务管理控制台。 在集群管理页面，单击集群名称，跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维列表页面，选择已启动的检测任务。单击下方的，可查看当前检测任务的“创建时间”、“摘要”、“ID”以及检测任务所发现的“风险项”。 单击风险项左侧，可查看风险项详情，包括检测项、风险描述、风险建议。 您可以根据风险建议及时处理集群所存在的风险。 图1 风险项 单击智能运维列表操作列的“导出风险项”，支持下载检测结果。
-
授权使用SMN服务 通过CSS服务的管理员账号登录云搜索服务管理控制台。 在左侧导航栏选择“服务授权”。 在服务授权页面，单击“创建SMN委托”，在弹窗中确认委托创建成功。 如果已经创建过委托，则右上角会提示“css_smn_agency exist, no need to created.”。 如果无创建权限，则右上角会提示“当前用户没有操作权限，请通过 IAM 检查账户权限！”，请确认该管理员账号是否配置了IAM使用权限。
-
场景描述 云搜索服务默认安装了开源的OpenSearch告警插件（opensearch-alerting），用于提供数据满足特定条件时的通知功能。该插件包含Alerts、Monitors、Destinations三个组件，CSS服务在Destinations组件中适配了 消息通知 服务SMN，且仅支持通过SMN服务作为目的端（Destination）进行告警消息发送。 本文主要介绍如何在OpenSearch Dashboards中设置OpenSearch集群的SMN告警功能。 开源OpenSearch告警插件OpenSearch Alerting的官方指导文档请参见：Alerting - OpenSearch Documentation 。
-
场景描述 表1 Logstash集群的扩容场景 场景 描述 相关文档 增加节点数量 只支持扩容集群的“节点数量”。适用于如下场景： 当需要确保数据的持续可用性时，扩容Logstash集群的节点数量可以增加系统的容错能力。 当现有Logstash节点处理能力达到极限，无法满足日益增长的数据量时，扩容可以提供更多的处理能力，保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑，如数据丰富、转换等，扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格 只支持变更集群的“节点规格”。变更规格过程中，会依次对节点进行关机，完成更改后再依次开机，是一个滚动的变更过程。一般用于小规格变更为大规格，常用于如下场景： 当现有的Logstash节点处理能力达到瓶颈，无法满足日益增长的数据量时，升级节点规格可以提供更多的计算资源和存储空间，从而提高整体的处理性能。 在流量高峰期，为了及时处理增加的数据，可以通过升级Logstash节点规格来提高处理能力。 变更节点规格
-
约束限制 重启过程中集群不可用，请谨慎操作。 工作中状态的集群，重启过程会主动停止Logstash进程。 当管道列表“是否保持常驻”为“否”时，重启过程中会将所有“运行中”的管道状态置为“已停止”。 当管道列表“是否保持常驻”为“是”时，重启过程中会触发Logstash进程恢复机制，将工作中的管道状态置为“恢复中”，如果十分钟内重新拉起Logstash进程，管道状态恢复为“工作中”，否则置为“失败”状态。
-
背景信息 云搜索服务用opendistro_security安全插件对外提供安全集群能力，opendistro_security安全插件是基于RBAC（Role-Based Access Control）模型构建。RBAC包括三个重要核心概念：用户（User）、权限（Action）、角色（Role）。RBAC简化了用户和权限的关系，降低了权限管理的难度，方便权限扩展易于维护。三者之前的关系如下图所示。 图1 用户、权限和角色 表1 OpenSearch Dashboard创建用户和授权 参数 描述 Permission 权限：单个动作，例如创建索引（例如indices:admin/create）。 Action group 操作组：表示一组权限。例如，预定义的SEARCH操作组授权角色使用_search和_msearchAPI。 Role 角色：定义为权限或操作组的组合，包括对集群，索引，文档或字段的操作权限。 User 用户：可以向Elasticsearch集群发出操作请求。用户具有凭证（例如，用户名和密码）、零个或多个后端角色以及零个或多个自定义属性。 Role mapping 角色映射：用户在成功进行身份验证后会担任角色，角色映射，就是将角色映射到用户（或后端角色）。例如，kibana_user（角色）到jdoe（用户）的映射意味着John Doe在获得kibana_user身份验证后获得了所有权限。同样，all_access（角色）到admin（后端角色）的映射意味着具有后端角色admin（来自LDAP / Active Directory服务器）的任何用户都获得了all_access身份验证后的所有权限。您可以将每个角色映射到许多用户和/或后端角色。 在OpenSearch Dashboard界面的Security菜单中，您可以控制用户在OpenSearch集群中的权限，实现集群、索引、文档和字段四个级别的细粒度访问权限控制。 支持添加或删除集群的用户，并能够将用户映射到角色，实现用户关联角色权限。 角色映射功能允许配置角色的成员，通过用户名、后端角色和主机名将用户分配给相应的角色。支持为每种角色配置集群访问权限、索引和文档的访问权限，以及OpenSearch Dashboard的使用权限。 有关安全集群的更多安全配置信息以及详细的操作指导，可以参考Elasticsearch的安全模式官方介绍。
-
通过公网地址访问OpenSearch Dashboards登录OpenSearch集群 仅安全模式的集群支持通过Kibana公网访问地址访问OpenSearch Dashboards。 登录云搜索服务管理控制台。 开启OpenSearch集群的Kibana公网访问。支持在创建集群的时候就配置Kibana公网访问，或者在集群创建完之后再开启Kibana公网访问。 在创建集群时配置Kibana公网访问：操作指导请参见创建OpenSearch集群。 集群创建完之后再开启Kibana公网访问： 在集群管理页面，单击需要配置Kibana公网访问的集群名称，进入集群基本信息页面。 左侧菜单栏选择“Kibana公网访问”，在“Kibana公网访问”右侧单击开关，打开Kibana公网访问功能。 在开启Kibana公网访问页面，配置相关参数。如果集群已配置Kibana公网访问，此时也支持修改相关配置。 表2 配置Kibana公网访问 参数 说明 带宽 设置公网访问的带宽。 取值范围：1-100。 单位：Mbit/s。 访问控制开关 如果关闭访问控制开关，则允许任何IP通过公网IP访问集群Kibana。如果开启访问控制开关，则只允许白名单列表中的IP通过公网IP访问集群Kibana。 白名单 设置允许访问的IP地址或网段，中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。 建议开启白名单。 说明： Kibana公网访问配置的白名单依赖ELB的白名单能力。更新白名单后，白名单对新建的连接是实时生效的，但对于已存在的长连接，可能会出现去掉的白名单IP地址还能访问Kibana的场景，这是因为要等长连接断开后才生效，预计1分钟左右。 配置完成后，单击“确定”。 待集群的Kibana公网访问开通以后，在Kibana公网访问页面获取“kibana公网访问地址”。 图1 获取Kibana公网访问地址 在浏览器中，输入“kibana公网访问地址”即可进入OpenSearch Dashboards登录界面。 在登录页面输入用户名和密码，单击“Log In”进入OpenSearch Dashboards操作界面。用户名默认为admin，密码为创建集群时设置的管理员密码。 登录成功后，可在OpenSearch Dashboards界面进行相关操作访问OpenSearch集群。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
