检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当Logstash部署在外网时，导入数据的流程说明如图1所示。 图1 Logstash部署在外网时导入数据示意图 创建一个跳转主机，并按如下要求进行配置。 跳转主机为一台Linux操作系统的弹性云服务器，且已绑定弹性IP。 跳转主机与CSS集群在同一虚拟私有云下。 已开放跳转主机的本地端
扩展性：水平扩展能力强，可以处理PB级别的数据。 前提条件 已创建非安全模式的Elasticsearch集群，操作步骤请参见创建Elasticsearch集群。 已申请弹性云服务器ECS，并安装了Java环境，购买ECS请参见快速购买和使用Linux ECS。 操作步骤 登录ECS，部署并配置Filebeat。
当Logstash部署在外网时，导入数据的流程说明如图1所示。 图1 Logstash部署在外网时导入数据示意图 创建一个跳转主机，并按如下要求进行配置。 跳转主机为一台Linux操作系统的弹性云服务器，且已绑定弹性IP。 跳转主机与CSS集群在同一虚拟私有云下。 已开放跳转主机的本地端
cluster changeSecurityGroup 创建集群V2 cluster createClusterV2 重启集群 cluster rebootCluster 创建配置文件 cluster createCnf 更新配置文件 cluster updateCnf 启动Pipeline迁移数据
操作请参见配置Logstash集群路由。 创建用于数据同步的Logstash配置文件。 在Logstash集群的配置中心页面，单击右上角“创建”，进入创建配置文件页面，编辑配置文件。 表1 创建配置文件 参数 说明 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线，
配置OpenSearch集群YML文件默认参数 云搜索服务支持用户修改“opensearch.yml”文件，该文件是OpenSearch的配置文件，用于设置和管理OpenSearch集群的各种参数和行为。通过合理配置YML参数，可以优化集群的性能，提高系统的稳定性和安全性。 配置YML文件
能。 单击“下一步：确认配置”，确认完成后单击“立即创建”开始创建集群。 单击“返回集群列表”，系统将跳转到“集群管理”页面。您创建的集群将展现在集群列表中，且集群状态为“创建中”，创建成功后集群状态会变为“可用”。 图5 创建集群 步骤3：配置迁移任务 在Logstash集群配
请求已成功。 400 非法请求。 建议直接修改该请求，不要重试该请求。 409 服务器在完成请求时发生冲突。 返回该状态码，表明客户端尝试创建的资源已经存在，或者由于冲突请求的更新操作不能被完成。 412 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 错误码
配置Elasticsearch集群YML文件默认参数 云搜索服务支持用户修改“elasticsearch.yml”文件，该文件是Elasticsearch的配置文件，用于设置和管理Elasticsearch集群的各种参数和行为。通过合理配置YML参数，可以优化集群的性能，提高系统的稳定性和安全性。 配置YML文件
Logstash接口 创建配置文件 更新配置文件 启动pipeline迁移数据 停止pipeline迁移数据 添加到自定义模板 连通性测试 查询模板列表 查询配置文件列表 查询pipeline列表 查询操作记录 查询配置文件内容 删除配置文件 删除自定义模板 热启动pipeline迁移数据
桶和IAM委托。 手动创建快照 该接口用于手动创建一个快照。 恢复快照 该接口用于手动恢复一个快照。 删除快照 该接口用于删除快照。 设置自动创建快照策略 该接口用于设置自动创建快照，默认一天创建一个快照。 查询自动创建快照的策略 该接口用于查询集群自动创建快照的策略。 查询快照列表
179.32:9200,10.62.179.33:9200”。 在ECS上安装OpenSearch Dashboards，并修改配置文件。 安全集群的配置文件示例如下： opensearch.username: "***" //安全集群的用户名 opensearch.password:
里可以针对filebeat.yml配置文件做优化，提高写入ES的性能。 原因分析 filebeat.yml的默认配置比较保守，在日志量很大的业务场景，需要修改filebeat.yml参数进行调优。 处理步骤 针对filebeat.yml配置文件做参数优化，调整input端配置：
配置Logstash迁移任务 创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题： 使用Logstash迁移数据
端口号，例如“10.62.179.32:9200,10.62.179.33:9200”。 在ECS上安装Kibana，并修改配置文件。 安全集群的配置文件示例如下： elasticsearch.username: "***" //安全集群的用户名 elasticsearch.password:
通过ESM迁移集群 访问ESM下载地址，下载“migrator-linux-amd64”软件包。 通过SCP工具将下载的“migrator-linux-amd64”软件包上传到Linux ECS的执行路径下。 在Linux ECS的执行路径下执行命令，将源集群的索引结构和数据迁移到目标集群。
编辑完成后，单击“下一页”配置Logstash配置文件运行参数。 此示例保持默认值即可，如需设置请参见创建Logstash配置文件。 配置完成后，单击“创建”。 在配置中心页面可以看到创建的配置文件，状态为“可用”，表示创建成功。 启动全量迁移任务。 在配置文件列表，选择配置文件“es-es-all”，单击左上角的“启动”。
依据，本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。 测试前准备 创建Elasticsearch向量数据库，参考创建Elasticsearch集群。 “节点数量”选择“3”，“节点规格”选择“通用计算型”的“4vCPUs | 16G
以实现MySQL数据库中的数据实时同步到Elasticsearch，确保数据的一致性和实时性。 简化的数据迁移和索引创建：在Elasticsearch中，可以创建与MySQL数据库表结构相对应的索引，简化了数据迁移和索引管理的复杂性。 灵活的查询语言：Elasticsearch提
使用 规划集群 在创建Logstash集群前，需要先完成集群规划。规划时，应考虑是否多可用区部署以提高集群的高可用性，合理配置集群的节点数量与规格，以确保集群的稳定性和性能。 Logstash集群规划建议 创建集群 基于集群规划，创建合适的Logstash集群。 创建Logstash集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
