检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数 说明 注意事项 “OBS桶” 选择日志存储的OBS桶。单击右侧的“创建桶”支持新建OBS桶。 OBS桶的所在区域必须跟集群的所在区域保持一致。 “备份路径” 填写日志在OBS桶中的存放路径。 备份路径配置规则: 备份路径不能包括符号“\:*?"<>|”。 备份路径不能以“/”开头。
改”配置路由信息。 “IP地址”:填写LDAP服务器的子网。如果使用的是ECS上的LDAP服务,则此处直接填写ECS的子网。“子网掩码”:填写LDAP服务器的子网掩码。如果使用的是ECS上的LDAP服务,则此处直接填写ECS的子网掩码。 “更改类型”:选择“添加”。 单击“确定”完成配置。
改”配置路由信息。 “IP地址”:填写LDAP服务器的子网。如果使用的是ECS上的LDAP服务,则此处直接填写ECS的子网。“子网掩码”:填写LDAP服务器的子网掩码。如果使用的是ECS上的LDAP服务,则此处直接填写ECS的子网掩码。 “更改类型”:选择“添加”。 单击“确定”完成配置。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求已成功。 400 非法请求。 建议直接修改该请求,不要重试该请求。 404 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。
提高数据迁移的效率。 并发同步技术:利用slice并发同步技术,可以提高数据迁移的速度和性能,尤其是在处理大规模数据时。 配置简单:华为云Logstash的配置相对简单直观,通过配置文件即可实现数据的输入、处理和输出。 强大的数据处理功能:Logstash内置了丰富的过滤器,可以
0/s 表3 返回信息的参数说明 参数 说明 index 索引名称。 begin 查看监控数据的起始时间。 end 查看监控数据的结束时间。 status 查询监控时间间隔内的索引状态。 pri 查询监控时间间隔内的索引的shard数量。 rep 查询监控时间间隔内的索引副本数量。 init
Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数: “es
CSS默认聚合操作中允许的最大bucket数量为10000,如果执行聚合操作时需要返回超过10000个bucket,可以通过修改“search.max_buckets”的值来允许更多的bucket返回。但是需要注意,增加“search.max_buckets”的值也会增加集群的负载和内存使用,因此需要谨慎使用。
问题现象 filebeat是性能非常出色的文件采集工具,绝大多数的业务日志可以很容易的在1秒内收集至elasticsearch内,但是个别日志量大的业务日志无法及时收集,按照官方的默认配置通常1核CPU分配给filebeat时,写ES的速率低于1M/S,这里可以针对filebeat
Tool)是一个开源的Elasticsearch集群迁移工具。它支持不同版本的Elasticsearch之间的数据迁移,并且可以通过配置Scroll API的参数来控制迁移速率,以适应不同的网络环境和业务需求。以下是ESM实现Elasticsearch集群间数据迁移的一些应用场景:
Eye)是面向华为云资源的监控平台,提供了实时监控、及时告警、资源分组、站点监控等能力。CSS服务基于云监控服务CES,从集群和节点两个维度提供了丰富的监控指标,监控信息通过CES对外提供可视化报表展示。 CSS支持的监控指标请参见支持的监控指标。基于CES的告警能力,可以对指定的监控指标进行
当Logstash集群和数据源的子网在同一个主网卡时,两者的网络互通,无需配置Logstash集群路由。 当Logstash集群和数据源的子网不在同一个主网卡时,需要配置Logstash集群路由,给Logstash集群的每个节点新增一个指向目标IP地址(即源数据所在的服务器IP地址)的回程路由,以
指定修改kibana的访问权限的集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 whiteList 是 String 允许kibana公网访问的白名单ip或网段,以逗号隔开,不可重复。 响应参数 无 请求示例 修改后的白名单,即最新的白名单 POST /v1
stash集群的节点数量可以增加系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求已成功。 400 非法请求。 建议直接修改该请求,不要重试该请求。
云搜索服务为您提供各种业务场景、方案架构的最佳实践,方便您根据自身的业务场景选择合适的实践方案。 表1 常用最佳实践 实践场景 描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务,兼容开源Logstash的能力,支持用
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
表1 函数中的变量说明 参数 描述 HOST ES集群的访问地址,当存在多个IP地址时,中间用“,”隔开。 USERNAME 访问集群的用户名。 PASSWORD 用户名对应的密码。 运行代码 根据集群类型将以上适配的代码写入到“EsTest.gc”文件并存放到一个单独的目录,在该目录执行以下命令运行代码。
副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads”的值(默认为4),增加向量索引构建的线程数。 PUT
在“使用VPN专线访问CSS集群”或“通过VPC的对等连接访问CSS集群”场景下,其所在的客户端与CSS不在同一VPC下。因此,要求CSS集群的子网与其VPC具有不同的网段。 例如,某一CSS集群,选用的VPC为vpc-8e28,其网络配置为192.168.0.0/16。选用了此VPC下的子网subnet-4