检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 查看集群模式 表1 不同集群类型之间进行数据迁移的Logstash配置文件样例 迁移场景 Logstash配置文件样例 非安全集群之间进行数据迁移 非安全集群的Logstash配置文件样例 使用HTTP访问的安全集群之间进行数据迁移 安全集群(使用HTTP访问)的Logstash配置文件样例
图1 项目隔离模型 Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP:应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 企业项目
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 监控安全风险
受影响,然而,集群的高可用性上有风险。 单节点使用率超过90%:系统将自动触发分片迁移机制,将该节点上的分片重新分配至磁盘使用率较低的其他数据节点。这一过程可能导致集群暂时无法分配新的分片,进而影响到业务的正常运行,因为分片的迁移和重新分配可能会导致查询延迟增加或临时的服务中断,从而对业务连续性造成影响。
待切换AZ的节点类型。支持: all:所有节点类型。 ess: 数据节点。 ess-cold: 冷数据节点。 ess-client: Client节点。 ess-master: Master节点。 说明: 在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 请求参数 表2 请求Body参数 参数
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
CSS集群迁移 CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? 是否支持跨Region迁移CSS集群? 使用CSS Logstash迁移Elasticsearch集群的Logstash配置文件样例
表2 响应Body参数 参数 参数类型 描述 datastore ClusterDetailDatastore object 参数解释: 数据搜索引擎类型。 instances Array of ClusterDetailInstances objects 参数解释: 节点对象列表。
PP搜索,配合超高IO的磁盘。成本较高,相对于NVMe的本地盘集群可靠性强。 磁盘增强型 1:8 磁盘较大,本地SAS直通盘。适合存储大量数据的日志、舆情场景等场景。一般冷节点优选这种规格。 通用计算型 1:4 默认规格,使用较频繁,各种场景都能使用,如果没有特别要求,可选择该规格。
集群冻结状态导致集群不可用 X-pack参数配置导致集群不可用 安全组策略设置不合理导致集群不可用 插件不兼容导致集群不可用 分片未正常分配导致集群不可用 数据类型不兼容导致集群不可用 集群负载过高导致集群不可用
具体创建步骤请参见:创建自定义策略。下面为您介绍常用的CSS自定义策略样例。 为了兼容开源生态,CSS服务的IAM权限和数据面集群权限分开控制,如果要开启数据面的安全能力,需要使用安全模式。 如果是子账号,需要同时设置GetBucketStoragePolicy、GetBucke
该接口用于创建配置文件。 更新配置文件 该接口用于更新配置文件。 启动pipeline迁移数据 该接口用于启动pipeline迁移数据。 停止pipeline迁移数据 该接口用于停止pipeline迁移数据。 添加到自定义模板 该接口用于添加到自定义模板。 连通性测试 该接口用于连通性测试。
云搜索服务支持Logstash集群。 Logstash集群支持通过配置中心修改logstash的配置文件,支持将redis、elasticsearch、jdbc等多种数据源导入到Elasticsearch集群。
55f) “balance.index”:值越大,shard分配越倾向于使得每个索引的所有分片在节点上均匀分布,如a索引共有6个shards,数据节点有3个,该配置值倾向于让a索引2、2、2平衡分配。 “balance.shard”:值越大,shard分配越倾向于使得所有分片(所有索
本数量。 登录云搜索服务管理控制台。 在左侧导航栏中,选择“集群管理 > Elasticsearch”,进入集群管理列表页面。 选择待导入数据的集群,单击操作列“Kibana”,登录Kibana。 单击左侧导航栏的“Dev Tools”进入操作页面。 在Kibana操作页面,执行
node”,如果集群中没有设置client node,则所有节点都是client node共同分摊客户端请求。 ingest节点相当于一套ELK,用于数据转换,当没有ingest业务时,客户端节点也不会闲置。 父主题: CSS集群搜索引擎使用
访问密钥(由IAM用户输入),建议访问方式选择编程访问和管理控制台访问,凭证类型为密码和访问密钥。例如IAM用户在控制台使用云数据迁移CDM服务创建数据迁移,需要通过访问密钥进行身份验证。 表3 配置凭证类型和登录保护 凭证类型与登录保护 说明 取值样例 访问密钥 访问密钥(AK/SK,Access
shards”不为0,表示集群存在无法分配的索引分片,是分片未正常分配导致集群不可用。 如果集群进行备份恢复或集群迁移操作后,出现的不可用现象,可能是数据类型不兼容导致集群不可用。 如果集群节点的日志内容存在报错“OutOfMemoryError”和警告“[gc][xxxxx] overhead
备份日志 功能介绍 该接口用于备份日志。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/logs/collect 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
关闭Kibana公网访问控制 功能介绍 该接口用于关闭Kibana公网访问控制。 调用方法 请参见如何调用API。 URI PUT /v1.0/{project_id}/clusters/{cluster_id}/publickibana/whitelist/close 表1 路径参数