检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BS或者Oracle数据库中,推荐使用CDM比较方便。 JSON 使用CDM导入数据到OpenSearch 数据复制服务DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库 使用DRS从数据库导入数据至OpenSearch 使用DRS从数据库导入数据至OpenSearch
获取参数配置列表 功能介绍 该接口用于获取当前集群现有的参数配置列表。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/clusters/{cluster_id}/ymls/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id
yml”文件修改就无法保留,需要提前备份。 兼容性检测 系统检查+人工检查 跨版本升级的升级任务启动后,系统会自动检测集群升级前后两个版本是否有不兼容配置。如果集群装有自定义插件,则自定义插件的版本兼容性需要人工检测。 跨版本升级时,升级前后没有不兼容的配置。 集群负载检测 系统检查+人工检查 当集群负载过高时
图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。
配置Logstash集群路由 配置Logstash迁移任务 通过Logstash集群的配置中心,可以创建并启动Logstash配置文件,以实现数据从不同数据源到目的端的迁移。 创建Logstash配置文件 启动Logstash迁移任务 运维 扩缩容 CSS服务提供灵活的扩容和缩容功能,支持增加节点
cluster rebootCluster 创建配置文件 cluster createCnf 更新配置文件 cluster updateCnf 启动Pipeline迁移数据 cluster startPipeline 停止Pipeline迁移数据 cluster stopPipeline
点规格和磁盘类型,不支持同时变更。 图1 变更规格 单击“下一步”。 确认变更信息后,单击“提交申请”。 在弹窗中确认检测项,单击“确认”启动集群规格变更。 当变更节点规格时,需要确认是否勾选“进行索引副本校验”和“检测集群状态”。 当变更磁盘类型时,需要确认是否勾选“索引副本校验”和“检测集群负载”。
步骤4:启动迁移任务 在Logstash集群启动配置好的迁移任务。 在Logstash集群管理页面,选择已创建的“Sample-Logstash”集群,进入集群基本信息页面。 单击右侧“配置中心”,进入Logstash配置中心界面。 选择状态为“可用”的配置文件,单击“启动”,启动
点规格和磁盘类型,不支持同时变更。 图1 变更规格 单击“下一步”。 确认变更信息后,单击“提交申请”。 在弹窗中确认检测项,单击“确认”启动集群规格变更。 当变更节点规格时,需要确认是否勾选“进行索引副本校验”和“检测集群状态”。 当变更磁盘类型时,需要确认是否勾选“索引副本校验”和“检测集群负载”。
率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL、GaussDB for MySQL等)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsearch作为关系型数据库的补充,以此提升数据库的全文检索能力和高并发的Ad
务情况增加或减少Replica数量。 文档 Elasticsearch存储的实体,是可以被索引的基本单位,相当于关系型数据库中的行。 文档类型 类似关系型数据库中的表,用于区分不同的数据。 Elasticsearch 7.x以下版本中,1个索引里面可以包含若干个文档类型,每个文档必须设定它的文档类型。
手动创建快照 功能介绍 该接口用于手动创建一个快照。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/index_snapshot 表1 路径参数 参数 是否必选 参数类型 描述 project_id
滚动重启 功能介绍 该接口会一个一个重启节点,在索引数量比较多的情况下耗时较长 仅当集群的节点数量(含Master节点、Client节点和冷数据节点)大于3时,才支持滚动重启 调用方法 请参见如何调用API。 URI POST /v2.0/{project_id}/cluster
表5 Logstash接口 API 说明 创建配置文件 该接口用于创建配置文件。 更新配置文件 该接口用于更新配置文件。 启动pipeline迁移数据 该接口用于启动pipeline迁移数据。 停止pipeline迁移数据 该接口用于停止pipeline迁移数据。 添加到自定义模板 该接口用于添加到自定义模板。
CSS服务中如何更新Elasticsearch生命周期策略? Elasticsearch生命周期实现使用的是Open Distro的ISM。此处简单介绍不涉及ISM template的策略更新步骤,如果要配置有关ISM template的策略可以参考Open Distro文档。 当创建一个policy时,系统会往“
0/OS-USER/users”。 query-string 查询参数,可选,查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要创建IAM用户,由于IAM为全局服务,则使用任一区域的Endpoint(比如“华北-北京四”区域的Endpoint:“iam
the test message 执行如下命令,启动Logstash。 nohup ./bin/logstash -f /opt/pht/logstash-6.8.6/logstash-sample.conf & 执行如下命令,启动Filebeat。 ./filebeat 通过Kibana进行查询并制作报表。
单击对应集群的名称,进入集群基本信息页面。 在“安全组”右侧,单击“更改安全组”。 图1 更改安全组 在“更改安全组”弹窗中,选择需要替换的安全组,单击“确定”启动更改任务。 父主题: CSS集群管理
Logstash接口 创建配置文件 更新配置文件 启动pipeline迁移数据 停止pipeline迁移数据 添加到自定义模板 连通性测试 查询模板列表 查询配置文件列表 查询pipeline列表 查询操作记录 查询配置文件内容 删除配置文件 删除自定义模板 热启动pipeline迁移数据 热停止pipeline迁移数据
nce,但是rebalance需要时间,此时新建索引很容易会被balande.shard参数主导,平衡所有索引的分片,即都分配在新节点上看起来更加平衡。 涉及集群平衡性shard分配主要有两个配置参数: cluster.routing.allocation.balance.index(默认值0