检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他
date_format(date, 'Y') FROM my-index 必须在文档映射中启用fielddata才能使大多数字符串函数正常工作。 连接操作Joins 表6 连接操作Joins Join Example Inner join SELECT s.firstname, s.lastname,
date_format(date, 'Y') FROM my-index 必须在文档映射中启用fielddata才能使大多数字符串函数正常工作。 连接操作Joins 表6 连接操作Joins Join Example Inner join SELECT s.firstname, s.lastname,
率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL、GaussDB for MySQL等)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsearch作为关系型数据库的补充,以此提升数据库的全文检索能力和高并发的Ad
确保运行Go代码的服务器与CSS集群的网络是互通的。 确认服务器已安装Go,Go官网下载地址:https://go.dev/dl/。 连接非安全集群 连接非安全集群,示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 package
方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。 方法二: 打通VPC网络,建立对等连接。具体操作请参见对等连接简介。 打通网络后,使用Logstash进行数据迁移。具体操作请参见使用Logstash迁移集群数据。 父主题: CSS集群迁移
BS或者Oracle数据库中,推荐使用CDM比较方便。 JSON 使用CDM导入数据到OpenSearch 数据复制服务DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库 使用DRS从数据库导入数据至OpenSearch 使用DRS从数据库导入数据至OpenSearch
者Oracle数据库中,推荐使用CDM比较方便。 JSON 使用CDM导入数据到Elasticsearch 数据复制服务DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库 使用DRS从数据库导入数据至Elasticsearch 使用DRS从数据库导入数据至Elasticsearch
群处于可用状态。 集群间需要保证网络连通。 如果源集群、Logstash和目标集群在不同VPC,则需要先打通VPC网络建立对等连接。具体操作请参见对等连接简介。 如果是自建Elasticsearch集群迁移至华为云,则可以通过给自建Elasticsearch集群配置公网访问打通网络。
终端节点接口 开启终端节点服务 关闭终端节点服务 获取终端节点连接 更新终端节点连接 修改终端节点服务白名单 父主题: API
图2 全场景日志分析场景 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。
配置Elasticsearch集群存算分离 流量控制2.0 流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。同时也提供节点访问IP统计和URL的统计能力。开启客户端写入流量反
务情况增加或减少Replica数量。 文档 Elasticsearch存储的实体,是可以被索引的基本单位,相当于关系型数据库中的行。 文档类型 类似关系型数据库中的表,用于区分不同的数据。 Elasticsearch 7.x以下版本中,1个索引里面可以包含若干个文档类型,每个文档必须设定它的文档类型。
集群 登录云搜索服务管理控制台。 在“集群管理”页面选择需要登录的集群,单击“操作”列中的“Kibana”进入OpenSearch Dashboards登录界面。 非安全模式的集群:将直接进入OpenSearch Dashboards操作界面。 安全模式的集群:需要在登录页面输入用户名和密码,单击“Log
群中涉及到OBS查询的性能都会下降,例如恢复分片的速度变慢、查询数据时变慢等。 访问集群 登录云搜索服务管理控制台。 在“集群管理”页面,选择需要访问的集群,单击操作列“Kibana”,登录Kibana页面。 选择左侧导航栏的“Dev Tools”,进入操作页面。 冻结索引 执行
ess-client:Client节点。 ess-cold:冷数据节点。 前提条件 集群处于“可用”状态,且无正在进行的任务。 缩容随机节点 登录云搜索服务管理控制台。 在左侧菜单栏,选择对应的集群类型,进入集群管理页面。 选择目标集群,单击操作列的“更多>形态变更”进入形态变更页面。
Elasticsearch集群的连接端口,默认是“9200”。 protocol 连接协议,“http”或者“https”,根据集群实际情况填写。 connectTimeout socket连接超时时间。 connectionRequestTimeout socket连接请求超时时间。 socketTimeout
存算分离。 流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制等。每个功能配置独立的控制开关。详情请参见流量控制。 大查询隔离 云搜索服务的大查询隔离特性支持对查询请求进行独立管理,
asticsearch集群在同一Region。 操作步骤 登录Elasticsearch所在的第三方友商云,创建一个支持s3协议的共享存储仓库,例如登录阿里云的进入OSS服务创建目录“patent-esbak”, 或者登录腾讯云进入COS服务创建目录“patent-esbak”。
已创建两个版本一致的集群,一个作为主集群,另一个作为从集群。从集群必须能访问主集群的REST接口(默认端口为9200)。 连接主从集群 登录云搜索服务管理控制台。 在“集群管理”页面选择从集群,单击操作列“Kibana”,登录Kibana页面。 单击左侧导航栏的“Dev Tools”进入操作页面 执行如下命令,在从集群配置主集群的信息。