检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取集群信息 准备迁移虚拟机 创建ECS用于迁移Elasticsearch集群。 购买Linux ECS,“镜像”选择CentOS 7系列,“虚拟私有云”和目标集群保持一致。购买操作指导请参见快速购买和使用Linux ECS。 测试ECS和源集群、目标集群的连通性。 在ECS执行如下命令测
功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录CSS服务的操作事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CSS服务支持云审计的操作列表请参见支持云审计的关键操作。 图1 云审计服务
用户关联角色权限。 角色映射功能允许配置角色的成员,通过用户名、后端角色和主机名将用户分配给相应的角色。支持为每种角色配置集群访问权限、索引和文档的访问权限,以及OpenSearch Dashboard的使用权限。 有关安全集群的更多安全配置信息以及详细的操作指导,可以参考Ela
参数类型 描述 project_id 是 String 项目ID。获取方法请参见获取项目ID和名称。 cluster_id 是 String 指定配置自定义词库的集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 bucketName 是 String 词库文件
bana公网访问”右侧单击开关,打开Kibana公网访问功能。 在开启Kibana公网访问页面,配置相关参数。如果集群已配置Kibana公网访问,此时也支持修改相关配置。 表2 配置Kibana公网访问 参数 说明 带宽 设置公网访问的带宽。 取值范围:1-100。 单位:Mbit/s。
name String 后端服务器名称。 address String 后端服务器对应的IP地址。 protocol_port Integer 后端服务器业务端口号。 operating_status String 后端云服务器的健康状态。ONLINE:后端云服务器正常。NO_MONIT
Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数: “es.batch
bana公网访问”右侧单击开关,打开Kibana公网访问功能。 在开启Kibana公网访问页面,配置相关参数。如果集群已配置Kibana公网访问,此时也支持修改相关配置。 表2 配置Kibana公网访问 参数 说明 带宽 设置公网访问的带宽。 取值范围:1-100。 单位:Mbit/s。
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
访问9300端口有以下几种方式: 如果是同VPC同子网内可直接访问。 如果是同VPC下跨子网访问,需要单独申请路由配置。 如果是不同的VPC不同的子网访问,需要先通过对等连接,打通两个VPC网络,然后单独申请路由配置,联通两个子网。 父主题: CSS集群访问
创建一个按需收费的Elasticsearch集群 本节通过调用云搜索服务的API创建CSS服务集群,CSS的接口调用流程如图1所示。 图1 接口调用流程 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API
选择“集群管理 > Elasticsearch”,进入集群列表页面。 单击集群名称进入集群“基本信息”页面,集群配置信息中的“可用区”即集群所分布的可用区。 图1 集群配置信息 父主题: CSS集群管理
Know, for Search" } 准备工具和软件,判断ECS是否可以联网,选择不同的安装方式。 是,选择在线安装工具和软件,直接使用yum和pip安装,具体请参见3。 否,选择离线安装工具和软件,下载安装包到虚拟机上执行安装命令,具体请参见4。 表2 准备工具和软件 类型 目的 获取位置
围已包含9200端口。 查看ECS实例是否添加安全组。 如果有,检查安全组的配置规则是否满足要求,在集群“基本信息”页面,可以查看“安全组信息”。然后执行步骤4。 如果没有,从ECS的实例详情页面,进入VPC页面,选择“安全组”,添加安全组。 在ECS实例上,测试是否可以正常连接到集群。
处理异常,且这种方式也不会解决所有的异常。 处理建议 客户端连接池大小建议根据业务实际情况调整。 客户端并发数建议根据业务实际情况调整,或者配置多个节点、分摊压力。 建议配置IOReactorExceptionHandler,可以用来处理一些异常。 调用HLRC时catch ex
sh集群的每个节点上配置指向源数据服务器IP的回程路由。 配置Logstash集群路由 配置Logstash迁移任务 通过Logstash集群的配置中心,可以创建并启动Logstash配置文件,以实现数据从不同数据源到目的端的迁移。 创建Logstash配置文件 启动Logstash迁移任务
400 非法请求。 建议直接修改该请求,不要重试该请求。 409 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 412 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 错误码 请参见错误码。
络不连通,可以配置Logstash集群路由,连通集群间的网络,具体操作请参见配置Logstash集群路由。 创建用于数据同步的Logstash配置文件。 在Logstash集群的配置中心页面,单击右上角“创建”,进入创建配置文件页面,编辑配置文件。 表1 创建配置文件 参数 说明
选择是否配置“公网访问”。配置公网访问后,用户可以获得一个公网访问的IP地址,通过这个IP地址可以在公网访问该安全集群,详细配置请参考配置OpenSearch集群公网访问。 单击“下一步:高级配置”。 在“高级配置”页面,完成OpenSearch集群的快照和其他高级配置。 设置集群快照。
获取信息 配置NAT网关 创建NAT网关。 登录控制台,在“服务列表”搜索“NAT网关”,进入网络控制台页面。 单击“购买NAT网关”,配置NAT网关的相关信息。详细请参考《NAT网关用户指南》购买NAT网关。 “虚拟私有云”和“子网”配置为获取云搜索服务信息获取的信息。 配置完成后,单击“立即购买”。