华为云用户手册

  • 数值数据类型 表1 整数类型 序号 MySQL数据库 GaussDB数据库 差异 1 BOOL 支持,存在差异 输出格式: GaussDB 中SELECT TRUE/FALSE输出结果为t/f,MySQL为1/0。 MySQL:BOOL/BOOLEAN类型实际映射为TINYINT类型。 2 BOOLEAN 支持,存在差异 3 TINYINT[(M)] [UNSIGNED] 支持,存在差异 详细请参见说明。 4 SMALLINT[(M)] [UNSIGNED] 支持,存在差异 详细请参见说明。 5 MEDIUMINT[(M)] [UNSIGNED] 支持,存在差异 MySQL存储MEDIUMINT数据需要3字节。 带符号的范围是-8,388,608 ~ +8,388,607。 无符号的范围是0 ~ +16,777,215。 GaussDB映射为INT类型,存储需要4字节,通过边界值判断限制取值范围。 带符号的范围是-8,388,608 ~ +8,388,607。 无符号的范围是0 ~ +16,777,215。 其他差异请参见说明。 6 INT[(M)] [UNSIGNED] 支持,存在差异 详细请参见说明。 7 INTEGER[(M)] [UNSIGNED] 支持,存在差异 详细请参见说明。 8 BIGINT[(M)] [UNSIGNED] 支持,存在差异 详细请参见说明。 输入格式: MySQL: 整型类型对于类似”1.2.3.4.5”有多个小数点的字符串形式输入,在宽松模式下MySQL会发生错误解析,抛出WARNING并插表成功,例如将”1.2.3.4.5”插入表后值为12。 GaussDB: 整型类型对于类似”1.2.3.4.5”有多个小数点的的字符串形式输入,在宽松模式下,会将第二个小数点后的字符当作非法字符全部截断,抛出WARNING并插表成功,例如将”1.2.3.4.5”插入表后值为1,”1.6.3.4.5”插入表后值为2。 表2 任意精度类型 序号 MySQL数据库 GaussDB数据库 差异 1 DECIMAL[(M[,D])] 支持,存在差异 MySQL decimal用一个9*9的数组存储数值,整数部分和小数部分分开存储,超过该长度时优先截小数部分。GaussDB只会在整数位数超过81位时截断。 2 NUMERIC[(M[,D])] 支持,存在差异 3 DEC[(M[,D])] 支持,存在差异 4 FIXED[(M[,D])] 支持,存在差异 表3 浮点类型 序号 MySQL数据库 GaussDB数据库 差异 1 FLOAT[(M,D)] 支持,存在差异 FLOAT数据类型不支持KEY键值分区策略分区表。 2 FLOAT(p) 支持,存在差异 FLOAT数据类型不支持KEY键值分区策略分区表。 3 DOUBLE[(M,D)] 支持,存在差异 DOUBLE数据类型不支持KEY键值分区策略分区表。 4 DOUBLE PRECISION[(M,D)] 支持,存在差异 DOUBLE PRECISION数据类型不支持KEY键值分区策略分区表。 5 REAL[(M,D)] 支持,存在差异 REAL数据类型不支持KEY值分区策略分区表。 父主题: 数据类型
  • 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险。 删除检测任务:当不需要历史所创建的检测任务时,可删除检测任务。删除检测任务后,系统将删除检测任务所对应的所有诊断信息。 智能运维的检查项包含如下项目。 检查当前时刻集群的健康状态,其中red表示有主分片未分配,yellow表示有副分片未分配,green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数,判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用量分布可能导致集群负载不均,读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多,单节点分片数量过多会消耗大量节点资源,读写请求时延增加,集群元数据更新缓慢等。 检测所有分片大小,分片太大可能导致查询性能下降,节点内存消耗增加,影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败,或7天内无快照备份记录。
  • 查看集群风险项 当检测任务完成时,可以查看检测结果。 登录 云搜索服务 管理控制台。 在集群管理页面,单击集群名称,跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维列表页面,选择已启动的检测任务。单击下方的,可查看当前检测任务的“创建时间”、“摘要”、“ID”以及检测任务所发现的“风险项”。 单击风险项左侧,可查看风险项详情,包括检测项、风险描述、风险建议。 您可以根据风险建议及时处理集群所存在的风险。 图1 风险项 单击智能运维列表操作列的“导出风险项”,支持下载检测结果。
  • 启动检测任务 登录 云搜索 服务管理控制台。 在集群管理页面,单击需要进行智能运维的集群名称,跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维页面,单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息,单击“确定”。 表1 配置检测任务 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN 主题 当勾选“任务完成后发送SMN告警”时,需要选择当前账号已创建的SMN主题。 告警灵敏度 当勾选“任务完成后发送SMN告警”时,需要选择告警灵敏度。 当检测到的风险项存在大于等于此告警敏感度的条目,则发送SMN告警消息,消息内容则包含所有风险项。 当检测任务状态变成“完成”时,表示智能检测结束,可以查看集群风险项。
  • 场景描述 表1 Logstash集群的扩容场景 场景 描述 相关文档 增加节点数量 只支持扩容集群的“节点数量”。适用于如下场景: 当需要确保数据的持续可用性时,扩容Logstash集群的节点数量可以增加系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格 只支持变更集群的“节点规格”。变更规格过程中,会依次对节点进行关机,完成更改后再依次开机,是一个滚动的变更过程。一般用于小规格变更为大规格,常用于如下场景: 当现有的Logstash节点处理能力达到瓶颈,无法满足日益增长的数据量时,升级节点规格可以提供更多的计算资源和存储空间,从而提高整体的处理性能。 在流量高峰期,为了及时处理增加的数据,可以通过升级Logstash节点规格来提高处理能力。 变更节点规格
  • 配置自定义词库 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在“集群管理”页面,单击需要配置自定义词库的集群名称,进入集群基本信息页面。 选择“自定义词库”。 在“自定义词库”页面,配置集群的自定义词库或修改预置词库。 当需要配置用户自定义的词库时,参考表1完成配置。 表1 配置自定义词库 参数 说明 OBS桶 选择词库文件存储的OBS位置。 单击“创建桶”可以跳转到创建桶页面新建OBS桶,新建OBS桶必须和集群在相同“区域”,且“默认存储类别”只支持“标准存储”或“低频访问存储”。 主词词库 主词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。 当需要添加自定义的主词词库时,单击“更新”,选择txt格式的词库文件。 当无需添加自定义的主词词库时,单击“不使用此词库”,删除词库。 停词词库 停词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。 当需要添加自定义的停词词库时,单击“更新”,选择txt格式的词库文件。 当无需添加自定义的停词词库时,单击“不使用此词库”,删除词库。 同义词词库 同义词词库是用户自定义的词库,初始状态为空。默认选择“不更新”表示不配置该词库。 当需要添加自定义的同义词词库时,单击“更新”,选择txt格式的词库文件。 当无需添加自定义的同义词词库时,单击“不使用此词库”,删除词库。 当需要修改预置词库时,单击打开“修改预置词库”右侧的开关,修改对应的预置词库。 如果界面不存在静态词库和Extra词库这4个词库时,表示该集群版本不支持删除或修改这4个预置词库。如果想要使用该功能,建议升级集群版本,或者新建集群并进行数据迁移。 表2 配置预置词库 参数 说明 静态主词词库 静态主词词库是预置的常用词语的主词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的静态主词词库时,单击“更新”,选择txt格式的词库文件。 当不使用静态主词库时,单击“不使用此词库”,删除词库。 静态停词词库 静态停词词库是预置的常用词语的停词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的静态停词词库时,单击“更新”,选择txt格式的词库文件。 当不使用静态停词库时,单击“不使用此词库”,删除词库。 Extra主词词库 Extra主词词库是预置的生僻词语的主词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的Extra主词词库时,单击“更新”,选择txt格式的词库文件。 当不使用Extra主词库时,单击“不使用此词库”,删除词库。 Extra停词词库 Extra停词词库是预置的生僻词语的Extra停词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的Extra停词词库时,单击“更新”,选择txt格式的词库文件。 当不使用Extra停词库时,单击“不使用此词库”,删除词库。 单击“保存”,在弹窗中单击“确定”。词库信息在下方呈现,此时词库状态为“更新中”。请耐心等待1分钟左右,当词库配置完成后,词库状态变更为“成功”。 当删除或更新静态词库和Extra词库这4个词库时,需要重启集群才能使配置的词库生效;其他词库的更新为动态更新,无需重启集群。重启集群的操作指导请参见重启Elasticsearch集群。
  • 背景信息 云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS 服务使用的分词器包括IK分词器和同义词分词器。IK分词器配备主词词库和停词词库;同义词分词器配备同义词词库。其中,IK分词器包含ik_max_word和ik_smart分词策略。同义词分词器使用的是ik_synonym分词策略。 ik_max_word:会将文本做最细粒度的拆分,比如会将“昨夜西风吹折千林梢”拆分为“昨夜西风,昨夜,西风,吹折千林梢,吹折,千林梢,千,林,折千林,千林,吹”,会穷尽各种可能的分词组合。 ik_smart:会做最粗粒度的拆分,比如会将“昨夜西风吹折千林梢”拆分为“昨夜西风,吹折千林梢”。 CS S服务给集群预置了静态主词词库、静态停词词库、Extra主词词库和Extra停词词库这四个词库。 当这些预置词库已满足集群业务的分词需求时,则集群无需配置自定义词库即可直接实现关键词搜索。 当预置词库不满足集群业务分词需求时,可以给集群添加主词词库、停词词库或同义词词库,亦或者是修改预置的四个词库,使集群能够实现关键词或同义词搜索。 CSS服务的各类词库介绍请参见表1。 表1 词库介绍 词库类型 说明 文件要求 自定义 主词词库 主词为用户希望进行分词的特殊词语,例如“智能手机”和“喜大普奔”。主词词库则是用户自定义的特殊词语的集合。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,主词文件最大支持100M。如果涉及单词,必须改成小写字母。 停词词库 停词为用户不希望进行分词或者关注的词语,例如“的”、“什么”、“怎么”等。停词词库是用户自定义的停词词语的集合。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,停词文件最大支持100M。 同义词词库 同义词为意义相同的一组词语,例如“开心”和“高兴”。同义词词库是用户自定义的同义词词语的集合。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一组同义词对,同义词对中的同义词间逗号隔开,同义词文件最大支持100MB。 预置 静态主词词库 静态主词词库是CSS服务预置的常用主词集合,当需要查看静态主词词库时,可以单击地址https://github.com/infinilabs/analysis-ik/blob/master/config/main.dic获取词库。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,静态主词文件最大支持100M。 静态停词词库 静态停词词库是CSS服务预置的常用停词集合,当需要查看静态停词词库时,可以单击地址https://github.com/infinilabs/analysis-ik/blob/master/config/stopword.dic获取词库。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,静态停词文件最大支持100M。 Extra主词词库 Extra主词词库是CSS服务预置的生僻主词集合,当需要查看Extra主词词库时,可以单击地址https://github.com/infinilabs/analysis-ik/blob/master/config/extra_main.dic获取词库。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,Extra主词文件最大支持100M。 Extra停词词库 Extra停词词库是CSS服务预置的生僻停词集合,当需要查看Extra停词词库时,可以单击地址https://github.com/infinilabs/analysis-ik/blob/master/config/extra_stopword.dic获取词库。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,Extra停词文件最大支持100M。
  • 场景描述 CSS服务支持创建多种安全模式的集群,不同集群的差异请参见表1。 表1 集群类型介绍 集群类型 集群描述 适用场景 非安全集群 非安全模式的集群 非安全模式的集群无需安全认证即可访问,采用HTTP协议明文传输数据。建议确认访问环境的安全性,勿将访问接口暴露到公网环境上。 适合内网业务,用于测试场景。 优点:简单,接入集群容易。 缺点:安全性差,任何人都可以访问集群。 安全集群 安全模式+HTTP协议的集群 安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTP协议明文传输数据。建议确认访问环境的安全性,勿将访问接口暴露到公网环境上。 可以实现用户权限隔离,适用于对集群性能敏感的场景。 优点:访问集群需要安全认证,提升了集群安全性。通过HTTP协议访问集群又能保留集群的高性能。 缺点:无法公网访问集群。 安全模式+HTTPS协议的集群 安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTPS协议进行通信加密,使数据更安全。 有非常高的安全要求,且需要公网访问集群的场景。 优点:访问集群需要安全认证,提升了集群安全性,且HTTPS协议的通讯加密可以实现集群公网访问功能。 缺点:通过HTTPS协议访问集群,集群的读取性能相对HTTP协议来说,会下降20%左右。 同时,CSS服务支持多种安全模式的更改场景,请参见表2。 表2 安全模式的更改场景 场景 相关文档 “非安全模式的集群”切换为“安全模式+HTTP协议的集群” 非安全模式切换为安全模式 “非安全模式的集群”切换为“安全模式+HTTPS协议的集群” “安全模式+HTTP协议的集群”切换为“非安全模式的集群” 安全模式切换为非安全模式 “安全模式+HTTPS协议的集群”切换为“非安全模式的集群” “安全模式+HTTP协议的集群”切换为“安全模式+HTTPS协议的集群” 切换安全模式下的协议 “安全模式+HTTPS协议的集群”切换为“安全模式+HTTP协议的集群”
  • 约束限制 2022年11月之后创建的集群(且集群版本不小于6.5.4)才支持切换安全模式。 在更改集群安全模式的过程中,集群会自动重启。重启会导致业务中断,并且重启后调用集群的认证方式也会发生改变,客户端需要做相应调整。 对于已打开过Kibana会话框的集群,在更改集群安全模式后,Kibana会提示Session错误,此时需要清理缓存再打开Kibana才能正常访问。 关闭集群的安全模式时,会清理安全集群的账号,安全账号被清理后将无法恢复。
  • 约束限制 删除集群时,会清理集群业务数据,请谨慎操作。 如果集群没有备份快照,则删除后不可恢复集群数据。当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时,并不会释放这部分备份数据。如果有需要,可以通过OBS桶中存储的快照信息恢复数据,具体参见集群被删除后是否还能恢复?。 当集群已开通终端节点服务时,当前账号必须要有删除终端节点的权限,否则集群删除后并不会释放终端节点资源。终端节点的相关权限请参见VPCEP权限管理。
  • 场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。 当选择“节点名称”快速重启时,一次只能重启一个节点。 快速重启过程中,集群不可用。 快速重启 滚动重启 仅当集群的节点数量(含Master节点、Client节点和冷数据节点)大于等于3时,才支持滚动重启。 滚动重启只支持根据“节点类型”进行重启。选择节点类型滚动重启时,所选类型的节点会依次重启。 滚动重启过程中,只有正在重启的节点不可用,不在重启过程中的节点可以正常提供服务。 当数据量比较大时,滚动重启耗时较长。 滚动重启
  • 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。 登录在云搜索服务管理控制台, 在左侧导航栏,选择对应的集群类型,进入集群管理页面。 在集群列表中,单击集群名称进入集群“基本信息”页面。 在集群“基本信息”页面,单击“企业项目”右侧的企业项目名称,进入项目管理页面。 在“资源”页签下,“区域”选项中选择当前集群所在的区域,“服务”选项中选“云搜索服务 CSS”。此时,资源列表将筛选出对应的CSS集群。 图1 筛选CSS集群 勾选需要修改企业项目的集群,然后单击“迁出”。 在“迁出资源”页面,选择“迁出方式”,再选择“请选择要迁入的企业项目”,然后单击“确定”。 迁出完成后,可以在云搜索服务管理控制台集群管理页面,查看修改后的集群企业项目信息。
  • 标签管理 CSS服务支持对集群标签进行增删改查。 登录云搜索服务管理控制台。 在集群管理页面,单击待管理标签的集群名称。 系统跳转至该集群“基本信息”页面。 左侧菜单栏选择“标签”,在此可以对集群标签进行添加,修改,删除操作。 查看 在“标签”页,可以查看当前集群的标签详情,包括标签个数,以及每个标签的键和值。 添加 单击左上角的“编辑标签”,在弹出的“编辑标签”窗口,单击“添加新标签”输入标签的键和值,并单击“确定”返回标签列表。 修改 单击左上角的“编辑标签”,在弹出的“编辑标签”窗口,修改标签的键和值,并单击“确定”返回标签列表。 删除 单击左上角的“编辑标签”,在弹出的“编辑标签”窗口,单击标签所在行的“删除”,删除后单击“确定”返回标签列表。 表1 标签命名规则 参数 说明 标签键 对于同一个集群,标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @”。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符“_ . : = + - @/”。不能以空格开头和结尾。 不能为空。
  • 启动检测任务 登录云搜索服务管理控制台。 在集群管理页面,单击需要进行智能运维的集群名称,跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维页面,单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息,单击“确定”。 表1 配置检测任务 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN主题 当勾选“任务完成后发送SMN告警”时,需要选择当前账号已创建的SMN主题。 告警灵敏度 当勾选“任务完成后发送SMN告警”时,需要选择告警灵敏度。 当检测到的风险项存在大于等于此告警敏感度的条目,则发送SMN告警消息,消息内容则包含所有风险项。 当检测任务状态变成“完成”时,表示智能检测结束,可以查看集群风险项。
  • 查看集群风险项 当检测任务完成时,可以查看检测结果。 登录云搜索服务管理控制台。 在集群管理页面,单击集群名称,跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维列表页面,选择已启动的检测任务。单击下方的,可查看当前检测任务的“创建时间”、“摘要”、“ID”以及检测任务所发现的“风险项”。 单击风险项左侧,可查看风险项详情,包括检测项、风险描述、风险建议。 您可以根据风险建议及时处理集群所存在的风险。 图1 风险项 单击智能运维列表操作列的“导出风险项”,支持下载检测结果。
  • 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险。 删除检测任务:当不需要历史所创建的检测任务时,可删除检测任务。删除检测任务后,系统将删除检测任务所对应的所有诊断信息。 智能运维的检查项包含如下项目。 检查当前时刻集群的健康状态,其中red表示有主分片未分配,yellow表示有副分片未分配,green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数,判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用量分布可能导致集群负载不均,读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多,单节点分片数量过多会消耗大量节点资源,读写请求时延增加,集群元数据更新缓慢等。 检测所有分片大小,分片太大可能导致查询性能下降,节点内存消耗增加,影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败,或7天内无快照备份记录。
  • 查看资源告警 在总览页面查看CSS服务的告警信息。 登录云搜索服务管理控制台。 在左侧导航栏选择“总览”,在“告警”模块查看告警信息。 图1 告警信息 单击“全部”,在“告警记录”弹窗中查看详细告警信息。 鼠标悬停在资源名称上,会显示告警情况。 单击“告警配置”,在告警配置页面根据页面提示设置告警规则。 如果预置的告警规则无法满足需求,单击“创建告警规则”可以新建告警规则。具体操作请参见 云监控服务 CES的创建告警规则和通知。
  • 开启索引回收站 执行如下命令,启用索引回收站功能。 PUT _cluster/settings { "persistent": { "index.trash.enabled": true } } 表1 配置项说明 配置项 说明 “index.trash.enabled” 索引回收站开关,缺省值是“false”,表示不启用索引回收站功能,集群与开源Elasticsearch集群的能力兼容。当设置成“true”时,表示开启索引回收站功能,执行删除索引的操作后,索引将被存放至回收站中,需要再次执行删除索引的操作才能彻底删除索引数据。 “indices.trash.keep.time” 索引在回收站中的存放时长,缺省值是“1d”,表示索引在回收站中存放1天后将被系统彻底删除。最小值为“1d”。 执行如下命令,删除索引。 DELETE {INDEX_NAME} 其中“INDEX_NAME”为需要删除的索引名称,支持通配符。
  • 约束限制 仅Elasticsearch 7.10.2集群支持索引回收站功能。 当开启回收站之后,使用DELETE API将索引放入回收站时,集群的状态可能会出现短暂的RED,这是由于索引存放至回收站时会将索引CLOSE,在Elasticsearch中CLOSE索引时会出现短暂的RED状态。 当使用还原API从回收站中还原索引时,集群的状态可能会出现短暂的RED,这是由于还原索引时需要重新OPEN索引,在Elasticsearch中OPEN索引时会重新初始化分片,导致短暂的RED状态。 存放在回收站中的索引仍然是集群元数据的一部分,因此集群无法新建和回收站中的同名的索引。
  • 查看回收站中的索引 执行如下命令,查看索引回收站中的索引。 GET _cat/trash?v=true&s=index 表2 参数说明 参数名称 说明 v 当返回值格式是表格形式时,设置是否显示表头。 true:显示表头。 false:不显示表头。 缺省值是“false”。 s 指定索引的排序字段。可选值为“index”、“uuid”、“pri”、“rep”、“trash.ts”、“delete.time”。 format 设置返回值的呈现格式,默认为表格形式,支持json、yaml、cobr、smile,其中cobr和smile为二进制格式。 h 设置需要显示的列名,默认全部显示,当只需要显示部分列名时,可以通过逗号隔开列名,例如“h=index,uuid,delete.time”。 返回值如下所示,此处是示例,仅供参考,请以实际返回值为准。 index uuid pri rep trash.ts delete.time index1 CMD3FCLzTOyTg4RUekWNNA 1 1 1714465116615 23.6h index1 6ATijuu6SfqamVI-WMyOKg 1 1 1714466233898 23.9h 表3 返回值的参数说明 列名 说明 index 索引名称。 uuid 索引的uuid。 pri 索引的分片数。 rep 索引的副本数。 trash.ts 索引存放至回收站的时间。 delete.time 索引在回收站中剩余存放时长,当变成0时,回收站中的索引将被彻底删除。
  • 支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail 删除集群 cluster deleteCluster 修改集群名称 cluster updateClusterName 查询集群列表 cluster listClusters 扩容集群 cluster updateExtendCluster 扩容实例的数量和存储容量 cluster updateExtendInstanceStorage 获取实例规格列表 cluster listFlavors 查询所有标签 cluster listClustersTags 查询指定集群的标签 cluster showClusterTag 添加指定集群标签 cluster createClustersTags 删除集群标签 cluster deleteClustersTags 批量添加或删除集群标签 cluster updateBatchClustersTags 缩容 cluster updateShrinkNodes 指定节点类型规格变更 cluster updateFlavorByType 切换安全组 cluster changeSecurityGroup 创建集群V2 cluster createClusterV2 重启集群 cluster rebootCluster 创建配置文件 cluster createCnf 更新配置文件 cluster updateCnf 启动Pipeline迁移数据 cluster startPipeline 停止Pipeline迁移数据 cluster stopPipeline 添加到自定义模板 cluster addFavorite 连通性测试 cluster startConnectivityTest 查询模板列表 cluster listTemplates 查询配置文件列表 cluster listConfs 查询Pipeline列表 cluster listPipelines 查询操作记录 cluster listActions 查询配置文件内容 cluster showGetConfDetail 删除配置文件 cluster deleteConf 删除自定义模板 cluster deleteTemplate 热启动Pipeline迁移数据 cluster startHotPipeline 热停止Pipeline迁移数据 cluster stopHotPipeline 更新集群路由 cluster updateRoute 获取集群路由 cluster getRoutes 上传证书文件 cluster uploadCerts 查询证书列表 cluster listCerts 查询证书文件信息 cluster showCertsDetail 删除证书文件 cluster deleteCerts 开启日志功能 cluster startLogs 关闭日志功能 cluster stopLogs 查询作业列表 cluster listLogsJob 查询日志基础配置 cluster showGetLogSetting 修改日志基础配置 cluster updateLogSetting 开启日志自动备份策略 cluster startLogAutoBackupPolicy 关闭日志自动备份策略 cluster stopLogAutoBackupPolicy 备份日志 cluster createLogBackup 查询日志 cluster showLogBackup
  • 查看集群的监控信息 在集群列表查看集群和集群节点的监控信息。 登录云搜索服务管理控制台。 在左侧导航栏选择“集群管理”,进入对应类型的集群列表。 在集群列表,选择目标集群,单击操作列“监控信息”查看集群和节点监控信息。 图1 查看监控信息 选择“资源实例”页签,查看集群的监控指标。 资源实例:选择要查看监控信息的集群,默认选择当前集群。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上,右侧会显示修改名称和删除分组的图标,可以修改分组。 设置指标:在“设置监控指标”弹窗中,可以根据页面提示设置“原始指标”和“TopN指标”。 选择“云服务节点”页签,查看集群节点的监控指标。只会显示“资源实例”页签中选择的第一个资源实例的节点监控信息。 云服务节点:选择要查看监控信息的集群节点,默认选择当前集群的第一个节点。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上,右侧会显示修改名称和删除分组的图标,可以修改分组。 设置指标:在“设置监控指标”弹窗中,可以根据页面提示设置“原始指标”。
  • Bulk聚合优化 通过指定配置项“index.aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入,该方案可以有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 在“集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana左侧导航栏,选择“Dev Tools”。 在“Dev Tools”页面,执行如下命令开启Bulk聚合优化。 PUT my_index { "settings": { "index.aggr_perf_batch_size": "128" } } 配置项“index.aggr_perf_batch_size”的取值范围为[1, Integer.MAX_VALUE]。缺省值为1,表示关闭Bulk聚合优化。当取值大于1时,表示打开Bulk聚合优化且批量取值为MIN(bulk_doc_size, aggr_perf_batch_size)。
  • 索引merge任务优化 开启以上三种数据导入性能优化后,集群的索引merge任务会增加,通过指定配置项“index.merge.scheduler.max_thread_count”可以降低索引merge任务开销对导入性能的影响。索引merge任务优化可以增加shard的合并线程数,减少合并对数据导入的限流。 在“集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana左侧导航栏,选择“Dev Tools”。 在“Dev Tools”页面,执行如下命令启动索引merge任务优化。 PUT my_index { "settings": { "index.merge.scheduler.max_thread_count": 8 } } 配置项“index.merge.scheduler.max_thread_count”的取值范围是[1, node.processors/2],缺省值是4,建议设置为8。
  • 文本索引加速 通过指定配置项“index.native_speed_up”可以开启文本索引加速。索引加速功能通过优化索引流程以及内存使用等方式实现,对于文本字段(text、keyword)能够极大提升索引构建的性能。当开启文本索引加速时,支持通过指定配置项“index.native_analyzer”同时开启分词加速。对于需要分词的文本字段(text),当无特殊分词需求时可以开启分词加速提升分词性能。 仅当开启文本索引加速(即“index.native_speed_up”设置为“true”)时,才支持开启分词加速(即“index.native_analyzer”设置为“true”),否则分词加速不生效。 包含“nested”字段的索引不支持开启文本索引加速。 在“集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana左侧导航栏,选择“Dev Tools”。 在“Dev Tools”页面,执行如下命令开启文本索引加速。 PUT my_index { "settings": { "index.native_speed_up": true, "index.native_analyzer": true } } 配置项“index.native_speed_up”和“index.native_analyzer”的取值范围是true和fales,缺省值是fales。
  • 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式 功能描述 相关文档 Bulk路由优化 根据Elasticsearch默认的路由规则,Bulk请求中的每一条数据会被路由到不同的shard,当索引分片较多时,会产生大量的内部转发请求,在大规模写入场景下容易触发写拒绝。同时,在大规模集群中,长尾效应会导致Bulk请求时延较高。 通过指定配置项“index.bulk_routing”可以开启集群的Bulk路由优化,该优化可以减少内部转发的请求数量,在shard数较多的场景下,能够有效提升写入性能以及减少写入拒绝。 说明: 开启Bulk路由优化后(即“index.bulk_routing”设置为“pack”或“ocal_pack”),数据写入不再根据“_id”进行路由,与路由的相关功能使用会受限,例如根据“_id”进行文档GET请求可能失败。 Bulk路由优化 Bulk聚合优化 通过指定配置项“index.aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入,该方案可以有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 Bulk聚合优化 文本索引加速 通过指定配置项“index.native_speed_up”可以开启文本索引加速。索引加速功能通过优化索引流程以及内存使用等方式实现,对于文本字段(text、keyword)能够极大提升索引构建的性能。当开启文本索引加速时,支持通过指定配置项“index.native_analyzer”同时开启分词加速。对于需要分词的文本字段(text),当无特殊分词需求时可以开启分词加速提升分词性能。 说明: 仅当开启文本索引加速(即“index.native_speed_up”设置为“true”)时,才支持开启分词加速(即“index.native_analyzer”设置为“true”),否则分词加速不生效。 包含“nested”字段的索引不支持开启文本索引加速。 文本索引加速 索引merge任务优化 开启以上三种数据导入性能优化后,集群的索引merge任务会增加,通过指定配置项“index.merge.scheduler.max_thread_count”可以降低索引merge任务开销对导入性能的影响。索引merge任务优化可以增加shard的合并线程数,减少合并对数据导入的限流。 索引merge任务优化
  • Bulk路由优化 通过指定配置项“index.bulk_routing”可以开启集群的Bulk路由优化,该优化可以减少内部转发的请求数量,在shard数较多的场景下,能够有效提升写入性能以及减少写入拒绝。 开启Bulk路由优化后(即“index.bulk_routing”设置为“pack”或“ocal_pack”),数据写入不再根据“_id”进行路由,与路由的相关功能使用会受限,例如根据“_id”进行文档GET请求可能失败。 在“集群管理”页面,选择可用的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana左侧导航栏,选择“Dev Tools”。 在“Dev Tools”页面,执行如下命令开启Bulk路由优化。 PUT my_index { "settings": { "index.bulk_routing": "local_pack" } } 配置项“index.bulk_routing”的取值范围如下所示。 “default”:缺省值,使用集群默认的路由机制,Bulk请求中的每一条记录会拆分后独立路由。 “pack”:单个Bulk请求的数据会被随机路由到同一个shard中。 “ocal_pack”:单个Bulk请求的数据会被路由到接收该Bulk请求的数据节点的本地shard中,如果该节点不包含对应index的shard,则会进行随机路由到其他包含该索引shard节点上。该方案依赖客户端Bulk请求的随机打散和主shard的均衡分布。
  • 节点监控指标列表 监控的指标ID、指标名称、指标含义以及取值范围参见表2。 监控的测量对象:CSS集群 - 云服务节点 监控的监控周期(原始指标):1分钟 表2 云搜索服务节点支持的监控指标 指标ID 指标名称 指标含义 取值范围 jvm_heap_usage JVM堆使用率 节点JVM堆内存使用率。 单位:百分比 0-100% cpu_usage CPU利用率 CPU利用率。 单位:百分比 0-100% load_average 节点Load值 操作系统中1分钟平均排队任务数。 ≥ 0 jvm_old_gc_count JVM老年代总GC次数 “老年代”垃圾回收的运行次数。 ≥ 0 jvm_old_gc_time JVM老年代总GC时间 执行“老年代”垃圾回收所花费的时间。 单位:ms ≥ 0 ms jvm_young_gc_count JVM年轻代总GC次数 “年轻代”垃圾回收的运行次数。 ≥ 0 jvm_young_gc_time JVM年轻代GC时间 执行“年轻代”垃圾回收所花费的时间。 单位:ms ≥ 0 ms events_in 当前节点经过input插件的数据数 该指标用于统计当前节点经过input插件的数据数。 ≥ 0 events_filtered 当前节点经过filtered插件的数据数 该指标用于统计当前节点过滤处理的数据数。 ≥ 0 events_out 当前节点经过out插件的数据数 该指标用于统计当前节点经过out插件的数据数。 ≥ 0
  • Logstash管道监控指标列表 监控的指标ID、指标名称、指标含义以及取值范围参见表3。 监控的测量对象:CSS集群 - Logstash管道 监控的监控周期(原始指标):1分钟 表3 Logstash管道的监控指标 指标ID 指标名称 指标含义 取值范围 logstash_pipeline_events_in 当前管道监控周期内经过input插件的数据数。 该指标用于统计当前管道监控周期内经过input插件的数据数。 ≥ 0 logstash_pipeline_events_filtered 当前管道监控周期内经过filtered插件的数据数。 该指标用于统计当前管道监控周期内过滤处理的数据数。 ≥ 0 logstash_pipeline_events_out 当前管道监控周期内经过out插件的数据数。 该指标用于统计当前管道监控周期内经过out插件的数据数。 ≥ 0
  • 集群监控指标列表 监控的指标ID、指标名称、指标含义以及取值范围参见表1。 监控的测量对象:CSS集群。本文介绍的是Logstash集群的监控指标列表。 监控的监控周期(原始指标):1分钟 累计值:从节点启动时开始叠加数值,当节点重启后清零重新累计。 表1 云搜索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 max_jvm_heap_usage 最大JVM堆使用率 CSS集群中各个节点的JVM堆使用率的最大值。 单位:百分比 0-100% max_jvm_young_gc_time 最大JVM Young GC耗时 CSS集群中各个节点的JVM Young GC耗时累计值的最大值。 单位:ms ≥ 0 ms max_jvm_young_gc_count 最大JVM Young GC次数 CSS集群中各个节点的JVM Young GC次数累计值的最大值。 ≥ 0 max_jvm_old_gc_time 最大JVM Old GC耗时 CSS集群中各个节点的JVM Old GC耗时累计值的最大值。 单位:ms ≥ 0 ms max_jvm_old_gc_count 最大JVM Old GC次数 CSS集群中各个节点的JVM Old GC次数累计值的最大值。 ≥ 0 max_cpu_usage 最大CPU利用率 CSS集群中各个节点的CPU利用率的最大值。 单位:百分比 0-100% max_load_average 最大节点Load值 CSS集群中各个节点在操作系统中1分钟平均排队任务数的最大值。 ≥ 0 avg_cpu_usage 平均CPU使用率 CSS集群中各节点CPU利用率的平均值。 单位:百分比 0-100% avg_load_average 平均节点Load值 CSS集群中各节点在操作系统中1分钟平均排队任务数的平均值。 ≥ 0 avg_jvm_heap_usage 平均JVM堆使用率 CSS集群中各节点JVM堆内存使用率的平均值。 单位:百分比 0-100% avg_jvm_old_gc_count JVM老年代平均GC次数 CSS集群中各个节点“老年代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 avg_jvm_old_gc_time JVM老年代平均GC时间 CSS集群中各个节点执行“老年代”垃圾回收所花费的时间累计值的平均值。 单位:ms ≥ 0 ms avg_jvm_young_gc_count JVM年轻代平均GC次数 CSS集群中各个节点“年轻代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 avg_jvm_young_gc_time JVM年轻代平均GC时间 CSS集群中各个节点执行“年轻代”垃圾回收所花费的时间累计值的平均值。 单位:ms ≥ 0 ms sum_events_in 集群下所有节点经过input插件的数据总数 该指标用于统计所有节点经过input插件的数据总数。 ≥ 0 sum_events_filtered 集群下所有节点经过filtere插件的数据总数 该指标用于统计所有节点经过过滤处理的数据总数。 ≥ 0 sum_events_out 集群下所有节点经过out插件的数据总数 该指标用于统计所有节点经过out插件的数据总数。 ≥ 0
共100000条