华为云用户手册

  • 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。 “拉美-圣地亚哥”区域位于智利。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
  • 什么是区域、可用区? 区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
  • 产品基本概念 表1 弹性负载均衡基本概念 名词 说明 负载均衡器 负载均衡器是指您创建的承载业务的负载均衡服务实体。 监听器 监听器负责监听负载均衡器上的请求,根据配置的流量分配策略,分发流量到后端云服务器处理。 后端服务器 负载均衡器会将客户端的请求转发给后端服务器处理。例如,您可以添加E CS 实例作为负载均衡器的后端服务器,监听器使用您配置的协议和端口检查来自客户端的连接请求,并根据您定义的分配策略将请求转发到后端服务器组里的后端服务器。 后端服务器组 把具有相同特性的后端服务器放在一个组,负载均衡实例进行流量分发时,流量分配策略以后端服务器组为单位生效。 健康检查 负载均衡器会定期向后端服务器发送请求以测试其运行状态,这些测试称为健康检查。通过健康检查来判断后端服务器是否可用。负载均衡器如果判断后端服务器健康检查异常,就不会将流量分发到异常后端服务器,而是分发到健康检查正常的后端服务器,从而提高了业务的可靠性。当异常的后端服务器恢复正常运行后,负载均衡器会将其自动恢复到负载均衡服务中,承载业务流量。 重定向 HTTPS是加密数据传输协议,安全性高,如果您需要保证业务建立安全连接,可以通过负载均衡的HTTP重定向功能,将HTTP访问重定向至HTTPS。 会话保持 会话保持,指负载均衡器可以识别客户与服务器之间交互过程的关联性,在实现负载均衡的同时,保持将其他相关联的访问请求分配到同一台后端服务器上。 WebSocket WebSocket (WS)是HTML5一种新的协议。它实现了浏览器与服务器全双工通信,能更好地节省服务器资源和带宽并达到实时通讯。WebSocket建立在TCP之上,同HTTP一样通过TCP来传输数据,但是它和HTTP最大不同在于,WebSocket是一种双向通信协议,在建立连接后,WebSocket服务器和Browser/Client Agent都能主动的向对方发送或接收数据,就像Socket一样;WebSocket需要类似TCP的客户端和服务器端通过握手连接,连接成功后才能相互通信。 SNI 您需要在创建HTTPS和TLS监听器时开启SNI功能。SNI(Server Name Indication)是为了解决一个服务器使用 域名 证书的TLS扩展,开启SNI之后,用户需要添加域名对应的证书。开启SNI后,允许客户端在发起SSL握手请求时就提交请求的域名信息,负载均衡收到SSL请求后,会根据域名去查找证书,如果找到域名对应的证书,则返回该证书;如果没有找到域名对应的证书,则返回缺省证书。 长连接 长连接是指在一个连接上可以连续发送多个数据包,在连接保持期间,如果没有数据包发送,需要双方发链路检测包。 短连接 短连接是指通讯双方有数据交互时,就建立一个连接,数据发送完成后,则断开此连接,即每次连接只完成一项业务的发送。 并发连接 并发连接指客户端向服务器发起请求并建立了TCP连接的总和,负载均衡的并发连接是指每秒钟所能接收并处理的TCP连接总和。 父主题: 基本概念
  • 适用计费项 分布式消息服务RocketMQ版对您选择的RocketMQ实例和RocketMQ的磁盘存储空间收费。以下计费项支持按需计费。 表1 适用计费项 计费项 说明 实例费用 4.8.0版本的实例费用包括代理规格和代理数量。 5.x基础版和专业版的实例费用包括TPS和部署类型。 存储空间费用 总存储空间的费用。 4.8.0版本时,总存储空间的费用为单个代理的存储空间*代理数量。 弹性TPS费用 5.x专业版时,如果开启弹性TPS功能,则会按照超过实例基础规格TPS上限的增量部分进行计费。 取值为计费周期即1小时内,增量部分TPS的最大值。 说明: 专业版目前还处于公测阶段。 假设您计划购买一个4.8.0版本的RocketMQ实例,其存储空间为300GB。在购买RocketMQ实例页面底部,您将看到所需费用的明细,如图1所示。 图1 配置费用示例 配置费用将包括以下部分: 实例费用:根据所选配置(包括代理规格和代理数量)计算的费用。 存储空间费用:磁盘类型和总磁盘存储空间(单个代理的存储空间*代理数量)的费用。
  • 计费示例 假设您于2023/04/18 9:59:30在“华北-北京四”区域购买了一个按需计费4.8.0版本的RocketMQ实例(规格:rocketmq.4u8g.cluster.small*1,总存储空间:高I/O 300GB),计费资源包括实例费用(代理规格和代理数量),以及存储空间费用(高I/O 300GB),然后在2023/04/18 10:45:46将其删除,则: 第一个计费周期为9:00:00 ~ 10:00:00,在9:59:30 ~ 10:00:00间产生费用,该计费周期内的计费时长为30秒。 第二个计费周期为10:00:00 ~ 11:00:00,在10:00:00 ~ 10:45:46间产生费用,该计费周期内的计费时长为2746秒。 您需要为每个计费周期付费,各项RocketMQ资源单独计费,计费公式如表2所示。产品价格详情中标出了资源的每小时价格,您需要将每小时价格除以3600,得到每秒价格。 表2 计费公式 资源类型 计费公式 资源单价 实例费用 实例规格单价 * 购买时长 请参见分布式消息服务RocketMQ版价格详情中的“实例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务RocketMQ版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以分布式消息服务RocketMQ版价格详情中的价格为准。 图2 按需计费RocketMQ实例费用计算示例(华北-北京四区域)
  • 计费周期 按需计费RocketMQ实例按秒计费,每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。计费的起点以RocketMQ实例创建成功的时间点为准,终点以实例删除时间为准。 例如,您在8:45:30购买了一个按需计费的RocketMQ实例,然后在8:55:00将其删除,则计费周期为8:00:00 ~ 9:00:00,在8:45:30 ~ 8:55:30间产生费用,该计费周期内的计费时长为600秒。
  • 变更配置后对计费的影响 如果您在购买按需计费实例后变更了实例规格,会产生一个新订单并开始按新规格的价格计费,旧订单自动失效。 如果您在一个小时内变更了实例规格,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同规格在该小时内的生效时间。 例如,您在9:00:00购买了一个按需计费实例,实例规格为rocketmq.4u8g.cluster*1,并在9:30:00升配为rocketmq.8u16g.cluster*1,那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,实例规格按照rocketmq.4u8g.cluster*1计费。 第二条对应9:30:00 ~ 10:00:00,实例规格按照rocketmq.8u16g.cluster*1计费。
  • 编辑数据集介绍 资产发布上架后,准确、完整的资产介绍有助于提升资产的排序位置和访问量,能更好的支撑用户使用该资产。 在数据集详情页,选择“数据集介绍”页签,单击右侧“编辑介绍”。 编辑数据集基础设置和数据集描述。 表1 数据集介绍的参数说明 参数名称 说明 基础设置 中文名称 显示数据集的名称,不可编辑。 许可证 数据集遵循的使用许可协议,根据业务需求选择活修改合适的许可证类型。 语言 选择使用数据集时支持的输入输出语言。 任务类型 选择数据集支持用于什么类型的训练模型。 运行平台 选择数据集额外支持的运行平台。 设置运行平台后,当资产上架后,该资产支持通过订阅的方式同步到所选运行平台使用。 设置运行平台后,单击“设置”,在弹窗中可以自定义设置运行平台的资产标签,且标签可以被一起同步至运行平台。 数据集描述 - 资产的README内容,支持添加资产的简介、使用场景、使用方法等信息。 编辑完成后,单击“确认”保存修改。
  • 管理数据集文件 预览文件 在数据集详情页,选择“数据集文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页,选择“数据集文件”页签。单击操作列的“下载”,选择保存路径单击“确认”,即可下载文件到本地。 删除文件 在数据集详情页,选择“数据集文件”页签。单击操作列的“删除”,确认后即可将已经托管的文件从AI Gallery仓库中删除。 文件删除后不可恢复,请谨慎操作。
  • 创建AI应用 登录AI Gallery,单击右上角“我的Gallery”进入我的Gallery页面。 单击左上方“创建资产”,选择“AI应用”。 在“创建AI应用”页面配置参数。 表1 创建AI应用 参数 是否必填 说明 AI应用英文名称 是 自定义一个易于分辨的AI应用英文名称。 只能以数字、大小字母、下划线组成,且字符长度在3到90之间。 中文名称 是 自定义一个易于分辨的AI应用中文名称。 字符长度在1到30之间。 许可证 否 选择AI应用遵循的许可证。 计算规格选择 是 按需选择计算规格。单击“选择”,在弹窗中选择资源规格并设置运行时长控制,单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据,AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”,用户可以基于业务需要选择任务所需的资源卡数。 在“运行时长控制”选择是否指定运行时长。 不限时长:不限制作业的运行时长,AI Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长:设置作业运行几小时候后停止,当AI Gallery工具链服务运行时长达到指定时长时,系统将会暂停作业。时长设置不能超过计算资源的剩余额度。 说明: 如果选择付费资源,则请确认账号未欠费,且余额高于所选计算规格的收费标准,否则可能会导致AI Gallery工具链服务异常中断。AI Gallery的计算规格的计费说明请参见计算规格说明。 AI应用封面图 否 上传一张AI应用封面图,AI应用创建后,将作为AI应用页签的背景图展示在AI应用列表。建议使用16:9的图片,且大小不超过7MB。 如果未上传图片,AI Gallery会为AI应用自动生成封面。 应用描述 否 输入AI应用的功能介绍,AI应用创建后,将展示在AI应用页签上,方便其他用户了解与使用。 支持0~100个字符。 参数填写完成后,单击“创建”,确认订单信息无误后,单击“确定”跳转至AI应用详情页。 当AI应用的状态变为“待启动”时,表示创建完成。
  • 启动AI应用 上传AI应用的运行文件“app.py”。在AI应用详情页,选择“应用文件”页签,单击“添加文件”,进入上传文件页面。 运行文件的开发要求请参见准备AI应用运行文件app.py。 上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前,请不要刷新或关闭上传页面,防止意外终止上传任务,导致数据缺失。 如果上传的文件名称和已有文件重名,系统会自动用新文件内容覆盖已有文件内容。 运行文件上传完成后,在AI应用详情页,选择“设置”页签,在“运行资源设置”处单击“启动”,完成订单信息确认后单击“确定”开始构建AI应用。 当AI应用状态变为“运行中”时,表示启动成功。在AI应用详情页的“应用”页签,可以在线体验应用。
  • 准备AI应用运行文件“app.py” AI应用运行文件“app.py”的代码示例如下。其中,加粗的代码为必须保留的内容。 import gradio as gr import os POD_IP = os.getenv('POD_IP') // 获取容器IP ROOT_PATH = os.getenv('ROOT_PATH') //获取服务根路径 def greet(name): return "Hello " + name + "!" with gr.Blocks() as demo: name = gr.Textbox(label="Name") output = gr.Textbox(label="Output Box") greet_btn = gr.Button("Greet") greet_btn.click( fn=greet, inputs=name, outputs=output, api_name="greet", queue=False) // AI Gallery不支持应用将事件放入队列中,必须将queue设置为false。 demo.launch(server_name=POD_IP, root_path=ROOT_PATH) //指定应用启动路径。
  • 调用API 待推理服务的状态变为“运行中”时,可单击操作列的“调用”,复制对应的接口代码,在本地环境或云端的开发环境中进行接口。 图1 调用接口 当部署推理服务的“安全认证”选择了“AppCode认证”,则需要将复制的接口代码中headers中的X-Apig-AppCode的参数值修改为真实的AppCode值。 Python示例代码如下: import requests API_URL = "https://xxxxxxx/v1/gallery/65f38c4a-bbd0-4d70-a724-5fccf573399a/" headers = { "Content-Type": "application/json", "X-Apig-AppCode": "YOUR_AppCode" } def query(payload): response = requests.post(API_URL, headers=headers, json=payload) return response.json() output = query({ "inputs": "我是一名作家,喜欢写" })
  • Elasticsearch集群版本特性差异 表1 Elasticsearch集群版本特性 版本特性 5.x版本 6.x版本 7.x版本 多type支持情况 一个index里面支持包含多个type,每个type名称可以自定义。 一个index里面只支持有一个type,type名称可以自定义。 一个index里面只支持有一个type,type名称是固定的,_doc不能自定义。 客户端接入 支持TransportClient,可以同时使用tcp和http进行连接请求。 支持TransportClient,可以同时使用tcp和http进行连接请求。建议使用Java High Level REST Client。 只支持RestClient,只支持使用http进行连接请求。建议使用Java High Level REST Client。 Elasticsearch 5.x版本使用TransportClient接入Elasticsearch集群的样例: // 初始化客户端,连接9300端口 TransportClient client = new PreBuiltTransportClient(Settings.EMPTY) .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host1"), 9300)) .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host2"), 9300)); // 关闭客户端 client.close(); Elasticsearch 6.x版本、7.x版本中使用Java High Level REST Client接入集群的样例: // 初始化客户端,连接9200端口 RestHighLevelClient client = new RestHighLevelClient( RestClient.builder( new HttpHost("localhost", 9200, "http"), new HttpHost("localhost", 9201, "http"))); // 关闭客户端 client.close(); 模板配置 Elasticsearch 5.x版本中创建模板使用的是template字段。 Elasticsearch 5.x版本样例: PUT _template/template_1 { "template": "te*", "settings": { "number_of_shards": 1 } } Elasticsearch 6.x及以上版本开始使用index_pattern字段。 Elasticsearch 6.x及以上版本样例: PUT _template/template_1 { "index_patterns": ["te*"], "settings": { "number_of_shards": 1 } } boolean类型解析变化 在Elasticsearch 5.x版本中,true、false、on、off、yes、no、0和1的值都可以被解析成boolean。 Elasticsearch 6.x及以上版本只接受true/false,其他值会发生异常错误。 以下语句在Elasticsearch 5.x版本不会报错,在Elasticsearch 6.x/7.x版本会直接报错: GET data1/_search { "profile": "noprofile", "query": { "match_all": {} } } JSON格式校验 Elasticsearch 5.x中允许JSON中存在重复的key,后台会自动去掉。 Elasticsearch 6.x及以上版本不允许JSON存在重复的key,会直接报解析错误。 以下语句在Elasticsearch 5.x版本不会报错,在Elasticsearch 6.x/7.x版本中会报错: POST data1/doc { "isl": 0, "isl": 1 } DELETE文档变化 Elasticsearch 5.x中,执行DELETE index1/doc/1,如果index1不存在,会将index1创建出来。 Elasticsearch 6.x及以上版本,如果执行删除文档的索引不存在,会报错索引不存在。 _alias API校验 Elasticsearch 5.x中,_alias API允许在index字段中指定为别名,能正常解析。 类似的,Elasticsearch 5.x版本中允许使用别名删除一个索引。 Elasticsearch 6.x版本中,_alias API中的index字段只能指定为索引名,不允许是别名。 Elasticsearch 6.x版本中不再允许,必须使用索引名进行删除。 如以下示例,在Elasticsearch 5.x版本中能正常工作,但是在Elasticsearch 6.x版本/7.x版本中会报错。 PUT log-2023.11.11 POST _aliases { "actions": [ { "add": { "index": "log-2023.11.11", "alias": "log" } } ] } POST _aliases { "actions": [ { "remove": { "index": "log", "alias": "log" } } ] } 报错信息: { "error" : { "root_cause" : [ { "type" : "illegal_argument_exception", "reason" : "The provided expression [log] matches an alias, specify the corresponding concrete indices instead." } ], "type" : "illegal_argument_exception", "reason" : "The provided expression [log] matches an alias, specify the corresponding concrete indices instead." }, "status" : 400 } 默认配置变化 新建索引默认分片数为5。 新建索引默认分片数为1。 默认routing变化 Elasticsearch 5.x版本/6.x版本使用以下公式计算文档应该落在哪个shard。 shard_num = hash(_routing) % num_of_primary_shards Elasticsearch 7.x版本使用以下公式计算文档应该落在哪个shard。 routing_factor = num_routing_shards / num_primary_shards shard_num = (hash(_routing) % num_routing_shards) / routing_factor 其中num_routing_shards可以由以下配置指定。 index.number_of_routing_shards 如果不显式指定,则Elasticsearch会自动计算该值,以达到对索引进行split的能力。 Refresh时机变化 默认定期每秒钟执行refresh。 Elasticsearch 7.x版本中如果没有显式的指定index.refresh_interval,并且索引长时间没有search请求,这里的长时间是由配置index.search.idle.after指定,默认30秒,Elasticsearch就不会再定期的进行refresh,而是等到有新的search请求进来时再进行refresh,这时候进行的search请求会等待,直到下一轮refresh完成才进行检索并返回,所以第一次search请求一般耗时会相对较长。 父熔断器变化 父熔断器是在多个子熔断器中内存统计之和超限的情况下触发,超限阈值为70%。 父熔断器会在堆内存超限的情况下触发,默认超限阈值为95%。 Field Data熔断器阈值变化 Field Data熔断器超限阈值indices.breaker.fielddata.limit默认为60%。 Field Data熔断器超限阈值indices.breaker.fielddata.limit默认为40%。 _all字段支持情况 支持_all字段。 _all字段被废弃。 已删除_all字段,不再支持。 search API返回中hits.total Elasticsearch 5.x版本/6.x版本中,search API返回中,hits.total为数字,表示命中条数: { "took": 0, "timed_out": false, "_shards": { "total": 5, "successful": 5, "failed": 0 }, "hits": { "total": 4, "max_score": 1, } } Elasticsearch 7.x版本中,hits.total不再是数字: { "took" : 76, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 4, "relation" : "eq" }, "max_score" : 1.0 } } 其中: value表示命中的条数。 relation表示value参数中的命中条数是否是准确值。 eq表示是准确值。 gte表示命中条数大于等于value参数。 _cache/clear API _cache/clear API支持POST/GET方式。 _cache/clear API只支持POST方式,不再支持GET方式。
  • 产品规格 当您在 云搜索服务 创建集群时,系统将为您提供多种规格以满足您按需选择的要求。具体规格说明和适用场景请见表1。 表1 节点规格 CPU架构 节点规格类型 CPU内存比 适合场景 X86计算 计算密集型 1:2 CPU较强,适合高计算、要求低时延的搜索场景,比如电商,APP搜索,配合超高IO的磁盘。成本较高,相对于NVMe的本地盘集群可靠性强。 磁盘增强型 1:8 磁盘较大,本地SAS直通盘。适合存储大量数据的日志、舆情场景等场景。一般冷节点优选这种规格。 通用计算型 1:4 默认规格,使用较频繁,各种场景都能使用,如果没有特别要求,可选择该规格。 内存优化型 1:8 内存较大,优势较明显,在内存使用量较多并且对时延没有太大要求的场景可优先选择该规格,比如多聚合(filedata堆内)、排序、列式存储格式DocValue(系统堆外内存)等场景。 超高IO型 1:8 NVMe接口的本地SSD盘,相比磁盘增强型,数据盘较小。适合对时延要求高,写入压力大的场景,比如电商、APP搜索,性能比SSD云盘更好。存在本地盘有崩溃的风险,需要开启副本。 鲲鹏计算 鲲鹏通用计算型 1:2 和1:4 同上X86计算型场景,相比于X86计算型,ARM性价比较高。 鲲鹏超高IO型 1:4 性价比高,NVMe SSD本地盘,价格比超高IO型便宜,并且没有太大的内存浪费。适合低时延、写入高的场景,存在本地盘有崩溃的风险,需要开启副本。
  • 审计 云审计 服务(Cloud Trace Service, CTS ),是华为 云安全 解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录 CSS 服务的操作事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CSS服务支持云审计的操作列表请参见支持云审计的关键操作。 图1 云审计服务 在您开启了云审计服务后,系统会记录 云搜索 服务的相关操作,且控制台保存最近7天的操作记录。如何在云审计服务管理控制台查看最近7天的CSS服务操作记录请参见查询审计事件。
  • 数据保护技术 云搜索服务主要从以下几个方面保障数据和业务运行安全: 网络隔离 整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义、索引、搜索能力。 管理平面:主要是管理控制台,用于管理云搜索服务。 主机安全 云搜索服务提供如下安全措施: 通过VPC安全组来确保VPC内主机的安全。 通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 数据安全 在云搜索服务中,通过多副本、集群跨az部署、索引数据第三方(OBS)备份功能保证用户的数据安全。 父主题: 安全
  • 身份认证与访问控制 CSS服务的身份认证和访问控制主要包括两个大的方面:一方面是通过 统一身份认证 服务(Identity and Access Management,简称 IAM )实现服务资源层面的身份认证和访问控制;另一方面是由CSS服务提供的安全集群内的身份认证和访问控制实现。两者是相互独立的模块。 IAM服务主要用来控制CSS服务管理面的资源操作权限。使用CSS服务时,如果需要给企业中的员工设置不同的控制台访问权限,以达到不同员工之间的权限隔离,可以使用IAM进行精细的权限管理。IAM提供用户身份认证、权限分配、访问控制等功能,可以安全控制CSS服务相关资源的访问。CSS权限管理请参见权限管理。 CSS集群内部的权限控制是通过安全集群实现的,当集群开启安全模式后,访问集群时需要进行身份认证,通过Kibana可以给集群创建用户进行授权。详细信息请参见创建Elasticsearch集群用户并授权使用集群。CSS服务仅支持对安全模式的集群进行身份认证与访问控制。 父主题: 安全
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 计费项 云搜索服务对您选择的实例规格和使用时长计费。 表1 云搜索服务计费说明 计费项 计费说明 节点规格 节点类型及规格(vCPUs、内存),购买时长以及所购买的实例数量,提供按需计费和包年包月2种计费方式。 节点存储 磁盘类型。您可以根据具体的业务场景选择对应的磁盘类型,不同的磁盘类型收费标准不一样。 节点存储提供按需计费和包年包月2种计费方式。 云搜索服务提供了多种磁盘类型: 普通I/O 高I/O 超高I/O 带宽 带宽大小。当您对集群开通公网访问或者Kibana公网访问功能时,会产生带宽计费。 带宽提供按需计费和包年包月2种计费方式。 云搜索服务提供了两种带宽类型: 低带宽(1~5Mbit/s) 高带宽(6~2000Mbit/s) 根据您选择的带宽大小,计费时会自动归类到低带宽或者高带宽。
  • 变更配置 更改计费模式 按需变更为包年包月:会生成新的订单,用户支付订单后,包年包月资源立即生效。 包年包月变更为按需:包年包月转按需,需要包年包月资费模式到期后,按需的资费模式才会生效。 变更节点存储和节点数量 如果原集群是按需计费方式,则扩缩容集群变更的节点数量和节点存储容量默认是按需计费方式。 如果集群是包年包月计费方式,扩缩容集群变更的节点数量和节点存储容量,会根据当前变更时间到创建集群时的购买周期的截止日期计费。例如,创建集群时购买的包周期为1个月,到期时间为1月30日,在包周期到期之前进行变更,假设变更日期为1月20日,则用户需要支付1月20日到1月30日之间所变更的资源费用。 变更节点规格 当集群更改节点规格后,则按照新的节点规格进行计费。 变更带宽 如果更改了集群公网访问或者Kibana公网访问中的带宽,则按照新的带宽进行计费。
  • CSS权限 默认情况下,CSS服务管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 CSS是项目级服务,部署时通过物理区域划分,需要在各区域(如华北-北京1)对应的项目(cn-north-1)中设置策略,并且该策略仅对此项目生效,如果需要所有区域都生效,则需要在所有项目都设置策略。访问CSS时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:CSS服务管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,CSS服务支持的API授权项请参见权限策略和授权项。 如表1所示,包括了CSS的所有系统权限。 对于CSS Administrator,由于各服务之间存在业务交互关系,CSS的角色依赖其他服务的角色实现功能。因此给用户授予CSS的角色时,需要同时授予依赖的角色,CSS的权限才能生效。 对于CSS FullAccess和CSS ReadOnlyAccess,可使用这些策略来控制对云服务资源的访问范围。例如,您的员工中有负责软件开发的人员,您希望这类员工拥有CSS的使用权限,但是不希望这类员工拥有删除CSS等高危操作的权限,那么您可以使用IAM为开发人员创建IAM用户,通过授予仅能使用CSS但不允许删除CSS的权限,控制员工对CSS资源的使用范围。 表1 CSS系统权限 系统角色/策略名称 类别 权限描述 依赖关系 CSS Administrator 系统角色 CSS服务的所有执行权限。 该角色有依赖,需要在同项目中勾选依赖的Tenant Guest、Server Administrator和IAM ReadOnlyAccess角色。 终端节点访问集群操作需要依赖VPCEndpoint Administrator系统角色。 部分操作依赖如下授权项: 查看委托列表 iam:agencies:listAgencies iam:permissions:listRolesForAgency iam:permissions:listRolesForAgencyOnProject 自动创建委托 iam:agencies:listAgencies iam:agencies:createAgency iam:permissions:grantRoleToAgency 控制台显示企业项目和预定义标签 eps:enterpriseProjects:list tms:predefineTags:list 快照、词库、日志管理功能使用 obs:bucket:Get* obs:bucket:List* obs:object:List* obs:object:Get* obs:bucket:HeadBucket obs:object:PutObject obs:object:DeleteObject 包年/包月订单创建及支付 bss:order:update bss:order:pay 更多与订单相关操作所需要的授权项请见费用中心细粒度策略。 CSS FullAccess 系统策略 基于策略授权的CSS服务的所有权限,拥有该权限的用户可以完成基于策略授权的CSS服务的所有执行权限。 该策略部分权限有依赖,如果要使用对应的功能,需要在同项目中勾选依赖的权限。 CSS ReadOnlyAccess 系统策略 CSS服务的只读权限,拥有该权限的用户仅能查看CSS服务数据。 该策略部分权限有依赖,如果要使用对应的功能,需要在全局服务中勾选依赖的权限。 部分操作依赖如下授权项: 查看委托列表 iam:agencies:listAgencies iam:permissions:listRolesForAgency iam:permissions:listRolesForAgencyOnProject 控制台显示企业项目和预定义标签 eps:enterpriseProjects:list tms:predefineTags:list 快照、词库、日志管理功能使用 obs:bucket:Get* obs:bucket:List* obs:object:List* obs:object:Get* obs:bucket:HeadBucket 如表2所示列出了CSS常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 CSS FullAccess CSS ReadOnlyAccess CSS Administrator 备注 创建集群 √ x √ - 查询集群列表 √ √ √ - 查询集群详情 √ √ √ - 删除集群 √ x √ - 重启集群 √ x √ - 扩容集群 √ x √ - 扩容实例的数量和存储容量 √ x √ - 查询指定集群的标签 √ √ √ - 查询所有标签 √ √ √ - 加载自定义词库 √ x √ 依赖OBS和IAM权限 查询自定义词库状态 √ √ √ - 删除自定义词库 √ x √ - 自动设置集群快照的基础配置 √ x √ 依赖OBS和IAM权限 修改集群快照的基础配置 √ x √ 依赖OBS和IAM权限 设置自动创建快照策略 √ x √ - 查询集群的自动创建快照策略 √ √ √ - 手动创建快照 √ x √ - 查询快照列表 √ √ √ - 恢复快照 √ x √ - 删除快照 √ x √ - 停用快照功能 √ x √ - 更改规格 √ x √ - 缩容集群 √ x √ -
  • 高安全性 云搜索服务主要从以下几个方面保障数据和业务运行安全: 网络隔离 整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义、索引、搜索能力。 管理平面:主要是管理控制台,用于管理云搜索服务。 通过VPC或安全组专有网络来确保主机的安全。 访问控制 通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 支持用户认证与索引级别鉴权,支持对接第三方管理用户系统。 数据安全 在云搜索服务中,通过多副本机制保证用户的数据安全。 支持客户端与服务端通过SSL加密通信。 操作审计 通过云审计服务支持对关键日志与操作进行审计。
  • 高可靠性 支持用户手动触发以及定时触发的快照备份,支持恢复到本集群以及其他集群的能力,通过快照恢复支持集群的数据迁移。详情请参见备份与恢复。 自动备份(备份快照) 云搜索服务提供备份功能,可以在控制台的备份恢复界面开启自动备份功能,并根据实际业务需要设置备份周期。 自动备份是将集群的索引数据进行备份。索引的备份是通过创建集群快照实现,第一次备份时,建议将所有索引数据进行备份。 云搜索服务支持将ES实例的快照数据保存到对象存储(OBS)服务中,借助OBS的跨region复制功能,可实现数据的跨region备份。 恢复数据(恢复快照) 当数据发生丢失或者想找回某一时间段数据时,可以在“集群快照”界面上单击“恢复”功能,将已有的快照,通过恢复快照功能,将备份的索引数据恢复到指定的集群中,可以快速获得数据。
  • 内核增强 向量检索 云搜索服务的向量检索引擎支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。详情请参见向量检索。 存算分离 云搜索服务提供冻结索引API,支持将存储在SSD的热数据转储到OBS中以降低数据的存储成本,实现存算分离。详情请参见存算分离。 流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制等。每个功能配置独立的控制开关。详情请参见流量控制。 大查询隔离 云搜索服务的大查询隔离特性支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。详情请参见大查询隔离。 索引监控 云搜索服务的索引监控特性提供了丰富的监控指标,用以监控集群索引的运行状况和变化趋势,衡量业务使用情况,同时可以针对可能存在的风险及时处理,保障集群的稳定运行。详情请参见索引监控。 集群监控增强 云搜索服务支持集群监控增强,支持对集群Search请求的P99时延进行监控、对集群HTTP状态码进行监控等。详情请参见集群监控增强。
  • 性能说明 通过Elasticsearch官方提供的benchmark脚本rally1.0.0,对云搜索服务的集群(版本:7.6.2) 进行性能测试。 本次测试采用官方提供的geonames,大小3.2G,11396505个doc。索引采用6个shard(默认为5个)。性能指标说明可以参考官方文档https://esrally.readthedocs.io/en/stable/summary_report.html#summary-report。 节点规格为ess.spec-4u16g、节点数为3的集群性能测试结果如下。 Metric Task Value Unit Cumulative indexing time of primary shards - 11.95073333 min Min cumulative indexing time across primary shards - 0 min Median cumulative indexing time across primary shards - 2.339941667 min Max cumulative indexing time across primary shards - 2.470116667 min Cumulative indexing throttle time of primary shards - 0 min Min cumulative indexing throttle time across primary shards - 0 min Median cumulative indexing throttle time across primary shards - 0 min Max cumulative indexing throttle time across primary shards - 0 min Cumulative merge time of primary shards - 4.21495 min Cumulative merge count of primary shards - 65 - Min cumulative merge time across primary shards - 0 min Median cumulative merge time across primary shards - 0.813216667 min Max cumulative merge time across primary shards - 0.974483333 min Cumulative merge throttle time of primary shards - 0.83345 min Min cumulative merge throttle time across primary shards - 0 min Median cumulative merge throttle time across primary shards - 0.157775 min Max cumulative merge throttle time across primary shards - 0.24605 min Cumulative refresh time of primary shards - 2.164983333 min Cumulative refresh count of primary shards - 291 - Min cumulative refresh time across primary shards - 0 min Median cumulative refresh time across primary shards - 0.425391667 min Max cumulative refresh time across primary shards - 0.450516667 min Cumulative flush time of primary shards - 0.1559 min Cumulative flush count of primary shards - 11 - Min cumulative flush time across primary shards - 0 min Median cumulative flush time across primary shards - 0.0248 min Max cumulative flush time across primary shards - 0.043433333 min Total Young Gen GC - 6.421 s Total Old Gen GC - 0 s Store size - 3.124213032 GB Translog size - 2.790678718 GB Heap used for segments - 15.03110981 MB Heap used for doc values - 0.043689728 MB Heap used for terms - 13.85075188 MB Heap used for norms - 0.077697754 MB Heap used for points - 0.266856194 MB Heap used for stored fields - 0.792114258 MB Segment count - 99 - Min Throughput index-append 92446.94 docs/s Median Throughput index-append 92935.55 docs/s Max Throughput index-append 93217.68 docs/s 50th percentile latency index-append 176.7329985 ms 90th percentile latency index-append 285.5450693 ms 100th percentile latency index-append 333.228537 ms 50th percentile service time index-append 176.7329985 ms 90th percentile service time index-append 285.5450693 ms 100th percentile service time index-append 333.228537 ms error rate index-append 0 % Min Throughput index-stats 90.04 ops/s Median Throughput index-stats 90.06 ops/s Max Throughput index-stats 90.11 ops/s 50th percentile latency index-stats 3.6713165 ms 90th percentile latency index-stats 3.919960223 ms 99th percentile latency index-stats 4.500246093 ms 99.9th percentile latency index-stats 20.14171663 ms 100th percentile latency index-stats 21.36778278 ms 50th percentile service time index-stats 3.604376499 ms 90th percentile service time index-stats 3.8517339 ms 99th percentile service time index-stats 4.36148177 ms 99.9th percentile service time index-stats 20.0748024 ms 100th percentile service time index-stats 21.300971 ms error rate index-stats 0 % Min Throughput node-stats 90.05 ops/s Median Throughput node-stats 90.09 ops/s Max Throughput node-stats 90.32 ops/s 50th percentile latency node-stats 4.056046 ms 90th percentile latency node-stats 4.256959922 ms 99th percentile latency node-stats 7.993649534 ms 99.9th percentile latency node-stats 15.0162469 ms 100th percentile latency node-stats 18.79192022 ms 50th percentile service time node-stats 3.989104 ms 90th percentile service time node-stats 4.1902188 ms 99th percentile service time node-stats 7.39785926 ms 99.9th percentile service time node-stats 14.95028028 ms 100th percentile service time node-stats 15.226284 ms error rate node-stats 0 % Min Throughput default 50.03 ops/s Median Throughput default 50.04 ops/s Max Throughput default 50.09 ops/s 50th percentile latency default 2.890284501 ms 90th percentile latency default 3.054330301 ms 99th percentile latency default 3.41013575 ms 99.9th percentile latency default 4.536945459 ms 100th percentile latency default 5.063877001 ms 50th percentile service time default 2.82345 ms 90th percentile service time default 2.987489999 ms 99th percentile service time default 3.34539951 ms 99.9th percentile service time default 4.466092296 ms 100th percentile service time default 4.996857 ms error rate default 0 % Min Throughput term 150.06 ops/s Median Throughput term 150.09 ops/s Max Throughput term 150.14 ops/s 50th percentile latency term 2.822069666 ms 90th percentile latency term 2.927460233 ms 99th percentile latency term 3.585279107 ms 99.9th percentile latency term 9.586351776 ms 100th percentile latency term 13.36534567 ms 50th percentile service time term 2.755832 ms 90th percentile service time term 2.8613018 ms 99th percentile service time term 3.4037467 ms 99.9th percentile service time term 4.571924473 ms 100th percentile service time term 13.301659 ms error rate term 0 % Min Throughput phrase 149.99 ops/s Median Throughput phrase 150.07 ops/s Max Throughput phrase 150.13 ops/s 50th percentile latency phrase 3.207932333 ms 90th percentile latency phrase 3.514073 ms 99th percentile latency phrase 26.65015757 ms 99.9th percentile latency phrase 38.92041855 ms 100th percentile latency phrase 40.044182 ms 50th percentile service time phrase 3.1409695 ms 90th percentile service time phrase 3.3666699 ms 99th percentile service time phrase 9.39342965 ms 99.9th percentile service time phrase 18.80974216 ms 100th percentile service time phrase 21.417291 ms error rate phrase 0 % Min Throughput country_agg_uncached 4.01 ops/s Median Throughput country_agg_uncached 4.01 ops/s Max Throughput country_agg_uncached 4.01 ops/s 50th percentile latency country_agg_uncached 153.726532 ms 90th percentile latency country_agg_uncached 156.0977097 ms 99th percentile latency country_agg_uncached 167.696362 ms 100th percentile latency country_agg_uncached 198.43754 ms 50th percentile service time country_agg_uncached 153.606521 ms 90th percentile service time country_agg_uncached 155.9869715 ms 99th percentile service time country_agg_uncached 167.5793267 ms 100th percentile service time country_agg_uncached 198.325432 ms error rate country_agg_uncached 0 % Min Throughput country_agg_cached 100.04 ops/s Median Throughput country_agg_cached 100.05 ops/s Max Throughput country_agg_cached 100.07 ops/s 50th percentile latency country_agg_cached 2.7020445 ms 90th percentile latency country_agg_cached 2.783604899 ms 99th percentile latency country_agg_cached 3.03382523 ms 99.9th percentile latency country_agg_cached 3.635769276 ms 100th percentile latency country_agg_cached 4.106574 ms 50th percentile service time country_agg_cached 2.6356045 ms 90th percentile service time country_agg_cached 2.717349899 ms 99th percentile service time country_agg_cached 2.93948264 ms 99.9th percentile service time country_agg_cached 3.567144201 ms 100th percentile service time country_agg_cached 4.039871999 ms error rate country_agg_cached 0 % Min Throughput scroll 20.04 pages/s Median Throughput scroll 20.05 pages/s Max Throughput scroll 20.07 pages/s 50th percentile latency scroll 421.9468245 ms 90th percentile latency scroll 433.3017323 ms 99th percentile latency scroll 450.0724775 ms 100th percentile latency scroll 505.502723 ms 50th percentile service time scroll 421.0948965 ms 90th percentile service time scroll 432.4389587 ms 99th percentile service time scroll 449.2045264 ms 100th percentile service time scroll 504.653479 ms error rate scroll 0 % Min Throughput expression 2 ops/s Median Throughput expression 2 ops/s Max Throughput expression 2 ops/s 50th percentile latency expression 270.920167 ms 90th percentile latency expression 277.4334041 ms 99th percentile latency expression 286.5631326 ms 100th percentile latency expression 293.09254 ms 50th percentile service time expression 270.662187 ms 90th percentile service time expression 277.1779957 ms 99th percentile service time expression 286.3073191 ms 100th percentile service time expression 292.826178 ms error rate expression 0 % Min Throughput painless_static 1.5 ops/s Median Throughput painless_static 1.5 ops/s Max Throughput painless_static 1.5 ops/s 50th percentile latency painless_static 360.9218617 ms 90th percentile latency painless_static 368.2584616 ms 99th percentile latency painless_static 382.3877013 ms 100th percentile latency painless_static 425.989704 ms 50th percentile service time painless_static 360.5910995 ms 90th percentile service time painless_static 367.9205895 ms 99th percentile service time painless_static 382.0613883 ms 100th percentile service time painless_static 425.659728 ms error rate painless_static 0 % Min Throughput painless_dynamic 1.5 ops/s Median Throughput painless_dynamic 1.5 ops/s Max Throughput painless_dynamic 1.5 ops/s 50th percentile latency painless_dynamic 354.4270103 ms 90th percentile latency painless_dynamic 362.9108269 ms 99th percentile latency painless_dynamic 409.7732626 ms 100th percentile latency painless_dynamic 410.1049017 ms 50th percentile service time painless_dynamic 354.0901565 ms 90th percentile service time painless_dynamic 362.5730453 ms 99th percentile service time painless_dynamic 409.4442952 ms 100th percentile service time painless_dynamic 409.777646 ms error rate painless_dynamic 0 % Min Throughput decay_geo_gauss_function_score 1 ops/s Median Throughput decay_geo_gauss_function_score 1 ops/s Max Throughput decay_geo_gauss_function_score 1 ops/s 50th percentile latency decay_geo_gauss_function_score 354.387216 ms 90th percentile latency decay_geo_gauss_function_score 358.9124798 ms 99th percentile latency decay_geo_gauss_function_score 363.9485787 ms 100th percentile latency decay_geo_gauss_function_score 371.780245 ms 50th percentile service time decay_geo_gauss_function_score 353.7158425 ms 90th percentile service time decay_geo_gauss_function_score 358.2845019 ms 99th percentile service time decay_geo_gauss_function_score 363.275623 ms 100th percentile service time decay_geo_gauss_function_score 371.114045 ms error rate decay_geo_gauss_function_score 0 % Min Throughput decay_geo_gauss_script_score 1 ops/s Median Throughput decay_geo_gauss_script_score 1 ops/s Max Throughput decay_geo_gauss_script_score 1 ops/s 50th percentile latency decay_geo_gauss_script_score 379.4620745 ms 90th percentile latency decay_geo_gauss_script_score 383.2876548 ms 99th percentile latency decay_geo_gauss_script_score 389.7544834 ms 100th percentile latency decay_geo_gauss_script_score 395.75293 ms 50th percentile service time decay_geo_gauss_script_score 378.8137045 ms 90th percentile service time decay_geo_gauss_script_score 382.6389076 ms 99th percentile service time decay_geo_gauss_script_score 389.1097136 ms 100th percentile service time decay_geo_gauss_script_score 395.100654 ms error rate decay_geo_gauss_script_score 0 % Min Throughput field_value_function_score 1.5 ops/s Median Throughput field_value_function_score 1.5 ops/s Max Throughput field_value_function_score 1.51 ops/s 50th percentile latency field_value_function_score 142.4418055 ms 90th percentile latency field_value_function_score 146.0292471 ms 99th percentile latency field_value_function_score 149.4448299 ms 100th percentile latency field_value_function_score 154.4188467 ms 50th percentile service time field_value_function_score 141.8792295 ms 90th percentile service time field_value_function_score 145.4722711 ms 99th percentile service time field_value_function_score 148.8731825 ms 100th percentile service time field_value_function_score 153.87006 ms error rate field_value_function_score 0 % Min Throughput field_value_script_score 1.5 ops/s Median Throughput field_value_script_score 1.5 ops/s Max Throughput field_value_script_score 1.51 ops/s 50th percentile latency field_value_script_score 200.310233 ms 90th percentile latency field_value_script_score 206.2690364 ms 99th percentile latency field_value_script_score 216.7453505 ms 100th percentile latency field_value_script_score 252.6694313 ms 50th percentile service time field_value_script_score 199.886616 ms 90th percentile service time field_value_script_score 205.7897592 ms 99th percentile service time field_value_script_score 216.2602712 ms 100th percentile service time field_value_script_score 252.180659 ms error rate field_value_script_score 0 % Min Throughput random_function_score 1.5 ops/s Median Throughput random_function_score 1.5 ops/s Max Throughput random_function_score 1.5 ops/s 50th percentile latency random_function_score 242.6018717 ms 90th percentile latency random_function_score 251.1366288 ms 99th percentile latency random_function_score 290.9842466 ms 100th percentile latency random_function_score 307.5584597 ms 50th percentile service time random_function_score 242.149128 ms 90th percentile service time random_function_score 250.6830153 ms 99th percentile service time random_function_score 290.5378949 ms 100th percentile service time random_function_score 307.111375 ms error rate random_function_score 0 % Min Throughput random_script_score 1.5 ops/s Median Throughput random_script_score 1.5 ops/s Max Throughput random_script_score 1.5 ops/s 50th percentile latency random_script_score 258.3288777 ms 90th percentile latency random_script_score 262.5996219 ms 99th percentile latency random_script_score 276.7350459 ms 100th percentile latency random_script_score 278.8234443 ms 50th percentile service time random_script_score 257.8902625 ms 90th percentile service time random_script_score 262.1680452 ms 99th percentile service time random_script_score 276.3056912 ms 100th percentile service time random_script_score 278.384714 ms error rate random_script_score 0 % Min Throughput large_terms 1.5 ops/s Median Throughput large_terms 1.5 ops/s Max Throughput large_terms 1.5 ops/s 50th percentile latency large_terms 429.023917 ms 90th percentile latency large_terms 438.5573247 ms 99th percentile latency large_terms 468.2661402 ms 100th percentile latency large_terms 494.4412297 ms 50th percentile service time large_terms 428.772941 ms 90th percentile service time large_terms 438.29435 ms 99th percentile service time large_terms 468.0068679 ms 100th percentile service time large_terms 494.168992 ms error rate large_terms 0 % Min Throughput large_filtered_terms 1.5 ops/s Median Throughput large_filtered_terms 1.5 ops/s Max Throughput large_filtered_terms 1.5 ops/s 50th percentile latency large_filtered_terms 433.0397738 ms 90th percentile latency large_filtered_terms 443.241508 ms 99th percentile latency large_filtered_terms 460.8045067 ms 100th percentile latency large_filtered_terms 486.396965 ms 50th percentile service time large_filtered_terms 432.7802525 ms 90th percentile service time large_filtered_terms 442.9739873 ms 99th percentile service time large_filtered_terms 460.7444745 ms 100th percentile service time large_filtered_terms 486.145846 ms error rate large_filtered_terms 0 % Min Throughput large_prohibited_terms 1.5 ops/s Median Throughput large_prohibited_terms 1.5 ops/s Max Throughput large_prohibited_terms 1.5 ops/s 50th percentile latency large_prohibited_terms 430.1467708 ms 90th percentile latency large_prohibited_terms 436.8730103 ms 99th percentile latency large_prohibited_terms 484.5697929 ms 100th percentile latency large_prohibited_terms 492.75088 ms 50th percentile service time large_prohibited_terms 429.8833325 ms 90th percentile service time large_prohibited_terms 436.6196592 ms 99th percentile service time large_prohibited_terms 484.3087876 ms 100th percentile service time large_prohibited_terms 492.492977 ms error rate large_prohibited_terms 0 % Min Throughput desc_sort_population 1.5 ops/s Median Throughput desc_sort_population 1.51 ops/s Max Throughput desc_sort_population 1.51 ops/s 50th percentile latency desc_sort_population 45.9402765 ms 90th percentile latency desc_sort_population 49.01190953 ms 99th percentile latency desc_sort_population 58.5120831 ms 100th percentile latency desc_sort_population 60.027354 ms 50th percentile service time desc_sort_population 45.2962825 ms 90th percentile service time desc_sort_population 48.3757462 ms 99th percentile service time desc_sort_population 57.86711494 ms 100th percentile service time desc_sort_population 59.377354 ms error rate desc_sort_population 0 % Min Throughput asc_sort_population 1.5 ops/s Median Throughput asc_sort_population 1.51 ops/s Max Throughput asc_sort_population 1.51 ops/s 50th percentile latency asc_sort_population 46.02105783 ms 90th percentile latency asc_sort_population 48.79212977 ms 99th percentile latency asc_sort_population 55.94577758 ms 100th percentile latency asc_sort_population 72.898199 ms 50th percentile service time asc_sort_population 45.37886 ms 90th percentile service time asc_sort_population 48.1426418 ms 99th percentile service time asc_sort_population 55.30153109 ms 100th percentile service time asc_sort_population 72.260339 ms error rate asc_sort_population 0 % Min Throughput desc_sort_geonameid 1.5 ops/s Median Throughput desc_sort_geonameid 1.51 ops/s Max Throughput desc_sort_geonameid 1.51 ops/s 50th percentile latency desc_sort_geonameid 52.22274167 ms 90th percentile latency desc_sort_geonameid 69.4325779 ms 99th percentile latency desc_sort_geonameid 79.57920996 ms 100th percentile latency desc_sort_geonameid 80.11872267 ms 50th percentile service time desc_sort_geonameid 51.6055115 ms 90th percentile service time desc_sort_geonameid 68.801679 ms 99th percentile service time desc_sort_geonameid 79.41158055 ms 100th percentile service time desc_sort_geonameid 79.465491 ms error rate desc_sort_geonameid 0 % Min Throughput asc_sort_geonameid 1.5 ops/s Median Throughput asc_sort_geonameid 1.51 ops/s Max Throughput asc_sort_geonameid 1.51 ops/s 50th percentile latency asc_sort_geonameid 51.35154333 ms 90th percentile latency asc_sort_geonameid 52.2966503 ms 99th percentile latency asc_sort_geonameid 55.33079961 ms 100th percentile latency asc_sort_geonameid 55.520544 ms 50th percentile service time asc_sort_geonameid 50.7138335 ms 90th percentile service time asc_sort_geonameid 51.6588923 ms 99th percentile service time asc_sort_geonameid 54.68967127 ms 100th percentile service time asc_sort_geonameid 54.874135 ms error rate asc_sort_geonameid 0 %
  • Kibana Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic.co/guide/en/kibana/current/index.html 云搜索服务的Elasticsearch集群默认提供Kibana,无需安装部署,即可一键访问Kibana。云搜索服务兼容了开源Kibana可视化展现和Elasticsearch统计分析能力。 支持10余种数据呈现方式 支持近20种数据统计方式 支持时间、标签等各种维度分类
  • Cerebro Cerebro是使用Scala、Play Framework、AngularJS和Bootstrap构建的基于Elasticsearch Web的开源可视化管理工具。通过Cerebro可以对集群进行Web可视化管理,如执行Rest请求、修改Elasticsearch配置、监控实时的磁盘、集群负载、内存使用率等。 云搜索服务的Elasticsearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro。云搜索服务完全兼容开源Cerebro,适配最新0.8.4版本。 支持Elasticsearch可视化实时负载监控。 支持Elasticsearch可视化数据管理。
  • 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。 高性能:支持文本、时间、数字、空间等数据类型;亿级数据查询毫秒级响应。 高可扩展性:支持200+数据节点,支持1000+个数据字段。 业务“0”中断:规格变更、配置更新采用滚动重启,双副本场景下业务0中断。 图3 数据库查询加速场景
  • 全场景 日志分析 云搜索服务可用于全场景日志分析,包括ELB日志、服务器日志、容器和应用日志。其中Kafka作为消息缓冲队列,用于削峰填谷,Logstash负责数据ETL,Elasticsearch负责数据检索与分析,最后由Kibana以可视化的方式呈现给用户。 性价比高:采用鲲鹏算力、冷热分离、存算分离,成本同比降低30%+。 易用性好:支持丰富的可视化查询语句与拖拽式报表。 强大的处理能力:支持每天百TB级数量入库,提供PB级以上数据处理能力。 图2 全场景日志分析场景
共100000条