云服务器内容精选

  • 背景信息 逻辑集群支持手动添加增删计划和自动弹性增删能力。支持在计划时间段内,动态创建、删除计算逻辑集群,实现计算资源动态伸缩。 通过手动添加定时增删计划创建的逻辑集群主要用于提供计算能力,关联用户后该用户的查询都会切换到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 一个用户仅支持绑定到一个计算逻辑集群上。 若删除逻辑集群时,该逻辑集群关联的用户有业务运行,可能会出现报错。 通过打开自动弹性开关创建的逻辑集群主要用于提供并发扩展能力,关联主逻辑集群后,主逻辑集群的部分查询路由到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 开启并使用并发扩展功能,当系统面临高并发作业,主集群因为内存等资源不足出现排队时,DWS会自动增加额外的集群容量来处理增多的读取和写入语句,减少语句排队时间。不管语句在主集群上运行还是在并发扩展集群上运行,用户都将看到最新的数据,且性能相当。您可以通过配置资源池来管理将哪些语句发送到并发扩展集群。开启并发扩展后,符合条件的语句将发送到并发扩展集群,而不是排队等待。并发扩展功能限制如下: 仅支持V3表和外表。 仅支持SELECT、INSERT、UPDATE、DELETE语句。 不支持COPY导入。 不支持UPSERT语句。 不支持事务块。 不支持存储过程。 不支持带RETURNING子句和WITH RECURSIVE递归语句。 不支持轻量级更新。 不支持INSERT单个VALUES或者类似generate_series生成的语句。 不支持复制表。 手动增删计划支持DWS 3.0集群,历史版本需要联系技术支持人员升级使用。 自动弹性增删仅支持DWS 3.0集群和E CS 规格的集群,且仅9.1.0及以上集群版本支持。 DWS 3.0集群包年/包月集群在定时增加逻辑集群时自动扩容节点,节点按需计费。
  • 原因分析 PostgreSQL缓存:除了常见的执行计划缓存、数据缓存,PostgreSQL为了提高生成执行计划的效率,还提供了catalog,relation等缓存机制。长连接场景下这些缓存中的某些缓存是不会主动释放的,因此可能导致长连接占用大量的内存不释放。 PMS是 MRS 的监控进程,此进程会经常创建表分区或者新表,由于PostgreSQL会缓存当前会话访问过的对象的元数据,且PMS的数据库连接池连接会长时间存在,所以连接占用的内存会逐渐上升。
  • HBase产品简介 HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式 云存储 系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 HBase适用场景有: 海量数据存储。 适用于TB~PB级以上的数据存储,提供动态伸缩能力,方便用户在性能或容量需要改变时,改变集群资源,轻松构建企业海量数据存储系统。 实时查询。 HBase的列式KeyValue存储机制,适用于企业用户明细数据即时查询,基于主键的低时延点查,响应时延一般为秒级或毫秒级,方便用户对数据的实时分析。 HBase的架构和详细原理介绍,请参见:https://hbase.apache.org/book.html 当前CloudTable HBase暂无安全认证机制,如果需使用认证鉴权机制的HBase服务,建议使用华为云 MapReduce服务
  • 集群管理功能 CloudTable服务是华为云提供的一项分布式、可扩展的KeyValue数据存储服务。CloudTable提供Web官网服务界面,CloudTable HBase集群管理的具体功能如下: 创建集群:在CloudTable服务界面完成集群的创建。支持按照用户创建集群时选择的计算单元个数、实际使用存储容量计费。用户可以自主地选择服务提供的高级特性,独立安装、独立收费。扣费时余额不足先提醒用户续费,在保留期冻结集群资源,续费后再解冻。通过计算存储分离架构和计算资源动态调整,尽可能的为用户降低成本。 扩容集群:支持集群扩容计算单元。 扩容计算单元:用户根据实际需要或业务情况,动态的增加计算单元的个数,保证读写性能。集群自适应的实现负载均衡,保证业务不中断,平滑扩容。扩容计算单元将会产生额外的费用。 管理集群:对创建的集群进行管理。 指标监控:集群运行中,收集各项监控数据,上报 云监控 (Cloud Eye),向用户以图形化的方式呈现集群运行状况。当指标出现异常时,通过 消息通知 用户和管理员,及时人工介入。 删除集群:当用户不再需要集群时,可选择删除集群。此操作为高危操作,删除集群可能导致数据丢失,因此在执行删除操作之前,请确认不存在正在运行的业务,所有数据都已经保存。 重启集群:当修改完集群HBase参数后,或者因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 查询告警:集群运行异常或系统故障时,CloudTable服务会收集故障信息并上报网管系统,维护人员可根据用户提供的告警信息定位问题原因。 日志查询:记录用户对集群操作信息,便于集群运行异常时定位分析问题原因。
  • 操作步骤 登录HPC-S²控制台。 单击左侧的“集群管理”。 在“集群管理”页面选择要扩容的集群,单击后方操作中“扩容”,进入扩容的详情页面。 选择“计费模式”。 集群扩容时,可选择和原有计费模式不同的计费模式,如果集群当中既有“按需计费”也有“包年/包月”类型,此时集群的付费类型显示为“混合计费”。 包年/包月:用户选购完 云服务器配置 后,可以根据需要设置购买时长,系统会一次性按照购买价格对账户余额进行扣费。 按需付费:用户选购完云服务器配置后,无需设置购买时长,系统会根据消费时长对账户余额进行扣费。 选择“当前区域”和“可用区”。 集群扩容时,当前区域不可选,默认为集群初始创建时所在区域。 集群扩容时,可选择不同于原有集群的可用区。 新增节点的规格配置。 规格:公有云提供了多种类型的弹性云服务器供您选择,单击下拉框进行选择; 系统盘:根据所需要的选择磁盘类型和大小; 网络配置。 集群扩容时,网络配置包括“虚拟私有云”、“安全组”以及“网卡”不可选,和集群初始创建时保持一致。 选择“镜像”。 推荐使用公共镜像,其他类型镜像可能出现扩容时自动部署失败的情况。 公共镜像(推荐) 标准操作系统镜像,所有用户可见,当前仅支持CentOS 7系列,包括操作系统以及预装的公共应用。请根据您的实际情况自助选择。 私有镜像 用户基于弹性云服务器创建的个人镜像,仅用户自己可见。包含操作系统、预装的公共应用以及用户的私有应用。选择私有镜像创建弹性云服务器,可以节省您重复配置弹性云服务器的时间。 您可以选择使用加密镜像,更多关于加密镜像的信息,请参见《 镜像服务 用户指南》。 共享镜像 您将接受其他用户共享的私有镜像,作为自己的镜像进行使用。 市场镜像 提供预装操作系统、应用环境和各类软件的优质第三方镜像。 选择“登录方式”。 登录方式会和集群初始创建时保持一致,若集群创建时选择了密码方式,扩容就只支持密码方式,若集群创建时选择了密钥方式,扩容则只支持密钥方式。 密钥对 指使用密钥对作为弹性云服务器的鉴权方式。您可以选择使用已有的密钥,或者单击“查看密钥对”创建新的密钥。 如果选择使用已有的密钥,请确保您已在本地获取该文件,否则,将影响您正常登录弹性云服务器。 密码 指使用设置初始密码方式作为弹性云服务器的鉴权方式,此时,您可以通过用户名密码方式登录弹性云服务器。 密码规则请参考下表: 参数 规则 样例 密码 密码长度范围为8到26位。 密码至少包含以下4种字符中的3种: 大写字母 小写字母 数字 特殊字符,包括:“$”、“!”、“@”、“%”、“-”、“_”、“=”、“+”、“[”、“]”、“:”、“.”、“/”、“^”、“,”、“{”、“}”和“?” 密码不能包含用户名或用户名的逆序。 YNbUwp!dUc9MClnv 说明: 样例密码随机生成,请勿复制使用样例。 选择“购买时长”。 计费模式为“包年/包月”类型,需同时选择购买时长,同时用户可选择是否需要“自动续费”,如勾选了“自动续费”,包周期到期后会自动续费。 选择“节点数量”。 集群原有的计算节点和新扩容的计算节点总计不超过50个。 核对当前配置,确认无误后单击右侧的“立即购买”,进入订单确认页面。 计费模式为“包年/包月”时,如果您确认规格和价格无误,请勾选同意协议,单击“去支付”,并根据界面提示完成支付。 计费模式为“按需付费”时,如果您确认规格和价格无误,请勾选同意协议,单击“提交”。 提交/支付成功后,返回到集群管理页面,可查看到集群列表中该集群已经是“创建中”了,等待集群创建完成变成“运行中”即可。
  • 删除集群 登录CCE控制台,在左侧导航栏中选择“集群管理”。 找到需要删除的集群,查看集群的更多操作,并单击“删除集群”。 在弹出的“删除集群”窗口中,根据系统提示,勾选删除集群时需要释放的资源。 删除集群下负载均衡ELB等网络资源(仅删除自动创建的ELB资源)。 其余关联创建的VPC级别的资源(如终端节点、NAT网关、SNAT出网EIP)在删除集群时默认保留,请确认其他集群或服务未重用该资源,并前往网络控制台进行删除。 单击“是”,开始执行删除集群操作。 删除集群需要花费1~3分钟,请耐心等候。
  • 注意事项 删除集群会删除集群下的工作负载与服务,相关业务将无法恢复。在执行操作前,请确保相关数据已完成备份或者迁移,删除完成后数据无法找回,请谨慎操作。 部分资源不会删除: Service和Ingress关联的已有ELB实例(仅删除自动创建的ELB实例) 关联创建的VPC级别的资源(如终端节点、NAT网关、SNAT出网EIP) 在集群非运行状态(例如冻结、不可用状态)时删除集群,会残留存储、网络等关联资源,请妥善处理。
  • 注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。 本地表的数据库必须为atomic(默认)或ordinary,且表类型为Mergetree家族系列引擎的表(包括非复制表和复制表,不支持物化视图表)。 本地表副本关系和cluster一致,有分布式表作为分片之间的关系。 数据迁移过程中原表默认为只读状态。 数据迁移的时候数据首先会保存在临时表中,执行的时候用迁移的数据表替换原表,该过程中可能读取到错误的数据,切换时间为秒级。 数据迁移过程中可能由于集群问题导致此过程暂停,根据报错集群修复继续执行任务。 数据迁移的时候,源节点和重分布节点必须存在相同表,这样才可以进行数据迁移。 单节点不支持数据迁移。
  • 数据迁移新建任务 登录 表格存储服务 管理控制台。 单击管理控制台左上角的,选择区域。 单击集群管理,选择集群进入集群详情页面。 单击数据迁移进入数据迁移管理页面。 表1 数据迁移参数说明 参数 说明 任务ID/名称 新建迁移任务ID/名称。 逻辑集群 选取的逻辑集群名称。 源节点 数据存放的节点。 重分布节点 数据分布的节点。 状态/进度 数据分布的状态/进度。 状态:初始化、运行中、已完成。 创建时间 创建数据任务的时间。 执行开始时间 启动数据任务的时间。 更新时间 修改数据任务的时间。 操作 启动:启动数据任务。 修改:修改任务信息。 取消:取消迁移任务。 详情:任务详情页面。 删除:删除任务。 单击左上角“新建任务”。 用户自定义任务名称(以字母开头)。 选择逻辑集群。 选择迁移百分比。 选择源节点。 选择重分布节点。 选择迁移的数据表。 选择后单击确定,完成新建任务。 单击操作列“启动”,任务启动。
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • 在Kibana/OpenSearch Dashboards查询 登录 云搜索服务 控制台。 在集群管理列表,选择需要查看插件的集群,单击操作列的“Kibana”登录Kibana或OpenSearch Dashboards界面。 非安全模式的集群:将直接进入Kibana或OpenSearch Dashboards操作界面。 安全模式的集群:需要在登录页面输入用户名和密码,单击“Log In”进入Kibana或OpenSearch Dashboards操作界面。用户名默认为admin,密码为创建集群时设置的管理员密码。 进入Dev Tools,执行如下命令查看集群插件信息: GET _cat/plugins?v 响应体示例如下: name component version css-test-ess-esn-1-1 analysis-dynamic-synonym 7.6.2-xxxx-ei-css-v1.0.1 css-test-ess-esn-1-1 analysis-icu 7.6.2-xxxx-ei-css-v1.1.6 css-test-ess-esn-1-1 analysis-ik 7.6.2-xxxx-ei-css-v1.0.1 ...... “name”是集群的节点名称,“component”是插件名称,“version”是插件版本。
  • 集群调整大小 集群调整大小也叫集群resize,是一个非常全面的功能,它能满足你所有的弹性伸缩需求,它既支持集群规模的Scale out、Scale in,也支持硬件规格的Scale up,Scale down,同时支持集群拓扑结构的重组。 DWS resize基于多nodegroup和数据重分布实现,resize过程中会按照新的资源诉求(硬件升降配)和集群规划(集群规模扩缩)部署一套新集群,然后和老集群做数据重分布,数据迁移完成后,会把业务迁移到新集群,然后释放老集群。 集群resize涉及数据搬迁,会把老集群节点上的数据重分布到新集群节点上(老集群节点上数据还在),因此集群resize耗时与用户的数据库对象数量和数据量正相关。 DWS标准数仓支持集群resize功能,需agent升级到8.2.0.2版本后支持。目前resize期间老集群只支持只读业务。后续会提供在线能力。 具体操作参见经典变更规格。 图9 集群调整大小
  • 功能对比 以上各种弹性伸缩功能的对比如下。 表2 功能对比 功能 伸缩对象 伸缩范围 业务影响 试用范围 弹性磁盘扩容 磁盘容量调整。 原集群的所有ECS挂载的EVS盘。 通常会在5-10分钟内完成,也不涉及服务重启,不影响业务,但建议业务低峰期进行。 集群版本:8.1.1.203及以后 产品形态:标准数仓、实时数仓 弹性变更规格 算力调整。 原集群的所有ECS规格(CPU核数,内存大小)。 通常会在5-10分钟内完成,但是过程中会重启一次,涉及业务分钟级别中断,建议业务低峰期进行。 集群版本:8.1.1.300及以后 产品形态:标准数仓、实时数仓 集群扩容 磁盘容量调整、算力调整。 分布式架构扩展对等同构的ECS节点。 支持在线,在线扩容过程中,DWS服务不重启,持续对外提供服务。 耗时与用户的数据库对象数量和数据量正相关。 集群版本:所有版本,8.1.1开始支持在线 产品形态:标准数仓、实时数仓 集群缩容 磁盘容量调整、算力调整。 分布式架构收缩部分ECS节点。 支持在线,在线缩容过程中,DWS服务不重启,持续对外提供服务。 耗时与用户的数据库对象数量和数据量正相关。 集群版本:8.1.1.300 产品形态:标准数仓、实时数仓 集群调整大小 磁盘容量调整、算力调整、集群拓扑结构。 使用新规格(硬件规格调整),新拓扑(集群规模调整)新建集群,再做新老集群数据重分布。 数据库只读,耗时与用户的数据库对象数量和数据量正相关。 集群版本:agent8.2.0.2及以后版本 产品形态:标准数仓 增删CN 数据库CN实例。 增加CN扩展业务并发度提升,删除CN快速恢复DDL业务。 支持在线,增删CN过程中,DWS服务不重启,持续对外提供服务。 集群版本:8.1.1版本,8.1.3开始支持在线 产品形态:标准数仓、实时数仓
  • 弹性伸缩应用场景 不同的弹性伸缩功能应用在不同的业务场景下,具体参见表3。 表3 应用场景 分类 弹性伸缩诉求 推荐弹性伸缩方式 业务影响评估 预估耗时评估 存储 存储空间不够, CPU,内存,磁盘IO非瓶颈。 磁盘扩容。 在线。 不涉及数据搬迁,5-10分钟。 存储空间太大,降本 CPU,内存,磁盘IO非瓶颈。 创建同规格、小存储容量集群,通过容灾方式把主集群迁移到备集群。 容灾切换过程中集群只读,一般30分钟内。 耗时与数据量正相关。 算力 CPU或内存存在瓶颈。 弹性规格变更。 重启一次集群。 不涉及数据搬迁,5-10分钟。 磁盘IO存在瓶颈。 创建同规格、小存储容量集群,通过容灾方式把主集群迁移到备集群。 容灾切换过程中集群只读,一般30分钟内。 耗时与数据量正相关。 分布式算力 & 存储 节点数不足导致分布式能力弱。 集群扩容。 在线(部分限制)。 涉及数据搬迁,耗时和数据量与元数量正相关。 节点数多导致成本高。 集群缩容。 在线(部分限制)。 涉及数据搬迁,耗时和数据量正相关。 拓扑结构 同时修改拓扑和规格诉求(DN数不一致)。 调整集群大小。 只读。 涉及数据搬迁,耗时和数据量与元数量正相关。 同时修改拓扑和规格诉求(DN数一致)。 集群容灾迁移。 在线(部分限制)。 涉及数据搬迁,耗时和数据量正相关。 并发度不够。 增删CN。 在线(部分限制)。 涉及数据搬迁,耗时和元数据量正相关。
  • 集群缩容 相对于集群扩容,集群缩容是分布式MPPDB架构横向收缩的典型场景,通过缩减当前集群部分节点来完成收缩集群规模的能力。集群缩容会同时收缩计算能力和存储能力。 DWS集群物理上由多个ECS节点组合,而为了提升架构可靠性,多个ECS节点(一般3个)又会组成一个逻辑安全环,多个安全环就组成了DWS集群。而缩容则是以安全环为单位缩减,优先缩容集群尾部的安全环。 集群缩容涉及数据搬迁,会把被缩减节点上的数据重分布到剩余节点上,因此缩容耗时与用户的数据库对象数量和数据量正相关。 集群缩容支持 GaussDB (DWS)标准数仓、实时数仓,在线缩容在8.1.1.300版本开始支持,在线缩容过程中,DWS服务不重启,持续对外提供服务。表重分布期间用户可以对该表执行插入、更新、删除,但重分布过程仍然会短时间阻塞用户的数据更新操作,会影响用户语句的执行性能。缩容重分布过程会消耗大量的CPU和IO资源,因此会对用户作业性能影响较大,用户应该尽可能在停止业务情况下或业务轻载的情况下执行缩容重分布。 图7 集群缩容