云服务器内容精选
-
集群调整大小 集群调整大小也叫集群resize，是一个非常全面的功能，它能满足你所有的弹性伸缩需求，它既支持集群规模的Scale out、Scale in，也支持硬件规格的Scale up，Scale down，同时支持集群拓扑结构的重组。 DWS resize基于多nodegroup和数据重分布实现，resize过程中会按照新的资源诉求（硬件升降配）和集群规划（集群规模扩缩）部署一套新集群，然后和老集群做数据重分布，数据迁移完成后，会把业务迁移到新集群，然后释放老集群。 集群resize涉及数据搬迁，会把老集群节点上的数据重分布到新集群节点上（老集群节点上数据还在），因此集群resize耗时与用户的数据库对象数量和数据量正相关。 DWS标准数仓支持集群resize功能，需agent升级到8.2.0.2版本后支持。目前resize期间老集群只支持只读业务。后续会提供在线能力。 具体操作参见经典变更规格。 图9 集群调整大小
-
功能对比 以上各种弹性伸缩功能的对比如下。 表2 功能对比 功能 伸缩对象 伸缩范围 业务影响 试用范围 弹性磁盘扩容 磁盘容量调整。 原集群的所有E CS 挂载的EVS盘。 通常会在5-10分钟内完成，也不涉及服务重启，不影响业务，但建议业务低峰期进行。 集群版本：8.1.1.203及以后 产品形态：标准数仓、实时数仓 弹性变更规格 算力调整。 原集群的所有ECS规格（CPU核数，内存大小）。 通常会在5-10分钟内完成，但是过程中会重启一次，涉及业务分钟级别中断，建议业务低峰期进行。 集群版本：8.1.1.300及以后 产品形态：标准数仓、实时数仓 集群扩容 磁盘容量调整、算力调整。 分布式架构扩展对等同构的ECS节点。 支持在线，在线扩容过程中，DWS服务不重启，持续对外提供服务。 耗时与用户的数据库对象数量和数据量正相关。 集群版本：所有版本，8.1.1开始支持在线 产品形态：标准数仓、实时数仓 集群缩容 磁盘容量调整、算力调整。 分布式架构收缩部分ECS节点。 支持在线，在线缩容过程中，DWS服务不重启，持续对外提供服务。 耗时与用户的数据库对象数量和数据量正相关。 集群版本：8.1.1.300 产品形态：标准数仓、实时数仓 集群调整大小 磁盘容量调整、算力调整、集群拓扑结构。 使用新规格（硬件规格调整），新拓扑（集群规模调整）新建集群，再做新老集群数据重分布。 数据库只读，耗时与用户的数据库对象数量和数据量正相关。 集群版本：agent8.2.0.2及以后版本 产品形态：标准数仓 增删CN 数据库CN实例。 增加CN扩展业务并发度提升，删除CN快速恢复DDL业务。 支持在线，增删CN过程中，DWS服务不重启，持续对外提供服务。 集群版本：8.1.1版本，8.1.3开始支持在线 产品形态：标准数仓、实时数仓
-
弹性伸缩应用场景 不同的弹性伸缩功能应用在不同的业务场景下，具体参见表3。 表3 应用场景 分类 弹性伸缩诉求 推荐弹性伸缩方式 业务影响评估 预估耗时评估 存储 存储空间不够， CPU，内存，磁盘IO非瓶颈。 磁盘扩容。 在线。 不涉及数据搬迁，5-10分钟。 存储空间太大，降本 CPU，内存，磁盘IO非瓶颈。 创建同规格、小存储容量集群，通过容灾方式把主集群迁移到备集群。 容灾切换过程中集群只读，一般30分钟内。 耗时与数据量正相关。 算力 CPU或内存存在瓶颈。 弹性规格变更。 重启一次集群。 不涉及数据搬迁，5-10分钟。 磁盘IO存在瓶颈。 创建同规格、小存储容量集群，通过容灾方式把主集群迁移到备集群。 容灾切换过程中集群只读，一般30分钟内。 耗时与数据量正相关。 分布式算力 & 存储 节点数不足导致分布式能力弱。 集群扩容。 在线（部分限制）。 涉及数据搬迁，耗时和数据量与元数量正相关。 节点数多导致成本高。 集群缩容。 在线（部分限制）。 涉及数据搬迁，耗时和数据量正相关。 拓扑结构 同时修改拓扑和规格诉求（DN数不一致）。 调整集群大小。 只读。 涉及数据搬迁，耗时和数据量与元数量正相关。 同时修改拓扑和规格诉求（DN数一致）。 集群容灾迁移。 在线（部分限制）。 涉及数据搬迁，耗时和数据量正相关。 并发度不够。 增删CN。 在线（部分限制）。 涉及数据搬迁，耗时和元数据量正相关。
-
集群缩容 相对于集群扩容，集群缩容是分布式MPPDB架构横向收缩的典型场景，通过缩减当前集群部分节点来完成收缩集群规模的能力。集群缩容会同时收缩计算能力和存储能力。 DWS集群物理上由多个ECS节点组合，而为了提升架构可靠性，多个ECS节点（一般3个）又会组成一个逻辑安全环，多个安全环就组成了DWS集群。而缩容则是以安全环为单位缩减，优先缩容集群尾部的安全环。 集群缩容涉及数据搬迁，会把被缩减节点上的数据重分布到剩余节点上，因此缩容耗时与用户的数据库对象数量和数据量正相关。 集群缩容支持 GaussDB (DWS)标准数仓、实时数仓，在线缩容在8.1.1.300版本开始支持，在线缩容过程中，DWS服务不重启，持续对外提供服务。表重分布期间用户可以对该表执行插入、更新、删除，但重分布过程仍然会短时间阻塞用户的数据更新操作，会影响用户语句的执行性能。缩容重分布过程会消耗大量的CPU和IO资源，因此会对用户作业性能影响较大，用户应该尽可能在停止业务情况下或业务轻载的情况下执行缩容重分布。 图7 集群缩容
-
弹性变更规格 弹性规格变更是指调整当前集群的节点规格，主要针对CPU、内存两种资源的变更。适用于需要快速调整CPU以及内存规格的需求。 规格是指不同数量的CPU和内存的一种组合，例如：dwsx.16xlarge（CPU:64 Memory:512G ）。 弹性规格变更是轻量级操作，不涉及数据搬迁，通常会在5-10分钟内完成，但是过程中会重启一次，涉及业务分钟级别中断，建议选择在业务低峰期进行。 弹性规格变更支持GaussDB(DWS)标准数仓、实时数仓的EVS规格。集群版本在8.1.1.300及以后版本支持。 具体操作参见弹性变更规格。 图4 弹性变更规格
-
集群拓扑详解 要想充分理解DWS的弹性伸缩能力，首先需要了解DWS的集群拓扑结构。如下是DWS的简单的ECS+EVS部署结构： ECS提供计算资源，包括CPU、内存配置，DWS数据库实例（CN、DN等）都部署在ECS上。 EVS提供存储资源，每个DN都会挂载一块EVS云盘。 而组成DWS集群的所有ECS节点都部署在同一个VPC内部，提供高速网络通道。 部署在ECS上的所有数据库实例逻辑上组成一个分布式的MPPDB架构集群，对外提供数据分析处理能力。 图1 集群拓扑
-
DWS集群安全环 集群扩容和缩容都和安全环相关，安全环是指DN多副本横向部署的最小主机集合。安全环主要作用是故障隔离。环内主机出现故障，故障不会扩散到环外。 DWS属于主备从架构，因此最小安全环节点数为3个节点。环内出现故障时，对环外无影响，对整个集群的影响的节点范围最小（3节点），对环内每个节点的影响为1/(N-1)，即1/2。极端场景下整个集群是一个安全环。环内出现故障，对整个集群的影响的节点范围最大（整个集群），对环内每个节点的影响最小，为1/(N-1)。 一种常见的做法是N+1成环，每个节点把他的N个备机均匀分散部署到环内的其余N个节点上。环内出现故障时，对整个集群的影响的节点范围为N+1，对环内每个节点的影响为1/N。 图6 典型N+1安全环
-
弹性磁盘扩容 弹性磁盘扩容是指调整当前集群的所有的ECS节点上挂载的所有EVS磁盘大小，主要针对需要快速调整磁盘扩容的需求。 仅支持磁盘扩容，不支持缩容。 磁盘扩容是轻量级操作，不涉及数据搬迁，通常会在5-10分钟内完成，也不涉及服务重启，不影响业务，建议选择在业务低峰期进行存储扩容。 弹性磁盘扩容支持GaussDB(DWS)标准数仓，实时数仓的EVS盘规格。集群版本在8.1.1.203及以后版本支持。 具体操作参见EVS集群磁盘扩容。 图3 弹性磁盘扩容
-
集群扩容 集群扩容是分布式MPPDB架构横向扩展的典型场景，通过添加对等同构的节点到当前集群来完成集群规模横向扩展的能力。DWS 2.0属于存算一体架构，因此集群扩容同时扩容了计算能力和存储能力。 为了扩容后集群内各节点负载均衡，性能最优，集群扩容会进行元数据复制和数据重分布，把数据重新均匀分布到新节点，因此集群扩容耗时与用户的数据库对象数量和数据量正相关。同时为了架构可靠性，新扩容的节点会自动组织成环，因此每次扩容至少扩容3个节点。 图5 集群扩容 8.1.1版本以后支持了在线扩容。在线扩容过程中，DWS服务不重启，持续对外提供服务。表重分布期间用户可以对该表执行插入、更新、删除，但重分布过程仍然会短时间阻塞用户的数据更新操作，会影响用户语句的执行性能。扩容重分布过程会消耗大量的CPU和IO资源，因此会对用户作业性能影响较大，用户应该尽可能在停止业务或业务轻载的情况下执行扩容重分布。用户也可以考虑分段扩容重分布策略，在系统负载很小的情况下采用高并发进行扩容重分布，在系统负载大的情况下停止扩容重分布或采用低并发进行扩容重分布。 集群扩容分为分段扩容和一键式扩容两种操作方式。 分段扩容把扩容操作分成添加主机，扩容，数据重分布三个阶段，用户可分段操作，把变更风险和业务影响降低到最低。 直接扩容是一键式操作，用户操作便捷度更高。 表1 扩容方式对比 扩容方式 特点 业务影响 分段扩容 把扩容操作分成添加主机，扩容，数据重分布三个阶段，用户可分段操作。 把变更风险和业务影响降低到最低。 一键式扩容 一键式操作，自动做DWS主机发放，扩容添加节点和数据重分布。 用户操作便捷度更高。
-
增删CN 增删CN属于DWS数据库实例收缩操作，可以扩展和收缩数据库CN实例。 CN全称协调节点（Coordinator Node）是和用户关系最密切也是DWS内部非常重要的一个组件，它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划，以及汇总、处理执行结果。 CN是外部应用的接口，CN的并发能力直接决定了业务的并发度。因此可以通过增加CN来扩展分布式能力，提升业务并发度。 同时由于CN是多主多活架构，为了保证数据一致性，如果部分CN数据损坏，DDL业务将受到阻塞，可以通过删除故障CN来快速恢复DDL业务。 DWS标准数仓、实时数仓支持增删CN功能，在8.1.1及以后版本支持。 增加CN过程中会同步元数据，因此增加CN耗时和元数据数量正相关，8.1.3版本支持在线增删CN，增加CN过程中DWS服务不重启，持续对外提供服务，DDL业务会短暂阻塞（不报错），其余业务不受影响。 图8 增删CN
-
查看ClickHouse集群的基本信息 集群创建完成后，可对集群进行监控和管理。在CloudTable管理控制台单击集群管理，在集群列表中找到所要查看的集群并单击集群名称，进入集群基本信息页面，用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称，创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址，用户可以单击，将访问的链接地址复制到剪切板。 集群访问地址端口 集群访问的地址端口： Http端口：8123。 TCP端口：9000。 Https端口：8443。 安全TCP端口：9440。 计费模式 显示集群的计费模式。 按需计费。 包年包月。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源（如具有相同使用用途的资源）集中在一起，按企业项目的方式来管理云资源。 说明： 当企业业务发生变化，原用户不再拥有企业项目的使用权限时，可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后，该用户将无法管理该企业项目，如需再次使用，需要重新给该用户关联企业项目。 数据库引擎 用于存储、处理和保护数据的核心服务。 通道状态 表示安全通道是否打开。 同时开启安全通道和非安全通道 如果安全通道开启，此按钮不显示，如果安全通道未开启，显示此按钮。 是否开启冷热分离 “否”代表未开启冷热，“是”代表开启冷热分离。 存储资源名称 存储冷热分离数据资源名称“hot_to_cold”。 冷热分存策略 如果节点总存储量超过设置的值，则优先迁移早起数据至冷存储。 冷热存储已使用容量 冷存储数据的存储容量。 客户端使用 ClickHouse组件目前有新旧两种客户端。如果客户使用新的客户端，客户端使用显示“新”；如果客户端使用旧客户端，客户端使用显示“旧”。 表2 网络配置 参数 说明 区域 集群的工作区域，在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 子网 子网信息，创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G。 4U32G。 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点：选择集群中的节点个数，支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD（不支持扩容） 计算规格 8U32G（本地盘容量：1.6T）。 8U64G（本地盘容量：1.6T）。 16U64G（本地盘容量：3.2T）。 16U128G（本地盘容量：3.2T）。 32U128G（本地盘容量：6.4T）。 64U256G（本地盘容量：6.4T）。 存储规格 默认支持本地SSD盘。 节点数量 多节点：选择集群中的节点个数，支持的节点范围为2~20之间。 单节点个数默认为1。 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G。 8U32G。 16U64G。 32U128G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格： 通用型SSD。 超高IO。 极速SSD。 容量范围为100~1000之间。 节点数量 集群中的节点个数，默认为3。 父主题： 集群管理
-
打开安全和非安全通道步骤 登录 表格存储服务 管理控制台。 单击管理控制台左上角的，选择区域。 单击右上角的购买集群按钮，进入“购买集群”页面。 配置好参数，单击“立即购买”。 进入“规格详情”页面，确认集群规格订单信息，单击“提交”，成功提交集群创建任务。 集群创建成功后，进入详情页面打开“同时开启安全通道和非安全通道”按钮，弹出确认框，确认无误后，单击“确定”。 在详情页面开启安全通道后，集群会重启。 安全通道和非安全通道同时开启后无法关闭。
-
HTTPS连接步骤 安全集群创建后，打开详情页面，下载证书。 下载证书后，自定义存放路径。 通过https协议执行样例sql。 echo 'select 1' | curl -H 'X-ClickHouse-User: user' -H 'X-ClickHouse-Key: password' --cacert /clickhouse/client/client/bin/certificate.crt 'https://host:port/?' --data-binary @- select 1：执行的sql语句。 user：用户名。 password：创集群时创建的密码。 /clickhouse/client/client/bin/certificate.crt：指证书存放路径。 host、port：host指的是内网地址，port指的是https协议端口。
-
打开安全通道操作步骤 登录 表格存储 服务管理控制台。 单击管理控制台左上角的，选择区域。 单击右上角的购买集群按钮，进入“购买集群”页面。 完成其他配置后，查看安全通道加密按钮是否开启，默认开启。 图1 安全通道 关闭https会给企业服务带来风险。 创建集群开启https选项，后续无法关闭。 创建集群未开启https选项，后续无法开启。 配置好参数，单击“立即购买”。 进入“规格详情”页面，确认集群规格订单信息，单击“提交”，成功提交集群创建任务，集群创建成功后，进入详情页面查看通道开启状态。
-
JDBC连接 public void run() throws InterruptedException { final ClickHouseProperties clickHouseProperties = new ClickHouseProperties(); // 认证用的密码直接写到代码中有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以密码保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量CK_PASSWORD String password = System.getenv("CK_PASSWORD"); clickHouseProperties.setSslRootCertificate("/etc/ssl/certificate.crt"); clickHouseProperties.setSsl(true); clickHouseProperties.setSslMode("strict"); clickHouseProperties.setUser("test"); clickHouseProperties.setPassword(password); clickHouseProperties.setSocketTimeout(2 * 3600 * 1000); final BalancedClickhouseDataSource dataSource = new BalancedClickhouseDataSource("xxxx.mycloudtable.com:8443/default?ssl=true", clickHouseProperties); try { final ClickHouseConnection conn = dataSource.getConnection(); conn.createStatement().executeQuery("select now()"); } catch (Throwable e) { e.printStackTrace(); } } clickHouseProperties.setSslRootCertificate("/etc/ssl/certificate.crt");中的/etc/ssl/certificate.crt指存放证书路径。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
