云服务器内容精选
-
StarRocks简介 StarRocks是一款全托管分析型 数据仓库 ，可以灵活创建和管理集群以及数据。使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各种实时和离线的数据源高效导入数据，同时支持直接分析 数据湖 上各种格式的数据。 StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接进行数据分析，同时StarRocks具备水平扩展、高可用、高可靠、易运维等特性，广泛应用于实时数仓、高并发查询、统一分析等场景。更多相关介绍请参见StarRocks。 该组件当前为白名单阶段，如果使用请联系技术支持申请白名单开通。
-
StarRocks架构 StarRocks整体架构如下图所示，FE和BE节点可以水平无限扩展。 图1 StarRocks架构 表1 StarRocks节点及角色说明 名称 说明 Client Application StarRocks兼容MySQL协议，支持标准SQL语法，用户可通过各类MySQL客户端和常用BI工具对接。 FE StarRocks的前端节点，主要负责管理元数据、管理客户端连接、进行查询规划、查询调度等工作。 BE StarRocks的后端节点，主要负责数据存储和SQL计算等工作。 Leader Leader从Follower中自动选出，FE Leader提供元数据读写服务，Follower和Observer只有读取权限，无写入权限。 Follower Follower只有元数据读取权限，无写入权限，Follower参与Leader选举。 Observer Observer主要用于扩展集群的查询并发能力，可选部署。Observer不参与选主，不会增加集群的选主压力。
-
StarRocks基本概念 在StarRocks中，数据都以表（Table）的形式进行逻辑上的描述。 StarRocks中的表由行和列构成，每行数据对应用户一条记录，每列数据具有相同的数据类型。所有数据行的列数相同，可以动态增删列。在StarRocks中，一张表的列可以分为维度列（也称为Key列）和指标列（也称为Value列），维度列用于分组和排序，指标列的值可以通过聚合函数sum、count、min、max、hll_union_agg和bitmap_union等累加起来。 列式存储 在StarRocks中，表数据按列存储。物理上，一列数据会经过分块编码、压缩等操作，然后持久化存储到非易失设备上。但在逻辑上，一列数据可以看成是由相同类型的元素构成的一个数组， 一行数据的所有列值在各自的数组中按照列顺序排列，即拥有相同的数组下标。数组下标是隐式的，不需要存储。表中所有的行按照维度列，做多重排序，排序后的位置就是该行的行号。 索引 StarRocks通过前缀索引 (Prefix Index) 和列级索引，能够快速找到目标行所在数据块的起始行号。 加速处理 StarRocks通过预先聚合、分区分桶、物化视图、列级索引等机制实现数据的加速处理。 数据模型 StarRocks支持四种数据模型，分别是明细模型（Duplicate Key Model）、聚合模型（Aggregate Key Model）、更新模型（Unique Key Model）和主键模型（Primary Key Model）。 这四种数据模型能够支持多种数据分析场景，例如 日志分析 、数据汇总分析、实时分析等。创建表时，您需要指定数据模型（Data Model），当数据导入至数据模型时，StarRocks会按照排序键对数据进行排序、处理和存储。四种数据模型介绍如下： 明细模型 明细模型是StarRocks默认的建表模型。如果在建表时未指定任何模型，默认创建明细类型的表。 聚合模型 建表时，支持定义排序键和指标列，并为指标列指定聚合函数。当多条数据具有相同的排序键时，指标列会进行聚合。在分析统计和汇总数据时，聚合模型能够减少查询时所需要处理的数据，提升查询效率。 更新模型 建表时，支持定义主键和指标列，查询时返回主键相同的一组数据中的最新数据。相对于明细模型，更新模型简化了数据导入流程，能够更好地支撑实时和频繁更新的场景。 主键模型 主键模型支持分别定义主键和排序键。数据导入至主键模型的表中时，先按照排序键排序后再存储。查询时返回主键相同的一组数据中的最新数据。相对于更新模型，主键模型在查询时不需要执行聚合操作，并且支持谓词和索引下推，能够在支持实时和频繁更新等场景的同时，提供高效查询。 数据分布 建表时，您可以通过设置合理的分区和分桶，实现数据均匀分布和查询性能提升。数据均匀分布是指数据按照一定规则划分为子集，并且均衡地分布在不同节点上。查询时能够有效裁剪数据扫描量，最大限度地利用集群的并发性能，从而提升查询性能。
-
背景信息 逻辑集群支持手动添加增删计划和自动弹性增删能力。支持在计划时间段内，动态创建、删除计算逻辑集群，实现计算资源动态伸缩。 通过手动添加定时增删计划创建的逻辑集群主要用于提供计算能力，关联用户后该用户的查询都会切换到该逻辑集群上，同时建表语句仍在原始的逻辑集群上。 一个用户仅支持绑定到一个计算逻辑集群上。 若删除逻辑集群时，该逻辑集群关联的用户有业务运行，可能会出现报错。 通过打开自动弹性开关创建的逻辑集群主要用于提供并发扩展能力，关联主逻辑集群后，主逻辑集群的部分查询路由到该逻辑集群上，同时建表语句仍在原始的逻辑集群上。 开启并使用并发扩展功能，当系统面临高并发作业，主集群因为内存等资源不足出现排队时，DWS会自动增加额外的集群容量来处理增多的读取和写入语句，减少语句排队时间。不管语句在主集群上运行还是在并发扩展集群上运行，用户都将看到最新的数据，且性能相当。您可以通过配置资源池来管理将哪些语句发送到并发扩展集群。开启并发扩展后，符合条件的语句将发送到并发扩展集群，而不是排队等待。并发扩展功能限制如下： 仅支持V3表和外表。 仅支持SELECT、INSERT、UPDATE、DELETE语句。 不支持COPY导入。 不支持UPSERT语句。 不支持事务块。 不支持存储过程。 不支持带RETURNING子句和WITH RECURSIVE递归语句。 不支持轻量级更新。 不支持INSERT单个VALUES或者类似generate_series生成的语句。 不支持复制表。 手动增删计划支持DWS 3.0集群，历史版本需要联系技术支持人员升级使用。 自动弹性增删仅支持DWS 3.0集群和E CS 规格的集群，且仅9.1.0及以上集群版本支持。 DWS 3.0集群包年/包月集群在定时增加逻辑集群时自动扩容节点，节点按需计费。
-
原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生成执行计划的效率，还提供了catalog，relation等缓存机制。长连接场景下这些缓存中的某些缓存是不会主动释放的，因此可能导致长连接占用大量的内存不释放。 PMS是 MRS 的监控进程，此进程会经常创建表分区或者新表，由于PostgreSQL会缓存当前会话访问过的对象的元数据，且PMS的数据库连接池连接会长时间存在，所以连接占用的内存会逐渐上升。
-
集群管理功能 CloudTable服务是华为云提供的一项分布式、可扩展的KeyValue数据存储服务。CloudTable提供Web官网服务界面，CloudTable HBase集群管理的具体功能如下： 创建集群：在CloudTable服务界面完成集群的创建。支持按照用户创建集群时选择的计算单元个数、实际使用存储容量计费。用户可以自主地选择服务提供的高级特性，独立安装、独立收费。扣费时余额不足先提醒用户续费，在保留期冻结集群资源，续费后再解冻。通过计算存储分离架构和计算资源动态调整，尽可能的为用户降低成本。 扩容集群：支持集群扩容计算单元。 扩容计算单元：用户根据实际需要或业务情况，动态的增加计算单元的个数，保证读写性能。集群自适应的实现负载均衡，保证业务不中断，平滑扩容。扩容计算单元将会产生额外的费用。 管理集群：对创建的集群进行管理。 指标监控：集群运行中，收集各项监控数据，上报 云监控 （Cloud Eye），向用户以图形化的方式呈现集群运行状况。当指标出现异常时，通过 消息通知 用户和管理员，及时人工介入。 删除集群：当用户不再需要集群时，可选择删除集群。此操作为高危操作，删除集群可能导致数据丢失，因此在执行删除操作之前，请确认不存在正在运行的业务，所有数据都已经保存。 重启集群：当修改完集群HBase参数后，或者因长时间不重启导致系统运行缓慢等情况下，用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失，如果需要执行重启操作，请确定不存在正在运行的业务，所有数据都已经保存。 查询告警：集群运行异常或系统故障时，CloudTable服务会收集故障信息并上报网管系统，维护人员可根据用户提供的告警信息定位问题原因。 日志查询：记录用户对集群操作信息，便于集群运行异常时定位分析问题原因。
-
HBase产品简介 HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式 云存储 系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 HBase适用场景有： 海量数据存储。 适用于TB～PB级以上的数据存储，提供动态伸缩能力，方便用户在性能或容量需要改变时，改变集群资源，轻松构建企业海量数据存储系统。 实时查询。 HBase的列式KeyValue存储机制，适用于企业用户明细数据即时查询，基于主键的低时延点查，响应时延一般为秒级或毫秒级，方便用户对数据的实时分析。 HBase的架构和详细原理介绍，请参见：https://hbase.apache.org/book.html 当前CloudTable HBase暂无安全认证机制，如果需使用认证鉴权机制的HBase服务，建议使用华为云 MapReduce服务 。
-
操作步骤 登录HPC-S²控制台。 单击左侧的“集群管理”。 在“集群管理”页面选择要扩容的集群，单击后方操作中“扩容”，进入扩容的详情页面。 选择“计费模式”。 集群扩容时，可选择和原有计费模式不同的计费模式，如果集群当中既有“按需计费”也有“包年/包月”类型，此时集群的付费类型显示为“混合计费”。 包年/包月：用户选购完 云服务器配置 后，可以根据需要设置购买时长，系统会一次性按照购买价格对账户余额进行扣费。 按需付费：用户选购完云服务器配置后，无需设置购买时长，系统会根据消费时长对账户余额进行扣费。 选择“当前区域”和“可用区”。 集群扩容时，当前区域不可选，默认为集群初始创建时所在区域。 集群扩容时，可选择不同于原有集群的可用区。 新增节点的规格配置。 规格：公有云提供了多种类型的弹性云服务器供您选择，单击下拉框进行选择； 系统盘：根据所需要的选择磁盘类型和大小； 网络配置。 集群扩容时，网络配置包括“虚拟私有云”、“安全组”以及“网卡”不可选，和集群初始创建时保持一致。 选择“镜像”。 推荐使用公共镜像，其他类型镜像可能出现扩容时自动部署失败的情况。 公共镜像（推荐） 标准操作系统镜像，所有用户可见，当前仅支持CentOS 7系列，包括操作系统以及预装的公共应用。请根据您的实际情况自助选择。 私有镜像 用户基于弹性云服务器创建的个人镜像，仅用户自己可见。包含操作系统、预装的公共应用以及用户的私有应用。选择私有镜像创建弹性云服务器，可以节省您重复配置弹性云服务器的时间。 您可以选择使用加密镜像，更多关于加密镜像的信息，请参见《 镜像服务 用户指南》。 共享镜像 您将接受其他用户共享的私有镜像，作为自己的镜像进行使用。 市场镜像 提供预装操作系统、应用环境和各类软件的优质第三方镜像。 选择“登录方式”。 登录方式会和集群初始创建时保持一致，若集群创建时选择了密码方式，扩容就只支持密码方式，若集群创建时选择了密钥方式，扩容则只支持密钥方式。 密钥对 指使用密钥对作为弹性云服务器的鉴权方式。您可以选择使用已有的密钥，或者单击“查看密钥对”创建新的密钥。 如果选择使用已有的密钥，请确保您已在本地获取该文件，否则，将影响您正常登录弹性云服务器。 密码 指使用设置初始密码方式作为弹性云服务器的鉴权方式，此时，您可以通过用户名密码方式登录弹性云服务器。 密码规则请参考下表： 参数 规则 样例 密码 密码长度范围为8到26位。 密码至少包含以下4种字符中的3种： 大写字母 小写字母 数字 特殊字符，包括：“$”、“!”、“@”、“%”、“-”、“_”、“=”、“+”、“[”、“]”、“:”、“.”、“/”、“^”、“,”、“{”、“}”和“?” 密码不能包含用户名或用户名的逆序。 YNbUwp!dUc9MClnv 说明： 样例密码随机生成，请勿复制使用样例。 选择“购买时长”。 计费模式为“包年/包月”类型，需同时选择购买时长，同时用户可选择是否需要“自动续费”，如勾选了“自动续费”，包周期到期后会自动续费。 选择“节点数量”。 集群原有的计算节点和新扩容的计算节点总计不超过50个。 核对当前配置，确认无误后单击右侧的“立即购买”，进入订单确认页面。 计费模式为“包年/包月”时，如果您确认规格和价格无误，请勾选同意协议，单击“去支付”，并根据界面提示完成支付。 计费模式为“按需付费”时，如果您确认规格和价格无误，请勾选同意协议，单击“提交”。 提交/支付成功后，返回到集群管理页面，可查看到集群列表中该集群已经是“创建中”了，等待集群创建完成变成“运行中”即可。
-
删除集群 登录CCE控制台，在左侧导航栏中选择“集群管理”。 找到需要删除的集群，查看集群的更多操作，并单击“删除集群”。 在弹出的“删除集群”窗口中，根据系统提示，勾选删除集群时需要释放的资源。 删除集群下负载均衡ELB等网络资源（仅删除自动创建的ELB资源）。 其余关联创建的VPC级别的资源（如终端节点、NAT网关、SNAT出网EIP）在删除集群时默认保留，请确认其他集群或服务未重用该资源，并前往网络控制台进行删除。 单击“是”，开始执行删除集群操作。 删除集群需要花费1~3分钟，请耐心等候。
-
注意事项 删除集群会删除集群下的工作负载与服务，相关业务将无法恢复。在执行操作前，请确保相关数据已完成备份或者迁移，删除完成后数据无法找回，请谨慎操作。 部分资源不会删除： Service和Ingress关联的已有ELB实例（仅删除自动创建的ELB实例） 关联创建的VPC级别的资源（如终端节点、NAT网关、SNAT出网EIP） 在集群非运行状态（例如冻结、不可用状态）时删除集群，会残留存储、网络等关联资源，请妥善处理。
-
数据迁移新建任务 登录 表格存储服务 管理控制台。 单击管理控制台左上角的，选择区域。 单击集群管理，选择集群进入集群详情页面。 单击数据迁移进入数据迁移管理页面。 表1 数据迁移参数说明 参数 说明 任务ID/名称 新建迁移任务ID/名称。 逻辑集群 选取的逻辑集群名称。 源节点 数据存放的节点。 重分布节点 数据分布的节点。 状态/进度 数据分布的状态/进度。 状态：初始化、运行中、已完成。 创建时间 创建数据任务的时间。 执行开始时间 启动数据任务的时间。 更新时间 修改数据任务的时间。 操作 启动：启动数据任务。 修改：修改任务信息。 取消：取消迁移任务。 详情：任务详情页面。 删除：删除任务。 单击左上角“新建任务”。 用户自定义任务名称（以字母开头）。 选择逻辑集群。 选择迁移百分比。 选择源节点。 选择重分布节点。 选择迁移的数据表。 选择后单击确定，完成新建任务。 单击操作列“启动”，任务启动。
-
注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。 本地表的数据库必须为atomic（默认）或ordinary，且表类型为Mergetree家族系列引擎的表（包括非复制表和复制表，不支持物化视图表）。 本地表副本关系和cluster一致，有分布式表作为分片之间的关系。 数据迁移过程中原表默认为只读状态。 数据迁移的时候数据首先会保存在临时表中，执行的时候用迁移的数据表替换原表，该过程中可能读取到错误的数据，切换时间为秒级。 数据迁移过程中可能由于集群问题导致此过程暂停，根据报错集群修复继续执行任务。 数据迁移的时候，源节点和重分布节点必须存在相同表，这样才可以进行数据迁移。 单节点不支持数据迁移。
-
集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时，其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时，集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常，比如，可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足，则其状态为“冻结”。 当集群状态为“冻结”时，您需要通过续费保证账户余额不为0才能解冻，详细操作请参见如何续费？。 说明： 冻结期间集群不可用且关闭集群中所有云主机，解冻后集群自动恢复为“服务中”状态。如果用户没有续费，冻结期限到期后集群会被删除。
-
在Kibana/OpenSearch Dashboards查询 登录 云搜索服务 控制台。 在集群管理列表，选择需要查看插件的集群，单击操作列的“Kibana”登录Kibana或OpenSearch Dashboards界面。 非安全模式的集群：将直接进入Kibana或OpenSearch Dashboards操作界面。 安全模式的集群：需要在登录页面输入用户名和密码，单击“Log In”进入Kibana或OpenSearch Dashboards操作界面。用户名默认为admin，密码为创建集群时设置的管理员密码。 进入Dev Tools，执行如下命令查看集群插件信息： GET _cat/plugins?v 响应体示例如下： name component version css-test-ess-esn-1-1 analysis-dynamic-synonym 7.6.2-xxxx-ei-css-v1.0.1 css-test-ess-esn-1-1 analysis-icu 7.6.2-xxxx-ei-css-v1.1.6 css-test-ess-esn-1-1 analysis-ik 7.6.2-xxxx-ei-css-v1.0.1 ...... “name”是集群的节点名称，“component”是插件名称，“version”是插件版本。
-
集群调整大小 集群调整大小也叫集群resize，是一个非常全面的功能，它能满足你所有的弹性伸缩需求，它既支持集群规模的Scale out、Scale in，也支持硬件规格的Scale up，Scale down，同时支持集群拓扑结构的重组。 DWS resize基于多nodegroup和数据重分布实现，resize过程中会按照新的资源诉求（硬件升降配）和集群规划（集群规模扩缩）部署一套新集群，然后和老集群做数据重分布，数据迁移完成后，会把业务迁移到新集群，然后释放老集群。 集群resize涉及数据搬迁，会把老集群节点上的数据重分布到新集群节点上（老集群节点上数据还在），因此集群resize耗时与用户的数据库对象数量和数据量正相关。 DWS标准数仓支持集群resize功能，需agent升级到8.2.0.2版本后支持。目前resize期间老集群只支持只读业务。后续会提供在线能力。 具体操作参见经典变更规格。 图9 集群调整大小
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
