云服务器内容精选

  • HBase产品简介 HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式 云存储 系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 HBase适用场景有: 海量数据存储。 适用于TB~PB级以上的数据存储,提供动态伸缩能力,方便用户在性能或容量需要改变时,改变集群资源,轻松构建企业海量数据存储系统。 实时查询。 HBase的列式KeyValue存储机制,适用于企业用户明细数据即时查询,基于主键的低时延点查,响应时延一般为秒级或毫秒级,方便用户对数据的实时分析。 HBase的架构和详细原理介绍,请参见:https://hbase.apache.org/book.html
  • 集群管理功能 CloudTable服务是华为云提供的一项分布式、可扩展的KeyValue数据存储服务。CloudTable提供Web官网服务界面,CloudTable HBase集群管理的具体功能如下: 创建集群:在CloudTable服务界面完成集群的创建。可以选择计算存储分离架构和计算资源动态调整,尽可能为用户降低成本。 管理集群:对创建的集群进行管理。 指标监控:集群运行中,收集各项监控数据,上报 云监控 (Cloud Eye),向用户以图形化的方式呈现集群运行状况。当指标出现异常时,通过 消息通知 用户和管理员,及时人工介入。 删除集群:当用户不再需要集群时,可选择删除集群。此操作为高危操作,删除集群可能导致数据丢失,因此在执行删除操作之前,请确认不存在正在运行的业务,所有数据都已经保存。 重启集群:当修改完集群HBase参数后,或者因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 查询告警:集群运行异常或系统故障时,CloudTable服务会收集故障信息并上报网管系统,维护人员可根据用户提供的告警信息定位问题原因。 日志查询:记录用户对集群操作信息,便于集群运行异常时定位分析问题原因。
  • MRS 集群安装的Python版本是多少? 以root用户登录任意一个Master节点,然后执行python3命令即可获取MRS集群安装的Python版本。 表1 MRS集群安装的Python版本 MRS集群版本 Python版本 MRS 3.1.0 Python 3.8.0 MRS 3.0.5 Python 3.7.0 MRS 3.0.2 Python 3.7.0 MRS 2.1.1 Python 3.6.8 MRS 2.1.0 Python 3.6.8 MRS 1.9.3 Python 3.6.8 父主题: 集群管理类
  • 操作步骤 登录HPC-S²控制台。 单击左侧的“集群管理”。 在“集群管理”页面选择要扩容的集群,单击后方操作中“扩容”,进入扩容的详情页面。 选择“计费模式”。 集群扩容时,可选择和原有计费模式不同的计费模式,如果集群当中既有“按需计费”也有“包年/包月”类型,此时集群的付费类型显示为“混合计费”。 包年/包月:用户选购完 云服务器配置 后,可以根据需要设置购买时长,系统会一次性按照购买价格对账户余额进行扣费。 按需付费:用户选购完云服务器配置后,无需设置购买时长,系统会根据消费时长对账户余额进行扣费。 选择“当前区域”和“可用区”。 集群扩容时,当前区域不可选,默认为集群初始创建时所在区域。 集群扩容时,可选择不同于原有集群的可用区。 新增节点的规格配置。 规格:公有云提供了多种类型的弹性云服务器供您选择,单击下拉框进行选择; 系统盘:根据所需要的选择磁盘类型和大小; 网络配置。 集群扩容时,网络配置包括“虚拟私有云”、“安全组”以及“网卡”不可选,和集群初始创建时保持一致。 选择“镜像”。 推荐使用公共镜像,其他类型镜像可能出现扩容时自动部署失败的情况。 公共镜像(推荐) 标准操作系统镜像,所有用户可见,当前仅支持CentOS 7系列,包括操作系统以及预装的公共应用。请根据您的实际情况自助选择。 私有镜像 用户基于弹性云服务器创建的个人镜像,仅用户自己可见。包含操作系统、预装的公共应用以及用户的私有应用。选择私有镜像创建弹性云服务器,可以节省您重复配置弹性云服务器的时间。 您可以选择使用加密镜像,更多关于加密镜像的信息,请参见《 镜像服务 用户指南》。 共享镜像 您将接受其他用户共享的私有镜像,作为自己的镜像进行使用。 市场镜像 提供预装操作系统、应用环境和各类软件的优质第三方镜像。 选择“登录方式”。 登录方式会和集群初始创建时保持一致,若集群创建时选择了密码方式,扩容就只支持密码方式,若集群创建时选择了密钥方式,扩容则只支持密钥方式。 密钥对 指使用密钥对作为弹性云服务器的鉴权方式。您可以选择使用已有的密钥,或者单击“查看密钥对”创建新的密钥。 如果选择使用已有的密钥,请确保您已在本地获取该文件,否则,将影响您正常登录弹性云服务器。 密码 指使用设置初始密码方式作为弹性云服务器的鉴权方式,此时,您可以通过用户名密码方式登录弹性云服务器。 密码规则请参考下表: 参数 规则 样例 密码 密码长度范围为8到26位。 密码至少包含以下4种字符中的3种: 大写字母 小写字母 数字 特殊字符,包括:“$”、“!”、“@”、“%”、“-”、“_”、“=”、“+”、“[”、“]”、“:”、“.”、“/”、“^”、“,”、“{”、“}”和“?” 密码不能包含用户名或用户名的逆序。 YNbUwp!dUc9MClnv 说明: 样例密码随机生成,请勿复制使用样例。 选择“购买时长”。 计费模式为“包年/包月”类型,需同时选择购买时长,同时用户可选择是否需要“自动续费”,如勾选了“自动续费”,包周期到期后会自动续费。 选择“节点数量”。 集群原有的计算节点和新扩容的计算节点总计不超过50个。 核对当前配置,确认无误后单击右侧的“立即购买”,进入订单确认页面。 计费模式为“包年/包月”时,如果您确认规格和价格无误,请勾选同意协议,单击“去支付”,并根据界面提示完成支付。 计费模式为“按需付费”时,如果您确认规格和价格无误,请勾选同意协议,单击“提交”。 提交/支付成功后,返回到集群管理页面,可查看到集群列表中该集群已经是“创建中”了,等待集群创建完成变成“运行中”即可。
  • 如何清理与回收 GaussDB (DWS)存储空间? GaussDB(DWS) 数据仓库 中保存的数据在删除后,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费、创建及恢复快照性能下降等问题,如何清理? 清理与回收存储空间对系统的影响如下: 删除无用的脏数据,释放存储空间。 数据库将进行大量读写操作,可能影响正常使用,建议选择空闲时间执行。 数据库的存储空间越大,即数据可能越多,清理的时间越长。 清理与回收存储空间操作步骤如下: 连接数据库。具体操作步骤请参见连接集群。 执行以下命令,清理与回收存储空间。 VACUUM FULL; 默认清理当前用户在数据库中,拥有权限的每一个表。没有权限的表则直接跳过回收操作。 当系统显示以下内容时,表示清理完成: 1 VACUUM VACUUM FULL回收所有过期的行空间,但是它需要对每个正在处理的表进行独占锁定,并且可能需要很长时间才能完成大型 分布式数据库 表。一般建议对指定表执行VACUUM FULL,若需要对整个数据库执行VACUUM FULL,建议在数据库维护期间操作。 使用FULL参数会导致统计信息丢失,如果需要收集统计信息,请在语句命令中加上analyze关键字。例如,执行VACUUM FULL ANALYZE;命令。 VACUUM的语法请参见《SQL语法参考》中的VACUUM章节。 父主题: 集群管理
  • 请求示例 创建超高IO集群请求样例(enable_openTSDB字段只适用HBase1.3.1版本,enable_lemon字段废弃)。 POST /v2/{project_id}/clusters/ { "cluster" : { "name" : "cloudtable-interfacetest1", "datastore" : { "version" : "1.0.6", "type" : "hbase" }, "vpc_id" : "23af42c2-f57f-499f-8a2f-a934bd05b8b3", "storage_type" : "ULTRAHIGH", "enable_openTSDB" : false, "auth_mode" : false, "enable_lemon" : false, "instance" : { "nics" : [ { "net_id" : "8e8b7b75-5e55-4948-907e-79d06e18c516", "security_group_id" : "57c6e2a1-857c-4504-92b2-24e95bd587cc" } ], "availability_zone" : "cn-north-1a", "cu_num" : 2, "tsd_num" : 0, "lemon_num" : 0 } } }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Language 是 String 语言类型。 表3 请求Body参数 参数 是否必选 参数类型 描述 cluster 是 Cluster object 创建集群参数对象实体。 表4 Cluster 参数 是否必选 参数类型 描述 auth_mode 否 String 是否开启 IAM 权限认证。 false:不开启 true:开启 备注:此字段废弃。 enable_lemon 否 Boolean 是否开启Lemon(目前已关闭该参数,填false即可) false:不开启 true:开启 备注:此字段废弃。 enable_openTSDB 否 Boolean 是否开启OpenTSDB。 false:不开启 true:开启 备注:此字段只适用HBase1.3.1版本。 instance 是 Instance object 集群的实例对象。 name 是 String CloudTable集群的名称。 storage_size 否 Integer 存储值的大小。 HBase取值范围: 800GB-10TB。 storage_type 是 String 存储类型: ULTRAHIGH:超高IO COMMON:普通IO vpc_id 是 String 集群所在的(虚拟网络私有云)VPC。 datastore 是 Datastore object 创建集群数据库参数。 表5 Instance 参数 是否必选 参数类型 描述 availability_zone 是 String 集群所在可用区的ID。 cu_num 是 Integer CloudTable集群计算单元节点数目,至少为2。 lemon_num 否 Integer CloudTable集群Lemon节点数目。 备注:此字段废弃。 nics 是 Array of Nics objects 集群所在网络信息。 tsd_num 是 Integer CloudTable集群TSD节点数目,至少为2。 备注:此字段废弃。 表6 Nics 参数 是否必选 参数类型 描述 net_id 是 String CloudTable集群所在网络ID。 security_group_id 是 String CloudTable所在安全组对应的ID。 表7 Datastore 参数 是否必选 参数类型 描述 version 是 String controller版本号,默认1.0.6。 type 是 String 集群数据库类型。
  • 查看ClickHouse集群的基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址,用户可以单击,将访问的链接地址复制到剪切板。 集群访问地址端口 集群访问的地址端口: Http端口:8123。 TCP端口:9000。 Https端口:8443。 安全TCP端口:9440。 计费模式 显示集群的计费模式。 按需计费。 包年包月。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 数据库引擎 用于存储、处理和保护数据的核心服务。 通道状态 表示安全通道是否打开。 同时开启安全通道和非安全通道 如果安全通道开启,此按钮不显示,如果安全通道未开启,显示此按钮。 是否开启冷热分离 “否”代表未开启冷热,“是”代表开启冷热分离。 存储资源名称 存储冷热分离数据资源名称“hot_to_cold”。 冷热分存策略 如果节点总存储量超过设置的值,则优先迁移早期数据至冷存储。 冷热存储已使用容量 冷存储数据的存储容量。 客户端使用 ClickHouse组件目前有新旧两种客户端。如果客户使用新的客户端,客户端使用显示“新”;如果客户端使用旧客户端,客户端使用显示“旧”。 表2 网络配置 参数 说明 区域 集群的工作区域,在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 4U32G。 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 Server小规格只包含4U16G、4U32G,生产环境建议选择8U32G及以上规格。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD(不支持扩容) 计算规格 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 默认支持本地SSD盘。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 8U32G。 16U64G。 32U128G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 通用型SSD。 超高IO。 极速SSD。 容量范围为100~1000之间。 节点数量 集群中的节点个数,默认为3。 父主题: 集群管理
  • 绑定企业项目 在GaussDB(DWS)中,用户可以在创建集群时为集群选择所属的企业项目,从而将GaussDB(DWS)集群与企业项目进行关联,详情请参见创建GaussDB(DWS)存算一体集群。在选择“企业项目”的下拉列表中,将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为集群选择企业项目,将使用缺省项目“default”。 注意,目前企业项目服务仍处于公测期间,仅允许有公测权限的用户设置企业项目,普通用户无法看到企业项目相关信息。 在集群创建过程中,如果集群与企业项目绑定成功,则集群创建成功,如果绑定失败,系统会发送告警,集群就会创建失败。 在为GaussDB(DWS)集群创建快照时,会同时保存集群与企业项目的关联关系,在恢复集群时,也会恢复企业项目的关联关系。 当删除GaussDB(DWS)集群时,GaussDB(DWS)集群与企业项目的关联关系就会被自动删除。
  • 查看企业项目 在集群创建成功后,您可以在集群列表和集群详情页面查看集群关联的企业项目。用户只能查询到有访问权限的项目下的集群资源。 在集群管理页面的集群列表中,查看集群所属的企业项目。 图1 查看企业项目 在集群列表中,找到所需要的集群,然后单击集群名称,进入“集群详情”页面,可以查看与集群关联的企业项目。单击企业项目的名称,可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。 图2 查看集群的企业项目 同时,在企业管理的控制台上,查询指定项目中的资源列表时,也可以查询到GaussDB(DWS)服务的资源。
  • 将集群迁入或迁出企业项目 一个GaussDB(DWS)集群只能关联一个企业项目。当集群创建成功后,可以在企业管理的控制台上,执行迁出操作,将GaussDB(DWS)集群从当前所属的企业项目中迁出到另一个企业项目中;或者执行迁入操作,在指定的企业项目中迁入另一个企业项目中的GaussDB(DWS)集群。迁入迁出后,GaussDB(DWS)集群与新的企业项目进行关联,GaussDB(DWS)集群与原企业项目的关联关系将被自动解除。 迁入的详细操作,请参考《企业管理用户指南》的为企业项目迁入资源。 迁出的详细操作,请参考《企业管理用户指南》的迁出企业项目资源。
  • 背景信息 逻辑集群支持手动添加增删计划和自动弹性增删能力。支持在计划时间段内,动态创建、删除计算逻辑集群,实现计算资源动态伸缩。 通过手动添加定时增删计划创建的逻辑集群主要用于提供计算能力,关联用户后该用户的查询都会切换到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 一个用户仅支持绑定到一个计算逻辑集群上。 若删除逻辑集群时,该逻辑集群关联的用户有业务运行,可能会出现报错。 通过打开自动弹性开关创建的逻辑集群主要用于提供并发扩展能力,关联主逻辑集群后,主逻辑集群的部分查询路由到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 开启并使用并发扩展功能,当系统面临高并发作业,主集群因为内存等资源不足出现排队时,DWS会自动增加额外的集群容量来处理增多的读取和写入语句,减少语句排队时间。不管语句在主集群上运行还是在并发扩展集群上运行,用户都将看到最新的数据,且性能相当。您可以通过配置资源池来管理将哪些语句发送到并发扩展集群。开启并发扩展后,符合条件的语句将发送到并发扩展集群,而不是排队等待。并发扩展功能限制如下: 仅支持V3表和foreign外表。如果为复制表,仅支持SELECT。 仅支持SELECT、INSERT、UPDATE、DELETE语句。 不支持COPY导入。 不支持UPSERT语句。 不支持事务块。 不支持存储过程。 不支持带RETURNING子句和WITH RECURSIVE递归语句。 不支持轻量级更新。 不支持INSERT单个VALUES或者类似generate_series生成的语句。 手动增删计划支持存算分离集群,历史版本需要联系技术支持人员升级使用。 自动弹性增删仅支持存算分离集群和E CS 规格的集群,且仅9.1.0及以上集群版本支持。 存算分离集群包年/包月集群在定时增加逻辑集群时自动扩容节点,节点按需计费。
  • 注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。 本地表的数据库必须为atomic(默认)或ordinary,且表类型为Mergetree家族系列引擎的表(包括非复制表和复制表,不支持物化视图表)。 本地表副本关系和cluster一致,有分布式表作为分片之间的关系。 数据迁移过程中原表默认为只读状态。 数据迁移的时候数据首先会保存在临时表中,执行的时候用迁移的数据表替换原表,该过程中可能读取到错误的数据,切换时间为秒级。 数据迁移过程中可能由于集群问题导致此过程暂停,根据报错集群修复继续执行任务。 数据迁移的时候,源节点和重分布节点必须存在相同表,这样才可以进行数据迁移。 单节点不支持数据迁移。
  • 数据迁移新建任务 登录 表格存储服务 管理控制台。 单击管理控制台左上角的,选择区域。 单击集群管理,选择集群进入集群详情页面。 单击数据迁移进入数据迁移管理页面。 表1 数据迁移参数说明 参数 说明 任务ID/名称 新建迁移任务ID/名称。 逻辑集群 选取的逻辑集群名称。 源节点 数据存放的节点。 重分布节点 数据分布的节点。 状态/进度 数据分布的状态/进度。 状态:初始化、运行中、已完成。 创建时间 创建数据任务的时间。 执行开始时间 启动数据任务的时间。 更新时间 修改数据任务的时间。 操作 启动:启动数据任务。 修改:修改任务信息。 取消:取消迁移任务。 详情:任务详情页面。 删除:删除任务。 单击左上角“新建任务”。 用户自定义任务名称(以字母开头)。 选择逻辑集群。 选择迁移百分比。 选择源节点。 选择重分布节点。 选择迁移的数据表。 选择后单击确定,完成新建任务。 单击操作列“启动”,任务启动。
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。