云服务器内容精选

  • 请求示例 创建超高IO集群请求样例(enable_openTSDB字段只适用HBase1.3.1版本,enable_lemon字段废弃)。 POST /v2/{project_id}/clusters/ { "cluster" : { "name" : "cloudtable-interfacetest1", "datastore" : { "version" : "1.0.6", "type" : "hbase" }, "vpc_id" : "23af42c2-f57f-499f-8a2f-a934bd05b8b3", "storage_type" : "ULTRAHIGH", "enable_openTSDB" : false, "auth_mode" : false, "enable_lemon" : false, "instance" : { "nics" : [ { "net_id" : "8e8b7b75-5e55-4948-907e-79d06e18c516", "security_group_id" : "57c6e2a1-857c-4504-92b2-24e95bd587cc" } ], "availability_zone" : "cn-north-1a", "cu_num" : 2, "tsd_num" : 0, "lemon_num" : 0 } } }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Language 是 String 语言类型。 表3 请求Body参数 参数 是否必选 参数类型 描述 cluster 是 Cluster object 创建集群参数对象实体。 表4 Cluster 参数 是否必选 参数类型 描述 auth_mode 否 String 是否开启 IAM 权限认证。 false:不开启 true:开启 备注:此字段废弃。 enable_lemon 否 Boolean 是否开启Lemon(目前已关闭该参数,填false即可) false:不开启 true:开启 备注:此字段废弃。 enable_openTSDB 否 Boolean 是否开启OpenTSDB。 false:不开启 true:开启 备注:此字段只适用HBase1.3.1版本。 instance 是 Instance object 集群的实例对象。 name 是 String CloudTable集群的名称。 storage_size 否 Integer 存储值的大小。 HBase取值范围: 800GB-10TB。 storage_type 是 String 存储类型: ULTRAHIGH:超高IO COMMON:普通IO vpc_id 是 String 集群所在的(虚拟网络私有云)VPC。 datastore 是 Datastore object 创建集群数据库参数。 表5 Instance 参数 是否必选 参数类型 描述 availability_zone 是 String 集群所在可用区的ID。 cu_num 是 Integer CloudTable集群计算单元节点数目,至少为2。 lemon_num 否 Integer CloudTable集群Lemon节点数目。 备注:此字段废弃。 nics 是 Array of Nics objects 集群所在网络信息。 tsd_num 是 Integer CloudTable集群TSD节点数目,至少为2。 备注:此字段废弃。 表6 Nics 参数 是否必选 参数类型 描述 net_id 是 String CloudTable集群所在网络ID。 security_group_id 是 String CloudTable所在安全组对应的ID。 表7 Datastore 参数 是否必选 参数类型 描述 version 是 String controller版本号,默认1.0.6。 type 是 String 集群数据库类型。
  • 查看ClickHouse集群的基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址,用户可以单击,将访问的链接地址复制到剪切板。 集群访问地址端口 集群访问的地址端口: Http端口:8123。 TCP端口:9000。 Https端口:8443。 安全TCP端口:9440。 计费模式 显示集群的计费模式。 按需计费。 包年包月。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 数据库引擎 用于存储、处理和保护数据的核心服务。 通道状态 表示安全通道是否打开。 同时开启安全通道和非安全通道 如果安全通道开启,此按钮不显示,如果安全通道未开启,显示此按钮。 是否开启冷热分离 “否”代表未开启冷热,“是”代表开启冷热分离。 存储资源名称 存储冷热分离数据资源名称“hot_to_cold”。 冷热分存策略 如果节点总存储量超过设置的值,则优先迁移早期数据至冷存储。 冷热存储已使用容量 冷存储数据的存储容量。 客户端使用 ClickHouse组件目前有新旧两种客户端。如果客户使用新的客户端,客户端使用显示“新”;如果客户端使用旧客户端,客户端使用显示“旧”。 表2 网络配置 参数 说明 区域 集群的工作区域,在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 4U32G。 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 Server小规格只包含4U16G、4U32G,生产环境建议选择8U32G及以上规格。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD(不支持扩容) 计算规格 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 默认支持本地SSD盘。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 8U32G。 16U64G。 32U128G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 通用型SSD。 超高IO。 极速SSD。 容量范围为100~1000之间。 节点数量 集群中的节点个数,默认为3。 父主题: 集群管理
  • 绑定企业项目 在 GaussDB (DWS)中,用户可以在创建集群时为集群选择所属的企业项目,从而将GaussDB(DWS)集群与企业项目进行关联,详情请参见创建GaussDB(DWS)存算一体集群。在选择“企业项目”的下拉列表中,将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为集群选择企业项目,将使用缺省项目“default”。 注意,目前企业项目服务仍处于公测期间,仅允许有公测权限的用户设置企业项目,普通用户无法看到企业项目相关信息。 在集群创建过程中,如果集群与企业项目绑定成功,则集群创建成功,如果绑定失败,系统会发送告警,集群就会创建失败。 在为GaussDB(DWS)集群创建快照时,会同时保存集群与企业项目的关联关系,在恢复集群时,也会恢复企业项目的关联关系。 当删除GaussDB(DWS)集群时,GaussDB(DWS)集群与企业项目的关联关系就会被自动删除。
  • 查看企业项目 在集群创建成功后,您可以在集群列表和集群详情页面查看集群关联的企业项目。用户只能查询到有访问权限的项目下的集群资源。 在集群管理页面的集群列表中,查看集群所属的企业项目。 图1 查看企业项目 在集群列表中,找到所需要的集群,然后单击集群名称,进入“集群详情”页面,可以查看与集群关联的企业项目。单击企业项目的名称,可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。 图2 查看集群的企业项目 同时,在企业管理的控制台上,查询指定项目中的资源列表时,也可以查询到GaussDB(DWS)服务的资源。
  • 将集群迁入或迁出企业项目 一个GaussDB(DWS)集群只能关联一个企业项目。当集群创建成功后,可以在企业管理的控制台上,执行迁出操作,将GaussDB(DWS)集群从当前所属的企业项目中迁出到另一个企业项目中;或者执行迁入操作,在指定的企业项目中迁入另一个企业项目中的GaussDB(DWS)集群。迁入迁出后,GaussDB(DWS)集群与新的企业项目进行关联,GaussDB(DWS)集群与原企业项目的关联关系将被自动解除。 迁入的详细操作,请参考《企业管理用户指南》的为企业项目迁入资源。 迁出的详细操作,请参考《企业管理用户指南》的迁出企业项目资源。
  • 背景信息 逻辑集群支持手动添加增删计划和自动弹性增删能力。支持在计划时间段内,动态创建、删除计算逻辑集群,实现计算资源动态伸缩。 通过手动添加定时增删计划创建的逻辑集群主要用于提供计算能力,关联用户后该用户的查询都会切换到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 一个用户仅支持绑定到一个计算逻辑集群上。 若删除逻辑集群时,该逻辑集群关联的用户有业务运行,可能会出现报错。 通过打开自动弹性开关创建的逻辑集群主要用于提供并发扩展能力,关联主逻辑集群后,主逻辑集群的部分查询路由到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 开启并使用并发扩展功能,当系统面临高并发作业,主集群因为内存等资源不足出现排队时,DWS会自动增加额外的集群容量来处理增多的读取和写入语句,减少语句排队时间。不管语句在主集群上运行还是在并发扩展集群上运行,用户都将看到最新的数据,且性能相当。您可以通过配置资源池来管理将哪些语句发送到并发扩展集群。开启并发扩展后,符合条件的语句将发送到并发扩展集群,而不是排队等待。并发扩展功能限制如下: 仅支持V3表和foreign外表。如果为复制表,仅支持SELECT。 仅支持SELECT、INSERT、UPDATE、DELETE语句。 不支持COPY导入。 不支持UPSERT语句。 不支持事务块。 不支持存储过程。 不支持带RETURNING子句和WITH RECURSIVE递归语句。 不支持轻量级更新。 不支持INSERT单个VALUES或者类似generate_series生成的语句。 手动增删计划支持存算分离集群,历史版本需要联系技术支持人员升级使用。 自动弹性增删仅支持存算分离集群和E CS 规格的集群,且仅9.1.0及以上集群版本支持。 存算分离集群包年/包月集群在定时增加逻辑集群时自动扩容节点,节点按需计费。
  • 注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。 本地表的数据库必须为atomic(默认)或ordinary,且表类型为Mergetree家族系列引擎的表(包括非复制表和复制表,不支持物化视图表)。 本地表副本关系和cluster一致,有分布式表作为分片之间的关系。 数据迁移过程中原表默认为只读状态。 数据迁移的时候数据首先会保存在临时表中,执行的时候用迁移的数据表替换原表,该过程中可能读取到错误的数据,切换时间为秒级。 数据迁移过程中可能由于集群问题导致此过程暂停,根据报错集群修复继续执行任务。 数据迁移的时候,源节点和重分布节点必须存在相同表,这样才可以进行数据迁移。 单节点不支持数据迁移。
  • 数据迁移新建任务 登录 表格存储服务 管理控制台。 单击管理控制台左上角的,选择区域。 单击集群管理,选择集群进入集群详情页面。 单击数据迁移进入数据迁移管理页面。 表1 数据迁移参数说明 参数 说明 任务ID/名称 新建迁移任务ID/名称。 逻辑集群 选取的逻辑集群名称。 源节点 数据存放的节点。 重分布节点 数据分布的节点。 状态/进度 数据分布的状态/进度。 状态:初始化、运行中、已完成。 创建时间 创建数据任务的时间。 执行开始时间 启动数据任务的时间。 更新时间 修改数据任务的时间。 操作 启动:启动数据任务。 修改:修改任务信息。 取消:取消迁移任务。 详情:任务详情页面。 删除:删除任务。 单击左上角“新建任务”。 用户自定义任务名称(以字母开头)。 选择逻辑集群。 选择迁移百分比。 选择源节点。 选择重分布节点。 选择迁移的数据表。 选择后单击确定,完成新建任务。 单击操作列“启动”,任务启动。
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • 解决办法 在集群所在VPC对应重点节点策略中,将当前Region的补丁桶放通,以保证 MRS 集群节点可以正常获取补丁文件。 使用具有管理权限的用户登录终端节点控制台。 单击管理控制台左上角的Region信息,选择区域和项目。 在终端节点列表中,单击终端节点ID。 选择进入“策略”页面,单击“编辑”,修改策略信息。 例如只允许VPC1内的服务器下载账号A的桶mybucket中的对象。 其中VPC1的ID为:4dad1f75-0361-4aa4-ac75-1ffdda3a0fec,账号A的账号ID为:783fc6652cf246c096ea836694f71855。 [ { "Action": [ "obs:object:GetObject" ], "Resource": [ "obs:*:783fc6652cf246c096ea836694f71855:object:mybucket/*" ], "Effect": "Allow" } ] 更多VPCEP策略配置说明可参考https://support.huaweicloud.com/usermanual-vpcep/vpcep_03_3002.html。 MRS集群各Region中补丁对应OBS文件桶信息如下: 华东-上海一:mrs-container1-patch-cn-east-3 西南-贵阳一:mrs-container1-patch-cn-southwest-2 华北-北京四:mrs-container1-patch-cn-north-4 华北-北京一:mrs-container1-patch-cn-north-1 华北-北京二:mrs-container1-patch-cn-north-2 华东-上海二:mrs-container1-patch-cn-east-2 华南-广州:mrs-container1-patch-cn-south-1 单击“完成”。
  • 请求示例 测试 CSS 资源连通性,选择id为2f042ad4-6aca-11ed-b7f6-fa163e504fdd的CSS资源,集群管理员为admin,密码为user_pwd。 https://{endpoint}/v1/{project_id}/drug/css-clusters { "css_id" : "2f042ad4-6aca-11ed-b7f6-fa163e504fdd", "user_name" : "admin", "user_pwd" : "user_pwd" }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限, 获取Token 接口响应消息头中X-Subject-Token的值即为Token。 最小长度:1 最大长度:32768 表3 请求Body参数 参数 是否必选 参数类型 描述 css_id 是 String 集群id。 最小长度:1 最大长度:128 user_name 是 String 集群用户账号。 最小长度:4 最大长度:32 user_pwd 是 String 集群用户密码,长度限制为[8,32]。 最小长度:8 最大长度:32
  • 约束和限制 逻辑集群的创建、扩容和缩容必须以环为单位,最少3个物理节点,DN的主备从必须在同一环所包含的物理节点内。 逻辑集群切换期间,如果原物理集群有数据,则会进行锁集群操作。用户可执行增删改查等简单DML语句,但执行操作数据库对象等复杂DDL语句会阻塞业务出现报错,请谨慎操作。 逻辑集群不支持单独备份和恢复。 逻辑集群不支持单独升级。 物理集群转换为逻辑集群模式之后不支持回退到物理集群。 逻辑集群模式下,只能创建逻辑集群,不支持创建普通的NodeGroup,逻辑集群内部也不支持创建子NodeGroup。 逻辑集群的OM操作(创建、删除、编辑、扩容、缩容、重启)不支持并行执行。 由于公共数据库对象(除系统表之外的表、外表和视图)会分布在物理集群所有节点,当某个逻辑集群节点重启后,其他逻辑集群对这些公共数据库对象进行的DDL操作将会中断。 在逻辑集群模式下,由于每个DN只包含所属逻辑集群下的表,而自定义函数要在所有DN上创建,因此创建的函数体中不能使用%type引用表字段类型。 在逻辑集群模式下,WITH RECURSIVE语句不支持下推。 在逻辑集群模式下,只有在相同逻辑集群下支持交换分区,不同逻辑集群下的分区表和普通表不支持交换分区。 在逻辑集群模式下,创建函数时如果函数参数或返回值有表类型,这些表类型必须属于同一个逻辑集群。 在逻辑集群模式下,通过CREATE TABLE ... LIKE方式创建外表时,源表和要创建的外表必须是在同一个逻辑集群中。 在逻辑集群模式下,不支持创建Schema同时创建表语句,即CREATE SCHEMA ... CREATE TABLE语句,用户需要首先创建Schema,再创建表到该Schema下。 逻辑集群不支持一主多备,逻辑集群只在主备从的部署形态下生效。 某个逻辑集群用户不能访问另一个逻辑集群用户创建的全局临时表。
  • 权限说明 在逻辑集群模式下: 逻辑集群创建权限(CREATE ON NODE GROUP)允许授予任何用户/角色,创建权限后可在对应的逻辑集群上进行创建表等相关操作。 如果创建的表指定的schema是某个用户私有schema(即该schema和用户同名且schema的owner是该用户),则新创建的表会将owner自动变更为该用户,不需要进行关联逻辑集群操作。 和逻辑集群关联的用户在创建表时不一定指定to group,如果没有指定to group子句,用户创建的表在用户关联的逻辑集群上;支持变更用户关联的逻辑集群。 如果用户没有关联逻辑集群,该用户创建表时会将表创建到default_storage_nodegroup指定的逻辑集群上;如果default_storage_nodegroup为installation,则将表创建到第一个逻辑集群中。在逻辑集群模式下,将oid最小的逻辑集群设置为第一个逻辑集群。通常用户没有显示设置default_storage_nodegroup的时候,默认值为installation。 存算分离支持创建只读逻辑集群,如果用户关联到只读逻辑集群,只能在只读逻辑集群上创建会话级临时表(本地临时表和volatile临时表,不包括全局临时表);该用户如果创建其他常规表和外表,要遵循没有关联逻辑集群的用户建表规则,即表会创建到default_storage_nodegroup指定的逻辑集群上,如果default_storage_nodegroup是installation,则将表创建到第一个逻辑集群中。 系统管理员可以通过ALTER ROLE命令为每个用户设置默认的default_storage_nodegroup,具体语法参考ALTER ROLE。 建表规则 用户表在没有指定to group时,如果设置了default_storage_nodegroup参数,则会将表创建到指定的逻辑集群中。 如果default_storage_nodegroup参数设置为installation时,则会将表创建到第一个逻辑集群中(即所有逻辑集群中oid最小的一个)。 允许修改表的owner为任何用户,但对表进行操作时,需要检查对应的schema和nodegroup权限。 系统管理员可以关联到特定逻辑集群,并在多个逻辑集群中创建表。 系统管理员如果关联了逻辑集群,那么创建表时如果未指定to group,那么会默认创建到关联的逻辑集群中;如果指定了to group,则可将表创建到指定的逻辑集群中。 系统管理员如果没有关联逻辑集群,没有指定to group,则创建在由default_storage_nodegroup参数指定的逻辑集群中,详情参见建表规则。 允许将系统管理员权限授予关联了逻辑集群的用户,但同样遵循建表规则。 非表对象(schema/sequence/function/trigger等)的访问不再检查逻辑集群权限。 系统中的资源池必须关联到特定逻辑集群。 在一个逻辑集群下可以创建多个资源池,同一个资源池不能属于多个逻辑集群。 由于资源池定义了资源使用量,因此关联特定资源池的逻辑集群用户发起的作业将受到该资源池的资源约束。 逻辑集群下不需要创建负载组来定义并发作业的数量。因此,逻辑集群模式不再支持负载组。 逻辑集群删除时只删除表、外表,资源池对象,其他对象不会删除。 如果有对象依赖逻辑集群下的表(部分依赖表的sequence/function/triggers)同样也会删除。 逻辑集群删除过程会取消用户关联关系,删除已有的父子租户关系,该集群用户将会绑定默认的installation nodegroup,关联全局默认资源池。 逻辑集群用户如果有创建数据库权限也可创建数据库。