云服务器内容精选

  • 步骤 登录 表格存储服务 管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 参考下面表格配置集群的基本信息。 图1 区域 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前Doris支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时,才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项,集群到期后会自动续费,不勾选集群到期需要手动续费。 图2 集群和网络配置 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~32个字符。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 说明: 创建集群不支持子网IP与VPC IP相同,如果相同,请重新选择子网。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则,这些规则可以限定弹性云服务器的哪些端口或者协议可以访问,这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后,即受到这些访问规则的保护。不属于该安全组的弹性云服务器,是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组,或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息,请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 Doris内核版本 组件引擎版本。 CloudTable Doris集群规格说明:FE节点至少为3个,从而保证高可用。 切换内核版本时,需要重新选择规格,避免创建集群出现问题。 图3 FE节点配置 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情,请参见 表格存储 服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或5个。 图4 BE节点配置 表4 BE节点 云存储 配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G(此规格建议仅用于功能体验,生产环境建议使用8U及以上)。 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情,请参见表格存储服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 FE的小规格4U16G、高IO、容量200G、节点3个,免费赠送,用于客户体验。 小规格支持包周期和按需计费。 购买FE小规格后,不支持水平和磁盘扩容,支持规格扩容。 集群规格扩容后,不再赠送,按照扩容后的规格收费。 冷热分离正常收费。 表5 BE节点本地SSD盘配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 磁盘:支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 BE节点本地SSD盘不支持水平扩容、磁盘扩容与规格变更。 FE节点不支持本地SSD盘。 图5 密码设置 表6 用户名密码参数 参数 参数说明 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 用户名 Doris管理用户,用于连接Doris集群,默认为admin,不可修改。 密码 设置admin用户密码。 密码复杂度要求如下: 8~12个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符(¥@¥!%*?&)。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明: 请妥善保管并定期更新密码,避免安全风险。 确认密码 设置admin用户密码。 是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景, 仅支持创建时开启。 是否开启https 是否开启https访问通道加密,https协议端口为8050。 说明: 开启https时连接集群只能使用MySQL8及以上客户端,连接端口为9030,使用方法请参见连接客户端。 创建集群开启https选项,后续无法关闭。 创建集群未开启https选项,后续无法开启。 是否开启接口认证 开启后,集群内rest接口需要添加账号密码认证,但同时会略微降低集群性能。 说明: 开启https选项后,显示此字段。 此功能只在Doris2.0.5及以上版本显示。 开启该选项后,再使用Doris集群内的rest接口,如:修改参数、获取集群监控数据等接口需要添加账号密码认证。 是否开启冷热分离 打开开关,集群支持冷热分离特性,将数据分类存储在不同介质上,有效降低存储成本。关闭开关,集群不支持冷热分离特性。 配置好参数,单击“立即购买”。 进“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务。 单击“返回集群管理列表”,可以查看到集群创建的状态。 集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月,单击提交,成功提交集群创建任务。 单击“去支付”,跳转到购买页面,确认信息后,选择合适的支付方式,确认付款。 返回控制台,查看集群状态,集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。
  • 步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 参考下面表格配置集群的基本信息。 图1 区域图 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前ClickHouse支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时,才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项,集群到期后会自动续费,不勾选集群到期需要手动续费。 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~32个字符。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 说明: 创建集群不支持子网IP与VPC IP相同,如果相同,请重新选择子网。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则,这些规则可以限定弹性云服务器的哪些端口或者协议可以访问,这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后,即受到这些访问规则的保护。不属于该安全组的弹性云服务器,是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组,或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息,请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 Clickhouse内核版本 默认即可。 集群高可用 开启集群高可用:在单个节点(分片)提供2个副本,默认3个Zookeeper节点。 关闭集群高可用:提供单节点clickhouse,仅用于测试,单节点clickhouse提供一个副本、一个分片,不支持水平扩容,该模式不可用于生产环境。 说明: 单节点不支持扩容,不支持数据迁移。 单节点用户非生产环境。 单节点用户需要建立非Replicate表。 建表示例: CREATE TABLE test_p (`EventDate` DateTime,`CounterID` UInt32,`UserID` UInt32,`ver` UInt16)ENGINE = ReplacingMergeTree()PARTITION BY sipHash64(CounterID) ORDER BY (CounterID, EventDate, intHash32(UserID))SAMPLE BY intHash32(UserID)SETTINGS index_granularity = 8192; 图2 计算节点配置 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 4U32G。 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 Server小规格只包含4U16G、4U32G,生产环境建议选择8U32G及以上规格。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD(不支持扩容) 计算规格 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 默认支持本地SSD盘。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 图3 ZooKeeper节点 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U8G(此规格不能用于生产环境)。 4U16G。 8U32G。 16U64G。 32U128G。 ZooKeeper规格只包含4U16G、4U32G,生产环境建议选择8U32G及以上规格。 存储规格 默认超高IO数据盘,容量100GB/节点。 节点数量 集群中的节点数量,默认为3。 表5 用户名密码参数 参数 参数说明 用户名 管理用户,用于连接集群,默认为admin,不可修改。 密码 设置admin用户密码。 密码复杂度要求如下: 8~16个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符(¥@¥!%*?&)。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明: 请妥善保管并定期更新密码,避免安全风险。 确认密码 设置admin用户密码。 是否开启通道加密 是否开访问通道加密,https协议端口为8443。 创建集群开启通道加密选项,后续无法关闭。 创建集群未开启通道加密选项,后续无法开启。 是否开启冷热分离 打开开关,集群支持冷热分离特性,将数据分类存储在不同介质上,有效降低存储成本。关闭开关,集群不支持冷热分离特性。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。详细步骤请参见企业管理用户指南。 配置好参数,单击“立即购买”。 进“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务。 单击“返回集群管理列表”,可以查看到集群创建的状态。 集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月,单击提交,成功提交集群创建任务。 单击“去支付”,跳转到购买页面,确认信息后,选择合适的支付方式,确认付款。 返回控制台,查看集群状态,集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。
  • 查看HBase集群基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 集群基本信息参数说明如表1和表2所示。 表1 集群信息 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 已使用存储容量(GB) 显示已经使用的存储容量。 RS单元数量 显示RegionServer单元的个数。 存储配额(GB) 显示集群的存储容量大小。 计费模式 显示集群的计费模式。 集群版本 集群内核版本。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 ZK链接地址(内网) Zookeeper地址。 用户可以单击,将ZK链接地址复制到剪切板。 热存储已使用容量 集群开启冷热分离高级特性,热数据的存储容量。 冷存储已使用容量 集群开启冷热分离高级特性,冷数据的存储容量。 是否开启安全通道 如果界面显示“否”,表示未开启安全通道;如果界面显示“是”,表示开启安全通道。 是否开启Thrift Server 如果界面显示“否”,表示未开启Thrift Server;如果界面显示“是”,表示开启Thrift Server,并且显示Thrift Server的IP地址。 是否开启用户认证 如果界面显示“否”,表示未开启用户认证;如果界面显示“是”,表示开启用户认证。 数据库引擎 HBase。 进入只读模式阈值 当集群存储达到某一阈值后,如果继续向存储写入数据,存储会写满,可能会导致性能以及其他功能问题。因此需要给集群设置阈值,当达到设置的阈值后,集群进入只读模式,并发出告警提示用户及时处理集群状态。阀值默认值是85%,取值范围70到90之间。 是否为只读模式 “是”代表阀值达到设置的值;“否”代表阀值未达到设置的值。 表2 网络配置 参数 参数说明 区域 集群的工作区域,在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 Master节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 8U16G。 8U32G。 16U32G。 16U64G。 32U64G。 存储规格 默认超高IO。 节点数量 默认2个master节点。 表4 Core节点配置 参数 参数说明 计算节点 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 8U16G。 8U32G。 16U32G。 16U64G。 32U64G。 存储规格 选择HBase计算节点的磁盘规格、容量。 说明: 支持的存储规格: 普通IO。 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~30000GB/节点。 节点数量 选择集群中的节点个数,节点范围2~20。 父主题: 管理集群
  • ClickHouse监控指标 表1 ClickHouse 指标名称 显示名 含义 指标最小单位 监控周期 cpu_usage CPU使用率 每个节点的CPU使用率。 % 60 memory_usage 内存使用量 每个节点的内存使用量。 Byte 60 memory_usage_ratio 内存使用率 每个节点的内存使用率。 % 60 disk_usage 磁盘使用量 每个节点的磁盘使用量。 Byte 60 disk_usage_ratio 磁盘使用率 每个节点的磁盘使用率。 % 60 network_throughput_inbound_rate 网络吞吐流入速率 每个节点每秒的网络流入数据量。 Byte/s 60 network_throughput_outgoing_rate 网络吞吐流出速率 每个节点每秒的网络流出数据量。 Byte/s 60 clickhouse_process_survival ClickHouse进程存活 clickhouse进程心跳检查。 - 60 number_of_mutations Mutation个数 每个节点正在运行的修改任务数。 Count 60 number_of_run_merges 运行Merge个数 正在运行的合并任务个数。 Count 60 number_of_merges_thread Merge中线程个数 正在合并中的线程数量。 Count 60 number_of_zookeeper_requests ZK请求数 当前时间节点请求ZK的请求数。 Count 60 number_of_zk_session ZK的session个数 当前时间节点连接ZK的session个数。 Count 60 number_of_zookeeper_watches ZK watch个数 当前时间节点连接ZK watch个数。 Count 60 number_of_zookeeper_nodes Zookeeper中节点数 Zookeeper中创建临时的节点数。 Count 60 number_of_parts part数量 part数量。 Count 60 clickhouse_zookeeper_disconnection zookeeper连接状态 zookeeper连接状态。 - 60 number_of_threads_holding_read_locks 持有读锁的线程数 持有读锁的线程数。 Count 60 number_of_threads_waiting_to_be_read 等待读的线程数 等待读的线程数。 Count 60 number_of_threads_waiting_to_be_written 等待写的线程数 等待写的线程数。 Count 60 number_of_threads_holding_write_locks 持有写锁的线程数 持有写锁的线程数。 Count 60 number_of_active_tasks_background_processing_pool 后台处理池中活跃任务数 后台处理池中活跃任务数。 Count 60 maximum_number_of_active_blocks 最大活跃分块数 clickhouse实例最大的活跃分块个数。 Count 60 number_of_consistency_checkdata_blocks 一致性校验数据分块数 clickhouse实例一致性校验数据分块个数。 Count 60 extracting_the_number_of_data_chunks_from_the_replica 正在从副本中提取数据分块数 clickhouse实例正在从副本中提取的数据分块个数。 Count 60 number_of_data_chunks_being_sent_to_the_replica 正在发送到副本的数据分块数 clickhouse实例正在发送到副本的数据分块个数。 Count 60 number_of_readonly_replicas 只读副本个数 此指标反映了clickhouse实例中只读副本数。 Count 60 number_of_inserted_into_all_tables 插入行数 clickhouse实例中所有表插入行数。 Count 60 number_of_open_read_files 读文件打开数 clickhouse实例上的读文件打开数。 Count 60 number_of_open_write_files 写文件打开数 clickhouse实例上的写文件打开数。 Count 60 total_file_opens 文件打开总数 clickhouse实例上的文件打开数。 Count 60 number_of_read_file_descriptors 文件描述符读个数 文件描述符读个数。 Count 60 number_of_written_file_descriptors 文件描述符写个数 文件描述符写个数。 Count 60 instance_process_running_duration 实例进程运行时长 clickhouse实例进程运行时长。 s 60 number_of_threads_running_in_global_thread_pool 全局线程池中运行任务的线程数 clickhouse实例上的全局线程池中运行任务的线程数。 Count 60 number_of_threads_in_global_thread_pool 全局线程池中线程数 clickhouse实例上的全局线程池中线程数。 Count 60 number_of_threads_in_local_thread_pool 本地线程池中的线程数 clickhouse实例上的本地线程池中的线程数。 Count 60 number_of_threads_waiting_locked Context中等待加锁的线程数 clickhouse实例上的context中等待加锁的线程数。 Count 60 number_of_threads_running_in_local_thread_pool 本地线程池中运行任务的线程数 clickhouse实例上的本地线程池中运行任务的线程数。 Count 60 number_of_tcp_connections TCP连接数 TCP协议连接个数。 Count 60 number_of_http_connections HTTP连接数 HTTP协议连接个数。 Count 60 number_of_databases 数据库数量 每个节点数据库数量。 Count 60 number_of_tables 表数量 每个节点本地表数量。 Count 60 write_size_per_second 每秒写入大小 每个节点单位时间写入的数据量。 Byte 60 number_of_running_queries 运行Query个数 每个节点正在运行的查询个数。 Count 60 number_of_query_threads Query线程数 每个节点正在运行的查询线程数。 Count 60 number_of_distributed_ddls 分布式DDL个数 分布式DDL语句的个数。 Count 60 number_of_distributed_table_files 分布式表文件个数 向分布式表写数据时待插入数据的文件个数。 Count 60 number_of_concurrency ClickHouse各节点并发度 当前ClickHouse各节点的并发度。 Count 60 zookeeper_quota_percentage ZooKeeper数量配额百分比 ClickHouse服务在ZooKeeper上目录的数量配额使用百分比。 % 60 zookeeper_process_is_alive zookeeper进程存活 zookeeper心跳检查,1表示正常,0表示异常。 - 60 number_of_global_sessions 全局session个数 当前全局的session个数。 Count 60 number_of_rejected_connections 拒绝连接个数 zookeeper拒绝连接的个数。 Count 60 number_of_request_submission_queues 请求提交队列个数 请求提交队列个数。 Count 60 waiting_time_of_the_preprocessing_queue 预处理队列等待时间 预处理队列等待时间。 s 60 number_of_zk_watches ZK_watch个数 当前时间ZK_watch个数。 Count 60 zk_heapmemory_usage ZooKeeper使用的堆内存大小 ZooKeeper使用的堆内存大小。 Byte 60 zk_directmemory_usage ZooKeeper使用的直接内存 ZooKeeper使用的直接内存。 Byte 60 zk_heapmemory_usage_ratio ZooKeeper堆内存使用率 ZooKeeper堆内存使用百分比统计。 % 60 zk_directmemory_usage_ratio ZooKeeper直接内存使用率 ZooKeeper直接内存使用百分比统计。 % 60 cluster_number_of_sent_packets zookeeper发包个数 zookeeper节点发送的packet个数。 Count 60 cluster_number_of_received_packets zookeeper收包个数 zookeeper节点接收的packet个数。 Count 60 cluster_preprocessing_time 预处理时间 单位时间内预处理时间。 s 60 rows_written_per_second 每秒写入行数 每个节点单位时间写入的行数。 Count 60 number_of_failed_queries 失败Query个数 失败的query语句个数。 Count 60 number_of_failed_insert_queries 失败Insert Query个数 失败的插入语句个数。 Count 60 number_of_failed_select_query_messages 失败Select Query个数 失败的select语句个数。 Count 60 number_of_delayed_inserts delayed inserts个数 每个节点延迟插入个数。 Count 60 number_of_rows 字段数量 每个节点mergetree引擎字段数量。 Count 60 disk_throughput_read_rate 磁盘吞吐读速率 磁盘读取吞吐速率。 Byte 60 disk_throughput_write_rate 磁盘吞吐写速率 磁盘写入吞吐速率。 Byte 60 cmdForUsedStorageRate 已用存储空间比率 统计测量对象所在集群的已用存储空间大小占总配额的比率。 % 60
  • 注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。 本地表的数据库必须为atomic(默认)或ordinary,且表类型为Mergetree家族系列引擎的表(包括非复制表和复制表,不支持物化视图表)。 本地表副本关系和cluster一致,有分布式表作为分片之间的关系。 数据迁移过程中原表默认为只读状态。 数据迁移的时候数据首先会保存在临时表中,执行的时候用迁移的数据表替换原表,该过程中可能读取到错误的数据,切换时间为秒级。 数据迁移过程中可能由于集群问题导致此过程暂停,根据报错集群修复继续执行任务。 数据迁移的时候,源节点和重分布节点必须存在相同表,这样才可以进行数据迁移。 单节点不支持数据迁移。
  • 数据迁移新建任务 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击集群管理,选择集群进入集群详情页面。 单击数据迁移进入数据迁移管理页面。 表1 数据迁移参数说明 参数 说明 任务ID/名称 新建迁移任务ID/名称。 逻辑集群 选取的逻辑集群名称。 源节点 数据存放的节点。 重分布节点 数据分布的节点。 状态/进度 数据分布的状态/进度。 状态:初始化、运行中、已完成。 创建时间 创建数据任务的时间。 执行开始时间 启动数据任务的时间。 更新时间 修改数据任务的时间。 操作 启动:启动数据任务。 修改:修改任务信息。 取消:取消迁移任务。 详情:任务详情页面。 删除:删除任务。 单击左上角“新建任务”。 用户自定义任务名称(以字母开头)。 选择逻辑集群。 选择迁移百分比。 选择源节点。 选择重分布节点。 选择迁移的数据表。 选择后单击确定,完成新建任务。 单击操作列“启动”,任务启动。
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • 开启冷热分离步骤 登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击左侧“集群管理”,进入集群管理界面。 单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择Doris数据库引擎并勾选是否开启冷热分离按钮,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建Doris集群。 如果在创建集群的时候未开启冷热分离特性,可在集群详请页面或者集群列表的操作列开启冷热分离。 注意使用Doris集群不要长时间处于高负载(高CPU、高内存、高磁盘使用率等)状态,否则影响冷热分离的速率。如果业务需要可进行集群扩容,请参见扩容集群。
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • 注意事项 当集群状态处于“服务中”,且没有任何任务操作(如:规格变更、节点扩容)时,可以执行扩容操作。 请确定计划扩容的计算单元数小于等于用户计算单元的剩余配额,否则系统会提示无法进行扩容操作。 节点扩容过程中,不会自动重启集群,保证业务不中断,平滑扩容。纵向扩容过程中,集群会停止运行,直到参数设置完后才会重启集群的各个节点。 如果扩容失败,“任务状态”将显示为“单元扩容失败”,集群会自动回滚到扩容前的状态。用户可以再次重试扩容操作。
  • 前提条件 当集群状态处于“服务中”,且没有任何任务操作(如:水平扩容、磁盘扩容等)时,可以执行变更操作。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(计算节点、ZooKeeper节点),且变更完成后只生效所选类型的节点规格。 规格变更过程中,整个集群不可用,变更结束前不能再次变更。 规格变更过程中系统不可用。
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • CloudTable权限 默认情况下,管理员创建的 IAM 用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 CloudTable部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问CloudTable时,需要先切换至授权区域。 如表1所示,包括了CloudTable的所有系统角色。由于云各服务之间存在业务交互关系,表格存储服务的角色依赖其他服务的角色实现功能。因此给用户授予表格存储服务的角色时,需要同时授予依赖的角色,表格存储服务的权限才能生效。 表1 CloudTable系统角色 系统角色 描述 类别 依赖关系 cloudtable Administrator 表格存储服务的管理员权限。 系统角色 依赖Tenant Guest和Server Administrator角色,在同项目中勾选依赖的角色。 表2列出了CloudTable常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 CloudTable操作与系统策略关系 模式 操作 cloudtable Administrator 集群模式 创建集群 √ 重启集群 √ 扩容集群 √ 删除集群 √ 参数配置 √ 查看CloudTable服务集群列表、集群详细信息 √ 查看监控信息 √ 查看审计日志 √
  • 数据类型表 表1 数据类型表 分类 关键字 数据类型 描述 整数类型 Int8 Int8 取值范围:【-128,127】 Int16 Int16 取值范围:【-32768,32767】 Int32 Int32 取值范围:【-2147483648,2147483647】 Int64 Int64 取值范围:【-9223372036854775808,9223372036854775807】 浮点类型 Float32 单精度浮点数 同C语言Float类型,单精度浮点数在机内占4个字节,用32位二进制描述。 Float64 双精度浮点数 同C语言Double类型,双精度浮点数在机内占8个字节,用64位二进制描述。 Decimal类型 Decimal Decimal 有符号的定点数,可在加、减和乘法运算过程中保持精度。支持几种写法: Decimal(P, S) Decimal32(S) Decimal64(S) Decimal128(S) 说明: P:精度,有效范围:[1:38],决定可以有多少个十进制数字(包括分数)。 S:规模,有效范围:[0:P],决定数字的小数部分中包含的小数位数。 字符串类型 String 字符串 字符串可以是任意长度的。它可以包含任意的字节集,包含空字节。因此,字符串类型可以代替其他DBMSs中的VARCHAR、BLOB、CLOB等类型。 FixedString 固定字符串 当数据的长度恰好为N个字节时,FixedString类型是高效的。 在其他情况下,这可能会降低效率。可以有效存储在FixedString类型的列中的值的示例: 二进制表示的IP地址(IPv6使用FixedString(16)) 语言代码(ru_RU, en_US … ) 货币代码(USD, RUB … ) 二进制表示的哈希值(MD5使用FixedString(16),SHA256使用FixedString(32)) 时间日期类型 Date 日期 用两个字节存储,表示从1970-01-01(无符号)到当前的日期值。日期中没有存储时区信息。 DateTime 时间戳 用四个字节(无符号的)存储Unix时间戳。允许存储与日期类型相同的范围内的值。最小值为1970-01-01 00:00:00。时间戳类型值精确到秒(没有闰秒)。时区使用启动客户端或服务器时的系统时区。 DateTime64 DateTime64 此类型允许以日期(date)加时间(time)的形式来存储一个时刻的时间值。 布尔型 Boolean Boolean ClickHouse没有单独的类型来存储布尔值。可以使用UInt8 类型,取值限制为0或1。 数组类型 Array Array Array(T),由T类型元素组成的数组。T可以是任意类型,包含数组类型。但不推荐使用多维数组,ClickHouse对多维数组的支持有限。例如,不能在MergeTree表中存储多维数组。 元组类型 Tuple Tuple Tuple(T1, T2, ...),元组,其中每个元素都有单独的类型,不能在表中存储元组(除了内存表)。它们可以用于临时列分组。在查询中,IN表达式和带特定参数的lambda函数可以来对临时列进行分组。 Domains数据类型 Domains Domains Domains类型是特定实现的类型: IPv4是与UInt32类型保持二进制兼容的Domains类型,用于存储IPv4地址的值。它提供了更为紧凑的二进制存储的同时支持识别可读性更加友好的输入输出格式。 IPv6是与FixedString(16)类型保持二进制兼容的Domain类型,用于存储IPv6地址的值。它提供了更为紧凑的二进制存储的同时支持识别可读性更加友好的输入输出格式。 枚举类型 Enum8 Enum8 取值范围:【-128,127】 Enum保存 'string'= integer的对应关系,例如:Enum8('hello' = 1, 'world' = 2) Enum16 Enum16 取值范围:【-32768,32767】 可为空 Nullable Nullable 除非在ClickHouse服务器配置中另有说明,否则NULL是任何Nullable类型的默认值。Nullable类型字段不能包含在表索引中。 可以与TypeName的正常值存放一起。例如,Nullable(Int8) 类型的列可以存储Int8类型值,而没有值的行将存储NULL。 嵌套类型 nested nested 嵌套的数据结构就像单元格内的表格。嵌套数据结构的参数(列名和类型)的指定方式与CREATE TABLE查询中的指定方式相同。每个表行都可以对应于嵌套数据结构中的任意数量的行。 示例:Nested(Name1 Type1, Name2 Type2, …)
  • 支持的关键操作审计日志 CloudTable使用 云审计 服务,可以记录与CloudTable服务相关的操作事件,便于日后的查询、审计和回溯。 CloudTable的以下关键操作事件将记录审计日志,详细内容如表1所示。 表1 云审计服务支持的CloudTable操作事件列表 操作名称 事件名称 资源类型 创建集群 createCloudTableClusterV3 cluster 节点扩容 growCloudTableCluster cluster 重启集群 rebootCloudTableCluster cluster 设置存储配额 storageClusterAction cluster 特性开关 modifyClusterFeatures cluster 参数配置 modifyClusterSetting cluster Doris绑定角色到用户 addAccountRole cluster Doris/Clickhouse添加UDF addUDFPackage cluster Doris绑定用户到租户 bindAccountWithTenant cluster 修改HBase存储阈值大小 changeHbaseDiskUsedQuota cluster 创建数据迁移任务 copierCreateTask cluster 枚举数据库信息 copierListDatabaseInfo cluster 枚举集群节点信息 copierListNodeInfo cluster 数据迁移任务详情 copierTaskDetaile cluster Doris创建catalog createCatalogV3 cluster Doris、ClickHouse创建用户 createCloudTableAccount cluster 创建角色 createRole cluster 创建租户 createTenante cluster Doris创建catalog测试 createTestCatalogV3 cluster Doris删除Catalog连接 deleteCatalogV3 cluster 删除集群 deleteCloudTableClusterV2 cluster 删除角色 deleteRole cluster Doris/Clickhouse删除UDF deleteUDFPackage cluster 关闭集群日志 disableLTSAccess cluster 打开集群日志 enableLTSAccessc cluster Doris获取Catalogs getCatalogs cluster 获取集群信息 getClusterInfo cluster 获取数据库信息 getDatabases cluster 获取角色信息 getRoles cluster 获取表信息 getTables cluster 磁盘扩容 growCloudTableDisk cluster 规格扩容 growCloudTableFlavor cluster HBase修改配置参数 modifyClusterSetting cluster 修改Doris配置参数 modifyClusterSettingV3 cluster Doris修改角色权限 modifyRolePermission cluster 重启集群 rebootCloudTableClusterV2 cluster 重启节点 restartInstance cluster 更新集群标签 updateExtTagsOnCluster cluster Doris修改租户 updateTenant cluster Doris/Clickhouse更新UDF updateUDFPackage cluster 重启 REBOOTING cluster 扩容 GROWING cluster 删除 DELETING cluster 关闭安全认证 switchHBaseAuthentication cluster 开启或关闭HBase thrift server switchThriftServer cluster 包周期集群扩容、规格变更 changeCloudTableCluster cluster ClickHouse同时开启安全和非安全通道 enableBothSslAndNone cluster 开启冷热分离 switchHotColdFeature cluster 创建租户 createTenant cluster Doris删除租户 deleteTenant cluster 查杀sql killQueryBySqlId cluster Doris、ClickHouse删除用户 deleteCloudTableAccount cluster Doris、ClickHouse更新用户 updateCloudTableAccount cluster 父主题: 审计日志