步骤 登录 表格存储服务 管理控制台。 单击管理控制台左上角的，选择区域。 单击右上角的购买集群按钮，进入“购买集群”页面。 参考下面表格配置集群的基本信息。 图1 区域图 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息，请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前ClickHouse支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时，才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项，集群到期后会自动续费，不勾选集群到期需要手动续费。 图2 集群网络配置 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 必须以字母开头，由字母、数字、中划线组成，不能包含其他的特殊字符，并且长度为4～32个字符。 虚拟私有云 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离，并独享所有网络资源，以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制，加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则，这些规则可以限定弹性云服务器的哪些端口或者协议可以访问，这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后，即受到这些访问规则的保护。不属于该安全组的弹性云服务器，是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组，或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息，请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 Clickhouse内核版本 默认即可。 集群高可用 开启集群高可用：在单个节点（分片）提供2个副本，默认3个Zookeeper节点。 关闭集群高可用：提供单节点clickhouse，仅用于测试，单节点clickhouse提供一个副本、一个分片，不支持水平扩容，该模式不可用于生产环境。 说明： 单节点不支持扩容，不支持数据迁移。 单节点用户非生产环境。 单节点用户需要建立非Replicate表。 建表示例： CREATE TABLE test_p (`EventDate` DateTime,`CounterID` UInt32,`UserID` UInt32,`ver` UInt16)ENGINE = ReplacingMergeTree()PARTITION BY sipHash64(CounterID) ORDER BY (CounterID, EventDate, intHash32(UserID))SAMPLE BY intHash32(UserID)SETTINGS index_granularity = 8192; 图3 计算节点配置 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G。 4U32G。 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点：选择集群中的节点个数，支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD（不支持扩容） 计算规格 8U32G（本地盘容量：1.6T）。 8U64G（本地盘容量：1.6T）。 16U64G（本地盘容量：3.2T）。 16U128G（本地盘容量：3.2T）。 32U128G（本地盘容量：6.4T）。 64U256G（本地盘容量：6.4T）。 存储规格 默认支持本地SSD盘。 节点数量 多节点：选择集群中的节点个数，支持的节点范围为2~20之间。 单节点个数默认为1。 图4 ZooKeeper节点 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U8G（此规格不能用于生产环境）。 4U16G。 8U32G。 16U64G。 32U128G。 存储规格 默认超高IO数据盘，容量100GB/节点。 节点数量 集群中的节点数量，默认为3。 企业项目 企业项目管理帮助您将相关的资源（如具有相同使用用途的资源）集中在一起，按企业项目的方式来管理云资源。 说明： 当企业业务发生变化，原用户不再拥有企业项目的使用权限时，可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后，该用户将无法管理该企业项目，如需再次使用，需要重新给该用户关联企业项目。详细步骤请参见企业管理用户指南。 图5 设置密码 配置好参数，单击“立即购买”。 进“规格详情”页面，确认集群规格订单信息，单击“提交”，成功提交集群创建任务。 单击“返回集群管理列表”，可以查看到集群创建的状态。 集群创建需要时间，请您耐心等待。所创集群的初始状态为“创建中”，创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月，单击提交，成功提交集群创建任务。 单击“去支付”，跳转到购买页面，确认信息后，选择合适的支付方式，确认付款。 返回控制台，查看集群状态，集群创建需要时间，请您耐心等待。所创集群的初始状态为“创建中”，创建成功后状态更新为“服务中”。

Kerberos介绍 Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时， MRS 支持配置是否启用Kerberos认证。 在安全模式下MRS集群统一使用Kerberos认证协议进行安全认证。 功能 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 使用前提 需要Kerberos客户端、keytab路径、Kerberos认证用户名称、客户端配置krb5.conf文件。 原理结构图 Kerberos原理架构图如下图所示，详细介绍请参见MRS服务的安全认证原理以及认证机制章节。 图1 原理架构图 表1 参数说明 参数 说明 Application Client 应用客户端，通常是需要提交任务（或者作业）的应用程序。 Application Server 应用服务端，通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。

背景 许多客户的Hive表数据在OBS或HDFS上，需要Doris对接Hive外表，且Hive集群分为安全集群与非安全集群，所以可以使用以下4种方式进行数据查询： 使用catalog连接非安全认证hive on hdfs。 使用catalog连接kerberos安全认证hive on hdfs。 使用catalog连接非安全认证hive on obs。 使用catalog连接kerberos安全认证hive on obs。

支持的关键操作审计日志 CloudTable使用 云审计 服务，可以记录与CloudTable服务相关的操作事件，便于日后的查询、审计和回溯。 CloudTable的以下关键操作事件将记录审计日志，详细内容如表1所示。 表1 云审计服务支持的CloudTable操作事件列表 操作名称 事件名称 资源类型 创建集群 createCluster cluster 删除集群 deleteCloudTableCluster cluster 扩容集群 growCloudTableCluster cluster 重启集群 rebootCloudTableCluster cluster 设置存储配额 storageClusterAction cluster 特性开关 modifyClusterFeatures cluster 参数配置 modifyClusterSetting cluster

创建MRS Hive连接步骤 通过访问以下地址登录 表格存储 服务管理控制台：https://console.huaweicloud.com/cloudtable。 用户在CloudTable集群管理界面，选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”，弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型：非安全认证hive on OBS，认证类型选择SIMPLE，OBS按钮开启状态。 图1 新建连接 表1 参数说明 参数 描述 名称 根据连接的数据源类型，用户可以自定义连接名。 说明： 必须以字母开头，由字母、数字、中划线组成，不能包含其他的特殊字符，并且长度为4～64个字符。 连接器 Doris支持的外部数据目录组件，目前支持可选：Hive。 Hadoop类型 Doris支持hadoop组件，目前支持的可选：MRS。 集群名称 MRS集群名称。 说明： Doris只能对接一个kerberos集群中的一个用户。 Manager IP MRS Manager的浮动IP地址，选择连接的集群后，ip地址会自动填充。 认证类型 MRS集群鉴权类型，安全集群可选“KERBEROS”，非安全集群可选“SIMPLE”。选择连接的集群后，安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本，HIVE支持3版本，可选：3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮，则支持OBS。关闭按钮则不支持OBS。 配置好参数后，单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后，单击确定按钮，连接设置页面会出现一条新的连接记录。

查看权限 登录表格存储服务管理控制台。 单击管理控制台左上角的，选择区域。 单击左侧集群管理，显示当前集群列表，选择需要操作的集群，进入用户管理页面。 单击操作列“查看权限”，弹出用户权限页面。 表2 查看权限 参数 说明 用户名 新建的用户名。 全局权限 查询、插入、更改、创建、删除。 各级权限 数据库和表：创建的数据库和表。 高危权限：创建表、删除表。 普通权限：查询、插入、更改。 支持查看账户对数据库的操作权限。

创建MRS Hive连接步骤 通过访问以下地址登录表格存储服务管理控制台：https://console.huaweicloud.com/cloudtable。 用户在CloudTable集群管理界面，选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”，弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型：非安全认证hive on hdfs，认证类型选择SIMPLE，OBS按钮关闭状态。 图1 新建连接页面 表1 参数说明 参数 描述 名称 根据连接的数据源类型，用户可以自定义连接名。 说明： 必须以字母开头，由字母、数字、中划线组成，不能包含其他的特殊字符，并且长度为4～64个字符。 连接器 Doris支持的外部数据目录组件，目前支持可选：Hive。 Hadoop类型 Doris支持hadoop组件，目前支持的可选：MRS。 集群名称 MRS集群名称。 说明： Doris只能对接一个kerberos集群中的一个用户。 Manager IP MRS Manager的浮动IP地址，选择连接的集群后，ip地址会自动填充。 认证类型 MRS集群鉴权类型，安全集群可选“KERBEROS”，非安全集群可选“SIMPLE”。选择连接的集群后，安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本，HIVE支持3版本，可选：3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮，则支持OBS。关闭按钮则不支持OBS。 配置好参数后，单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后，单击确定按钮，连接设置页面会出现一条新的连接记录。

步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的，选择区域。 单击右上角的购买集群按钮，进入“购买集群”页面。 参考下面表格配置集群的基本信息。 图1 区域 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息，请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前Doris支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时，才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项，集群到期后会自动续费，不勾选集群到期需要手动续费。 图2 集群和网络配置 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 必须以字母开头，由字母、数字、中划线组成，不能包含其他的特殊字符，并且长度为4～32个字符。 虚拟私有云 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离，并独享所有网络资源，以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制，加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则，这些规则可以限定弹性云服务器的哪些端口或者协议可以访问，这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后，即受到这些访问规则的保护。不属于该安全组的弹性云服务器，是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组，或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息，请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 Doris内核版本 组件引擎版本。 CloudTable Doris集群规格说明：FE节点至少为3个，从而保证高可用。 切换内核版本时，需要重新选择规格，避免创建集群出现问题。 图3 FE节点配置 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情，请参见表格存储服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明： 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或5个。 图4 BE节点配置 表4 BE节点云存储配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情，请参见表格存储服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明： 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 表5 BE节点本地SSD盘配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U32G（本地盘容量：1.6T）。 8U64G（本地盘容量：1.6T）。 16U64G（本地盘容量：3.2T）。 16U128G（本地盘容量：3.2T）。 32U128G（本地盘容量：6.4T）。 64U256G（本地盘容量：6.4T）。 存储规格 磁盘：支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 BE节点本地SSD盘不支持水平扩容、磁盘扩容与规格变更。 FE节点不支持本地SSD盘。 图5 密码设置 表6 用户名密码参数 参数 参数说明 企业项目 企业项目管理帮助您将相关的资源（如具有相同使用用途的资源）集中在一起，按企业项目的方式来管理云资源。 说明： 当企业业务发生变化，原用户不再拥有企业项目的使用权限时，可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后，该用户将无法管理该企业项目，如需再次使用，需要重新给该用户关联企业项目。 用户名 Doris管理用户，用于连接Doris集群，默认为admin，不可修改。 密码 设置admin用户密码。 密码复杂度要求如下： 8~12个字符。 至少包含以下字符中的4种：大写字母，小写字母、数字、特殊字符（￥@￥！%*？&）。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明： 请妥善保管并定期更新密码，避免安全风险。 确认密码 设置admin用户密码。 是否开启Broker进程 是否打开Broker进程，用于给客户做数据导入场景， 仅支持创建时开启。 是否开启https 是否开启https访问通道加密，https协议端口为8050。 说明： 开启https时连接集群只能使用MySQL8及以上客户端，连接端口为9030，使用方法请参见连接客户端。 创建集群开启https选项，后续无法关闭。 创建集群未开启https选项，后续无法开启。 是否开启接口认证 开启后，集群内rest接口需要添加账号密码认证，但同时会略微降低集群性能。 说明： 开启https选项后，显示此字段。 此功能只在Doris2.0.5及以上版本显示。 开启该选项后，再使用Doris集群内的rest接口，如：修改参数、获取集群监控数据等接口需要添加账号密码认证。 是否开启冷热分离 打开开关，集群支持冷热分离特性，将数据分类存储在不同介质上，有效降低存储成本。关闭开关，集群不支持冷热分离特性。 配置好参数，单击“立即购买”。 进“规格详情”页面，确认集群规格订单信息，单击“提交”，成功提交集群创建任务。 单击“返回集群管理列表”，可以查看到集群创建的状态。 集群创建需要时间，请您耐心等待。所创集群的初始状态为“创建中”，创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月，单击提交，成功提交集群创建任务。 单击“去支付”，跳转到购买页面，确认信息后，选择合适的支付方式，确认付款。 返回控制台，查看集群状态，集群创建需要时间，请您耐心等待。所创集群的初始状态为“创建中”，创建成功后状态更新为“服务中”。

SQL命令 创建CATA LOG 的SQL命令以及参数说明。 CREATE CATALOG hive_catalog_OBS PROPERTIES ( 'type'='hms', 'hive.metastore.uris' = 'thrift://192.x.x.x:port,thrift://192.x.x.x:port', 'hive.metastore.sasl.enabled' = 'true', 'hive.server2.thrift.sasl.qop'='auth-conf', 'hive.server2.authentication' = 'KERBEROS', 'hive.server2.authentication.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM', 'hive.metastore.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM', 'hadoop.security.authentication'='kerberos', 'hadoop.kerberos.principal' = 'USER_NAME', 'hive.version' = '3.1.0', 'fs.defaultFS'='hdfs://hacluster', 'hadoop.rpc.protection'='privacy', 'AWS_AC CES S_KEY' = '***', 'AWS_SECRET_KEY' = '***', 'AWS_ENDPOINT' = 'obs.cn-north-7.ulanqab.huawei.com', 'AWS_REGION' = 'cn-north-7', 'yarn.resourcemanager.address' = '192.X.X.X:port', 'yarn.resourcemanager.principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM' ); 表2 参数说明 参数 说明 type 对接外部数据类型。 hive.metastore.uris hive元数据uri，可在hive-site.xml配置文件查看。 hive.metastore.sasl.enabled 可在hive-site.xml配置文件查看。 hive.server2.thrift.sasl.qop 可在hive-site.xml配置文件查看。 hive.server2.authentication 认证类型，在集群连接页面查看。 hive.server2.authentication.kerberos.principal 可在hive-site.xml配置文件查看。 hive.metastore.kerberos.principal 可在hive-site.xml配置文件查看。 hadoop.security.authentication 可在core-site.xml配置文件查看。 hadoop.kerberos.principal \ hive.version Hive版本。 fs.defaultFS 可在core-site.xml配置文件查看。 hadoop.rpc.protection 可在core-site.xml配置文件查看。 AWS_ACCESS_KEY access key，获取方式请参见 对象存储服务 的获取访问密钥（AK/SK）章节。 AWS_SECRET_KEY secret key，获取方式请参见对象存储服务的获取访问密钥（AK/SK）章节。 AWS_ENDPOINT obs地址，获取方式见请参见对象存储服务的获取终端节点章节。 AWS_REGION obs region，在obs页面查看。 参数获取方法。 连接mrs集群，请参见使用mrs客户端章节。 进入client目录下，显示出MRS的全部组件，目前使用的组件有HDFS和Hive组件。 cd /opt/Bigdata/client/ HDFS组件中包含了core-site.xml、hdfs-site.xml配置文件，Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件，查找相关参数。 vim hdfs-site.xml Hive组件查看。 /opt/Bigdata/client/Hive/config/hive-site.xml 打开hive-site.xml配置文件，查找相关参数。 vim hive-site.xml catalog中的obs指的是obs桶，不是obs并行文件系统，目前还不支持obs并行文件系统。

查看ClickHouse集群监控信息 登录表格存储服务管理控制台。 单击管理控制台左上角的，选择区域。 在左侧导航树，单击集群管理。 在集群列表中找到需要查看的集群，在对应的操作列中，单击查看监控信息，系统会跳到该集群的“云服务监控”页面。 待查看集群，其状态必须为“服务中”。 在集群的“云服务监控”页面中，单击集群ID前的按钮展开计算单元列表，选择对应节点查看监控信息。 如果您查看监控页面的指标太多，可以对指标进行设置，设置自己需要查看的指标。 如果指标太多，可以通过设置监控指标页面对指标进行删除。 如果页面显示的指标没有您想看的指标，可以在设置监控指标页面进行添加。 选择您在页面中要展示的指标名称，拖动选中指标可以对指标进行排序。 如果想实时查看监控数据，可以开启自动刷新。平台可按1小时、3小时、12小时、24小时、7天的间隔自动刷新监控图表。 如果想放大单个指标视图，在监控指标视图右上角，单击可查看监控指标视图详情。

背景 在数据分析的实际场景中，冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多，如果我们将所有数据存储在本地，将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储，将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力，冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整，以满足不同场景的要求。冷热分离一般适用于以下需求场景： 数据存储周期长：面对历史数据的不断增加，存储成本也随之增加。 冷热数据访问频率及性能要求不同：热数据访问频率高且需要快速响应，而冷数据访问频率低且响应速度要求不高。

原理介绍 创建表：CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据：调用文件系统相关功能，生成文件到本地数据目录下。 合并数据：定期读取数据文件rowset，判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值，则文件不移动。如果当前时间减去写入时间大于TTL设置的值，则会在系统后台执行并调用OBS SDK数据写入OBS，随后将本地文件删除。 查询数据：用户在表上进行对应的查询时，Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径，并根据不同Tablet下的Rowset信息下载查询所需的数据到本地进行运算。

查看ClickHouse集群的基本信息 集群创建完成后，可对集群进行监控和管理。在CloudTable管理控制台单击集群管理，在集群列表中找到所要查看的集群并单击集群名称，进入集群基本信息页面，用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称，创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址，用户可以单击，将访问的链接地址复制到剪切板。 集群访问地址端口 集群访问的地址端口： Http端口：8123。 TCP端口：9000。 Https端口：8443。 安全TCP端口：9440。 计费模式 显示集群的计费模式。 按需计费。 包年包月。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源（如具有相同使用用途的资源）集中在一起，按企业项目的方式来管理云资源。 说明： 当企业业务发生变化，原用户不再拥有企业项目的使用权限时，可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后，该用户将无法管理该企业项目，如需再次使用，需要重新给该用户关联企业项目。 数据库引擎 用于存储、处理和保护数据的核心服务。 通道状态 表示安全通道是否打开。 同时开启安全通道和非安全通道 如果安全通道开启，此按钮不显示，如果安全通道未开启，显示此按钮。 表2 网络配置 参数 说明 区域 集群的工作区域，在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 子网 子网信息，创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G。 4U32G。 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点：选择集群中的节点个数，支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD（不支持扩容） 计算规格 8U32G（本地盘容量：1.6T）。 8U64G（本地盘容量：1.6T）。 16U64G（本地盘容量：3.2T）。 16U128G（本地盘容量：3.2T）。 32U128G（本地盘容量：6.4T）。 64U256G（本地盘容量：6.4T）。 存储规格 默认支持本地SSD盘。 节点数量 多节点：选择集群中的节点个数，支持的节点范围为2~20之间。 单节点个数默认为1。 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G。 8U32G。 16U64G。 32U128G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格： 通用型SSD。 超高IO。 极速SSD。 容量范围为100~1000之间。 节点数量 集群中的节点个数，默认为3。 父主题： 集群管理

BE节点支持的监控指标 BE节点监控指标如表2所示。 表2 BE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期（原始指标） doris_be_active_scan_context_count 由外部直接打开的scanner的个数 - ≥0 60s doris_be_add_batch_task_queue_size 接收batch的线程池的队列大小 - ≥0 60s doris_be_brpc_endpoint_stub_count 已创建的brpc stub的数量(BE) 这些stub用于BE之间的交互 ≥0 60s doris_be_brpc_function_endpoint_stub_count 已创建的brpc stub的数量(Remote RPC) 这些stub用于和Remote RPC之间交互 ≥0 60s doris_be_cache_usage_LastestSuccessChannelCache LRU ChannelCache使用率 LRU DataPageCache使用率 [0%,100%] 60s doris_be_cache_usage_ratio_DataPageCache LRU DataPageCache使用率 - [0%,100%] 60s doris_be_cache_usage_ratio_IndexPageCache LRU IndexPageCache使用率 - [0%,100%] 60s doris_be_cache_usage_ratio_SegmentCache LRU SegmentCache使用率 - [0%,100%] 60s doris_be_cache_hit_ratio_DataPageCache LRU DataPageCache命中率 数据Cache，直接影响查询效率 [0%,100%] 60s doris_be_cache_hit_ratio_IndexPageCache LRU IndexPageCache命中率 索引Cache，直接影响查询效率 [0%,100%] 60s doris_be_cache_hit_ratio_LastestSuccessChannelCache LRU ChannelCache命中率 - [0%,100%] 60s doris_be_cache_hit_ratio_SegmentCache LRU SegmentCache命中率 - [0%,100%] 60s doris_be_chunk_pool_local_core_alloc_count ChunkAllocator中,从绑定的core的内存队列中分配内存的次数 - ≥0 60s doris_be_chunk_pool_other_core_alloc_count ChunkAllocator中,从其他的core的内存队列中分配内存的次数 - ≥0 60s doris_be_chunk_pool_reserved_bytes ChunkAllocator中预留的内存大小 - ≥0 Byte 60s doris_be_chunk_pool_system_alloc_cost_ns SystemAllocator申请内存的耗时 累计值通过斜率可以观测内存分配的耗时 ≥0 ns 60s doris_be_chunk_pool_system_alloc_count SystemAllocator申请内存的次数 - ≥0 60s doris_be_chunk_pool_system_free_cost_ns SystemAllocator释放内存的耗时累计值 通过斜率可以观测内存释放的耗时 ≥0 ns 60s doris_be_chunk_pool_system_free_count SystemAllocator释放内存的次数 - ≥0 60s doris_be_compaction_bytes_total_base Base Compaction的数据量 累计值 ≥0 Byte 60s doris_be_compaction_bytes_total_cumulative Cumulative Compaction的数据量 累计值 ≥0 60s doris_be_compaction_deltas_total_base Base Compaction处理的rowset个数 累计值 ≥0 60s doris_be_compaction_deltas_total_cumulative Cumulative Compaction处理的rowset个数 累计值 ≥0 60s doris_be_compaction_waitting_permits 正在等待Compaction令牌的数量 - ≥0 60s doris_be_data_stream_receiver_count 数据接收端Receiver的数量 - ≥0 60s doris_be_data_stream_receiver_count 数据接收端Receiver的数量 同doris_be_data_stream_receiver_count ≥0 60s doris_be_fragment_request_duration_us 所有fragment intance的执行时间 累计值通过斜率观测 instance 的执行耗时 ≥0 us 60s doris_be_fragment_requests_total 执行过的fragment instance的数量 累计值 ≥0 60s doris_be_load_channel_count 当前打开的load channel个数 数值越大，说明当前正在执行的导入任务越多 ≥0 60s doris_be_mem_consumption_tablet_meta tablet_meta模块的当前总内存开销 - ≥0 60s doris_be_mem_consumption_load load模块的当前总内存开销 - ≥0 Byte 60s doris_be_memory_allocated_bytes TcMalloc占用的虚拟内存的大小 - ≥0 Byte 60s doris_be_memory_pool_bytes_total 所有MemPool当前占用的内存大小 - ≥0 Byte 60s doris_be_memtable_flush_duration_us memtable写入磁盘的耗时 累计值通过斜率可以观测写入延迟 ≥0 us 60s doris_be_memtable_flush_total memtable写入磁盘的个数 累计值通过斜率可以计算写入文件的频率 ≥0 60s doris_be_meta_request_duration_read 访问RocksDB中的meta的读取耗时 - ≥0 us 60s doris_be_meta_request_duration_write 访问RocksDB中的meta的写入耗时 - ≥0 us 60s doris_be_meta_request_total_read 访问RocksDB中的meta的读取次数 累计值 ≥0 60s doris_be_meta_request_total_write 访问RocksDB中的meta的写入次数 累计值 ≥0 60s doris_be_plan_fragment_count 当前已接收的fragment instance的数量 观测是否出现instance堆积 ≥0 60s doris_be_process_fd_num_limit_hard BE进程的文件句柄数硬限 - ≥0 60s doris_be_process_fd_num_limit_soft BE进程的文件句柄数软限 - ≥0 60s doris_be_process_fd_num_used BE进程已使用的文件句柄数 - ≥0 60s doris_be_process_thread_num BE进程线程数 - ≥0 60s doris_be_query_cache_memory_total_byte Query Cache占用字节数 - ≥0 Byte 60s doris_be_query_cache_partition_total_count 当前Partition Cache缓存个数 - ≥0 60s doris_be_query_cache_sql_total_count 当前SQL Cache缓存个数 - ≥0 60s doris_be_query_scan_bytes 读取数据量的累计值 只统计读取Olap表的数据量 ≥0 Byte 60s doris_be_query_scan_bytes_per_second 读取速率 - ≥0 Byte/s 60s doris_be_query_scan_rows 读取行数 累计值只统计读取Olap表的数据量，通过斜率观测查询速率。 ≥0 60s doris_be_result_block_queue_count 当前查询结果缓存中的fragment instance个数 该队列仅用于被外部系统直接读取时使用 ≥0 60s doris_be_result_buffer_block_count 当前查询结果缓存中的query个数 该数值反映当前BE中有多少查询的结果正在等待FE消费 ≥0 60s doris_be_routine_load_task_count 当前正在执行的routine load task个数 - ≥0 60s doris_be_rowset_count_generated_and_in_use 自上次启动后,新增的并且正在使用的rowset id个数 - ≥0 60s doris_be_scanner_thread_pool_queue_size 用于OlapScanner的线程池的当前排队数量 - ≥0 60s doris_be_segment_read_segment_read_total 读取的segment的个数 累计值 ≥0 60s doris_be_segment_read_segment_row_total 读取的segment的行数 累计值该数值也包含了被索引过滤的行数 ≥0 60s doris_be_send_batch_thread_pool_queue_size 导入时用于发送数据包的线程池的排队个数 - ≥0 60s doris_be_send_batch_thread_pool_thread_num 导入时用于发送数据包的线程池的线程数 - ≥0 60s doris_be_small_file_cache_count 当前BE缓存的小文件数量 - ≥0 60s doris_be_streaming_load_current_processing 当前正在运行的stream load任务数 仅包含curl命令发送的任务 ≥0 60s doris_be_streaming_load_duration_ms 所有stream load任务执行时间的耗时 累计值 ≥0 60s doris_be_streaming_load_requests_total stream load任务数 累计值通过斜率可观测任务提交频率。 ≥0 60s doris_be_stream_load_pipe_count 当前stream load数据管道的个数 包括stream load和routine load任务 ≥0 60s doris_be_stream_load_load_rows stream load最终导入的行数 包括stream load和routine load任务 ≥0 60s doris_be_stream_load_receive_bytes stream load接收的字节数 包括stream load从http接收的数据，以及routine load从kafka读取的数据。 ≥0 Byte 60s doris_be_tablet_base_max_compaction_score 当前最大的Base Compaction Score 该数值实时变化，有可能丢失峰值数据；数值越高,表示compaction堆积越严重。 ≥0 60s doris_be_tablet_cumulative_max_compaction_score 当前最大的Cumulative Compaction Score - ≥0 60s doris_be_thrift_connections_total_heartbeat 心跳服务的连接数 累计值 ≥0 60s doris_be_thrift_connections_total_backend BE服务的连接数 累计值 ≥0 60s doris_be_thrift_current_connections_heartbeat 心跳服务的当前连接数 - ≥0 60s doris_be_thrift_current_connections_backend BE服务的当前连接数 - ≥0 60s doris_be_timeout_canceled_fragment_count 因超时而被取消的fragment instance数量 这个值可能会被重复记录 ≥0 60s doris_be_stream_load_txn_request_begin stream load开始事务数 包括stream load和routine load任务 ≥0 60s doris_be_stream_load_txn_request_commit stream load执行成功的事务数 包括stream load和routine load任务 ≥0 60s doris_be_stream_load_txn_request_rollback stream load执行失败的事务数 包括stream load和routine load任务 ≥0 60s doris_be_unused_rowsets_count 当前已废弃的rowset的个数 这些rowset正常情况下会被定期删除 ≥0 60s doris_be_load_bytes 通过tablet sink发送的数量 累计值可观测导入数据量 ≥0 Byte 60s doris_be_load_rows 通过tablet sink发送的行数 累计值可观测导入数据量 ≥0 Byte 60s doris_be_fragment_thread_pool_queue_size 当前查询执行线程池等待队列的长度 - ≥0 60s doris_be_compaction_used_permits Compaction任务已使用的令牌数量 用于反映Compaction的资源消耗量 ≥0 60s doris_be_upload_total_byte rowset数据量累计值 - ≥0 60s

FE节点支持的监控指标 FE节点监控指标如表1所示。 表1 FE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期（原始指标） doris_fe_image_clean_failed 清理历史元数据镜像文件失败的次数 不应失败，如失败，需人工介入 ≥0 60s doris_fe_image_clean_success 清理历史元数据镜像文件成功的次数 - ≥0 60s doris_fe_image_push_success 将元数据镜像文件推送给其他FE节点的成功的次数 - ≥0 60s doris_fe_image_write_failed 生成元数据镜像文件失败的次数 不应失败，如失败，需人工介入 ≥0 60s doris_fe_image_write_success 生成元数据镜像文件成功的次数 - ≥0 60s doris_fe_max_journal_id 当前FE节点最大元数据日志ID 如果是Master FE，则是当前写入的最大ID，如果是非Master FE,则代表当前回放的元数据日志最大ID；用于观察多个FE之间的id是否差距过大，过大则表示元数据同步出现问题。 ≥0 60s doris_fe_max_tablet_compaction_score 所有BE节点中最大的compaction score值 该值可以观测当前集群最大的 compaction score，以判断是否过高，如过高则可能出现查询或写入延迟。 ≥0 60s doris_fe_qps 当前FE每秒查询数量(仅统计查询请求) QPS ≥0 60s doris_fe_query_err 错误查询的累积值 - ≥0 60s doris_fe_query_err_rate 每秒错误查询数 - ≥0 60s doris_fe_query_latency_ms_99 查询请求延迟的99分位的查询延迟 - ≥0 ms 60s doris_fe_query_latency_ms_999 查询请求延迟的999分位的查询延迟 - ≥0 ms 60s doris_fe_query_olap_table 查询内部表(OlapTable)的请求个数 - ≥0 60s doris_fe_query_total 所有查询请求数 - ≥0 60s doris_fe_report_queue_size BE的各种定期汇报任务在FE端的队列长度 该值反映了汇报任务在 Master FE 节点上的阻塞程度，数值越大，表示FE处理能力不足。 ≥0 60s doris_fe_request_total 所有通过MySQL端口接收的操作请求(包括查询和其他语句) - ≥0 60s doris_fe_routine_load_error_rows 集群内所有Routine Load作业的错误行数总和 - ≥0 60s doris_fe_routine_load_receive_bytes 集群内所有Routine Load作业接收的数据量大小 - ≥0 Byte 60s doris_fe_routine_load_rows 集群内所有Routine Load作业接收的数据行数 - ≥0 60s doris_fe_rps 当前FE每秒请求数量(包含查询以及其他各类语句) 和 QPS 配合来查看集群处理请求的量。 ≥0 60s doris_fe_scheduled_tablet_num Master FE节点正在调度的tablet数量 包括正在修复的副本和正在均衡的副本；该数值可以反映当前集群,正在迁移的 tablet 数量；如果长时间有值，说明集群不稳定。 ≥0 60s doris_fe_tablet_status_count_added Master FE节点被调度过的tablet数量 - ≥0 60s doris_fe_tablet_status_count_in_sched Master FE节点被重复调度的tablet数量 - ≥0 60s doris_fe_tablet_status_count_not_ready Master FE节点未满足调度触发条件的tablet数量 - ≥0 60s doris_fe_tablet_status_count_total Master FE节点的被检查过的tablet数量 - ≥0 60s doris_fe_tablet_status_count_unhealthy Master FE节点累积的被检查过的不健康的tablet数量 - ≥0 60s doris_fe_txn_counter_begin 提交的事务数量 - ≥0 60s doris_fe_txn_counter_failed 失败的事务数量 - ≥0 60s doris_fe_txn_counter_reject 被拒绝的事务数量 如当前运行事务数大于阈值，则新的事务会被拒绝。 ≥0 60s doris_fe_txn_counter_success 成功的事务数量 - ≥0 60s doris_fe_txn_exec_latency_ms_99 99分位的事务执行耗时 - ≥0 ms 60s doris_fe_txn_exec_latency_ms_999 999分位的事务执行耗时 - ≥0 ms 60s doris_fe_txn_publish_latency_ms_99 99分位的事务publish耗时 - ≥0 ms 60s doris_fe_txn_publish_latency_ms_999 999分位的事务publish耗时 - ≥0 ms 60s jvm_heap_size_bytes_max 最大堆内存 观测JVM内存使用情况。 ≥0 Byte 60s jvm_heap_size_bytes_committed 已申请的堆内存 观测JVM内存使用情况。 ≥0 Byte 60s jvm_heap_size_bytes_used 已使用的堆内存 观测JVM内存使用情况。 ≥0 Byte 60s jvm_non_heap_size_bytes_committed 已申请的堆外内存 - ≥0 Byte 60s jvm_non_heap_size_bytes_used 已使用堆外内存 - ≥0 Byte 60s jvm_old_gc_coun 老年代GC次数 观测是否出现长时间的FullGC。 ≥0 60s jvm_old_gc_time 老年代GC耗时 观测是否出现长时间的FullGC。 ≥0 ms 60s jvm_old_size_bytes_used 老年代内存占用 - ≥0 Byte 60s jvm_old_size_bytes_peak_used 老年代内存占用峰值 - ≥0 Byte 60s jvm_old_size_bytes_max 老年代内存最大值 - ≥0 Byte 60s jvm_thread_new_count 线程数峰值 观测JVM线程数是否合理。 ≥0 60s jvm_thread_new_count new状态的线程数 观测JVM线程数是否合理。 ≥0 60s jvm_thread_runnable_count runnable状态的线程数 观测JVM线程数是否合理。 ≥0 60s jvm_thread_blocked_count blocked状态的线程数 观测JVM线程数是否合理。 ≥0 60s jvm_thread_waiting_count waiting状态的线程数 观测JVM线程数是否合理。 ≥0 60s jvm_thread_terminated_coun terminated状态的线程数 观测JVM线程数是否合理。 ≥0 60s jvm_young_gc_count 新生代GC次数 累计值 ≥0 60s jvm_young_gc_time 新生代GC耗时 累计值 ≥0 ms 60s jvm_young_size_bytes_used 新生代内存占用 - ≥0 Byte 60s jvm_young_size_bytes_peak_used 新生代内存占用峰值 - ≥0 Byte 60s jvm_young_size_bytes_max 新生代内存最大值 - ≥0 Byte 60s doris_fe_cache_added_partition 新增的Partition Cache数量 累计值 ≥0 60s doris_fe_cache_added_sql 新增的SQL Cache数量 累计值 ≥0 60s doris_fe_cache_hit_partition 命中Partition Cache数 - ≥0 60s doris_fe_cache_hit_sql 命中SQL Cache数 - ≥0 60s doris_fe_connection_total 当前FE的MySQL端口连接数 用于监控查询连接数。如果连接数超限，则新的连接将无法接入 ≥0 60s doris_fe_counter_hit_sql_block_rule 被SQL BLOCK RULE拦截的查询数量 - ≥0 60s doris_fe_edit_log_clean_failed 清理历史元数据日志失败的次数 不应失败,如失败,需人工介入。 ≥0 60s doris_fe_edit_log_clean_success 清理历史元数据日志成功的次数 - ≥0 60s doris_fe_edit_log_read 元数据日志读取次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 60s doris_fe_edit_log_write 元数据日志写入次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 60s doris_fe_image_push_failed 将元数据镜像文件推送给其他FE节点的失败的次数 - ≥0 60s