华为云用户手册

Clickhouse命令简介 本章节主要介绍常用的ClickHouse组件命令。安装ClickHouse客户端后，加载环境变量，可使用以下命令。 连接ClickHouse集群。 非安全集群连接命令 ./clickhouse client --host 集群内网地址 --port 9000 --user admin --password password 安全集群连接命令，详细操作请参见安全集群连接步骤 ./clickhouse client --host 集群内网地址 --port 9440 --user admin --password password --secure --config-file /root/config.xml 创建数据库。 create database demo; 使用数据库。 use demo; 查看当前使用数据库。 select currentDatabase(); 创建数据表。 create table demo_t(uid Int32,name String,age UInt32,gender String)engine = TinyLog; 查看表结构。 desc demo_t; 插入数据。 insert into demo_t values(1,'Candy','23','M'),(2,'cici','33','F'); 查看表。 select * from demo_t; 查看数据库和表。 查看数据库。 show databases; 查看表。 show tables; 删除数据库和表。 删除表。 drop table demo_t; 删除数据表前，需确认此数据表是否应用中，以免引起不必要的麻烦。 删除数据表后可在24小时内恢复，超过24小时无法恢复。恢复命令如下： set allow_experimental_undrop_table_query = 1; UNDROP TABLE 数据表名; 删除数据库。 drop database demo; 父主题： 连接ClickHouse集群

查看ClickHouse集群详情 集群创建完成后，可对集群进行监控和管理。在CloudTable管理控制台单击集群管理，在集群列表中找到所要查看的集群并单击集群名称，进入集群基本信息页面，用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称，创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址，用户可以单击，将访问的链接地址复制到剪切板。 集群访问地址端口 集群访问的地址端口： Http端口：8123。 TCP端口：9000。 Https端口：8443。 安全TCP端口：9440。 计费模式 显示集群的计费模式。 按需计费。 包年包月。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源（如具有相同使用用途的资源）集中在一起，按企业项目的方式来管理云资源。 说明： 当企业业务发生变化，原用户不再拥有企业项目的使用权限时，可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后，该用户将无法管理该企业项目，如需再次使用，需要重新给该用户关联企业项目。 数据库引擎 用于存储、处理和保护数据的核心服务。 通道状态 表示安全通道是否打开。 同时开启安全通道和非安全通道 如果安全通道开启，此按钮不显示，如果安全通道未开启，显示此按钮。 是否开启冷热分离 “否”代表未开启冷热分离，“是”代表开启冷热分离。 存储资源名称 存储冷热分离数据资源名称“hot_to_cold”。 冷热分存策略 如果节点总存储量超过设置的值，则优先迁移早期数据至冷存储。 冷热存储已使用容量 冷存储数据的存储容量。 客户端使用 ClickHouse组件目前有新旧两种客户端。如果客户使用新的客户端，客户端使用显示“新”；如果客户端使用旧客户端，客户端使用显示“旧”。 集群存储模式 存算一体 表2 网络配置 参数 说明 区域 集群的工作区域，在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 子网 子网信息，创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点：选择集群中的节点个数，支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD（不支持扩容） 计算规格 8U32G（本地盘容量：1.6T）。 8U64G（本地盘容量：1.6T）。 16U64G（本地盘容量：3.2T）。 16U128G（本地盘容量：3.2T）。 32U128G（本地盘容量：6.4T）。 32U256G（本地盘容量：6.4T）。 存储规格 默认支持本地SSD盘。 节点数量 多节点：选择集群中的节点个数，支持的节点范围为2~之间。 单节点个数默认为1。 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G。 8U32G。 16U64G。 32U128G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格： 通用型SSD。 超高IO。 极速SSD。 容量范围为100~1000之间。 节点数量 集群中的节点个数，默认为3。 父主题： 管理ClickHouse集群

集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时，其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时，集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常，比如，可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足，则其状态为“冻结”。 当集群状态为“冻结”时，您需要通过续费保证账户余额不为0才能解冻，详细操作请参见如何续费？。 说明： 冻结期间集群不可用且关闭集群中所有云主机，解冻后集群自动恢复为“服务中”状态。如果用户没有续费，冻结期限到期后集群会被删除。

ClickHouse使用流程 ClickHouse是面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。CloudTable ClickHouse集群管理还有以下功能： ClickHouse集群管理下，用户申请专属集群，按需使用，专属集群是物理隔离且不受其他业务影响，方便用户管理。 ClickHouse集群创建成功后，使用客户端访问集群，请参见以下章节。 准备弹性云服务。 使用客户端访问集群。 ClickHouse命令简介。 图1 ClickHouse使用流程 表1 ClickHouse使用流程 流程 子任务 说明 详细指导 准备工作 创建用户并授权使用CloudTable 使用CloudTable ClickHouse之前，您需要注册华为云账号并进行实名认证，给新账号授权。 将策略授予用户组，并将用户添加至用户组中从而使用户拥有对应的服务权限。 创建用户并授权使用CloudTable 创建集群 创建ClickHouse集群 使用ClickHouse执行任务前，需要创建一个ClickHouse集群。 创建ClickHouse集群 下载客户端 下载ClickHouse客户端 创建集群后，需要下载客户端并安装客户端，安装客户端后，用户才可以借助SSH工具连接集群。 ClickHouse手动安装客户端 准备弹性云服务 - 如果客户端工具的运行环境为Linux环境，您需要准备一台和ClickHouse集群在相同虚拟私有云的Linux弹性云服务器作为客户端主机。 如果客户端工具的运行环境为Windows环境，您需要准备一台和ClickHouse集群在相同虚拟私有云的Windows弹性云服务器作为客户端主机。 准备弹性云服务 安装客户端 - 将下载的客户端放入E CS ，解压安装客户端。 使用MySQL客户端连接ClickHouse集群 连接集群 - 在ECS安装好MySQL客户端后，可用命令连接集群并进行业务操作。 ClickHouse手动安装客户端 父主题： 使用ClickHouse

注意事项 当集群状态处于“服务中”，且没有任何任务操作（如：规格变更、节点扩容、磁盘扩容）时，可以执行扩容操作。 请确定计划扩容的计算单元数小于等于用户计算单元的剩余配额，否则系统会提示无法进行扩容操作。 节点扩容过程中，不会自动重启集群，保证业务不中断，平滑扩容。纵向扩容过程中，集群会停止运行，直到参数设置完后才会重启集群的各个节点。 如果扩容失败，“任务状态”将显示为“单元扩容失败”，集群会自动回滚到扩容前的状态。用户可以再次重试扩容操作。

查看Doris集群详情 集群创建完成后，可对集群进行监控和管理。在CloudTable管理控制台单击集群管理，在集群列表中找到所要查看的集群并单击集群名称，进入集群基本信息页面，用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称，创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址，用户可以单击，将访问的链接地址复制到剪切板。 计费模式 显示集群的计费模式。 创建时间 显示集群创建的时间。 数据库引擎 用于存储、处理和保护数据的核心服务。 是否开启Broker进程 是否打开Broker进程，用于给客户做数据导入场景。 是否开启https “是”表示已经开启安全通道，可以下载证书。 是否开启冷热分离 “是”表示开启冷热分离；“否”表示未开始，单击“开启”，弹出开启冷热分离窗口，确认无误，单击“确定”，开启冷热分离特性。 存储资源名称 冷存储的资源名称。 冷存储已使用容量 集群开启冷热分离，显示此字段，表示冷存储的使用量。 集群存储模式 集群存储模式为存算一体。 是否开启接口认证 “是”表示开启接口认证，Doris集群内的rest接口需要账号密码认证，“否”表示未开启接口认证。 说明： 当开启https后，显示此字段。 此功能只在Doris2.0.5版本显示。 企业项目 企业项目管理帮助您将相关的资源（如具有相同使用用途的资源）集中在一起，按企业项目的方式来管理云资源。 说明： 当企业业务发生变化，原用户不再拥有企业项目的使用权限时，可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后，该用户将无法管理该企业项目，如需再次使用，需要重新给该用户关联企业项目。 表2 网络配置 参数 说明 区域 集群的工作区域，在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 子网 子网信息，创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 存储规格 选Doris计算节点的磁盘规格、容量。 说明： 选Doris计算节点的磁盘规格、容量： 高IO。 通用型SSD。 超高IO。 极速SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或者5个。 表4 BE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 存储规格 选Doris计算节点的磁盘规格、容量。 说明： 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100个。 表5 BE节点本地SSD盘配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U32G（本地盘容量：1.6T）。 16U64G（本地盘容量：3.2T）。 32U128G（本地盘容量：6.4T）。 存储规格 磁盘：支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 父主题： 管理Doris集群

集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时，其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时，集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常，比如，可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足，则其状态为“冻结”。 当集群状态为“冻结”时，您需要通过续费保证账户余额不为0才能解冻，详细操作请参见如何续费？。 说明： 冻结期间集群不可用且关闭集群中所有云主机，解冻后集群自动恢复为“服务中”状态。如果用户没有续费，冻结期限到期后集群会被删除。

步骤 登录 表格存储服务 管理控制台。 单击管理控制台左上角的，选择区域。 单击右上角的购买集群按钮，进入“购买集群”页面。 参考下面表格配置集群的基本信息。 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息，请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前Doris支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时，才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项，集群到期后会自动续费，不勾选集群到期需要手动续费。 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 集群名称在4位到32位之间，必须以字母开头，可以包含字母、数字或者中划线，不能包含其他的特殊字符，不区分大小写。 虚拟私有云 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离，并独享所有网络资源，以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制，加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则，这些规则可以限定弹性云服务器的哪些端口或者协议可以访问，这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后，即受到这些访问规则的保护。不属于该安全组的弹性云服务器，是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组，或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息，请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 集群存储模式 集群存储模式为存算一体。 Doris内核版本 组件引擎版本。 CloudTable Doris集群规格说明：FE节点至少为3个，从而保证高可用。 切换内核版本时，需要重新选择规格，避免创建集群出现问题。 FE的小规格4U16G、高IO、容量200G、节点3个，免费赠送，用于客户体验。 小规格支持包周期和按需计费。 图1 FE节点配置 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情，请参见 表格存储 服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明： 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或5个。 图2 BE节点配置 表4 BE节点云存储配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G（此规格建议仅用于功能体验，生产环境建议使用8U32G及以上）。 8U16G。 16U32G。 32U64G。 64U128G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情，请参见表格存储服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明： 支持的存储规格： 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 表5 BE节点本地SSD盘配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 8U32G（本地盘容量：1.6T）。 16U64G（本地盘容量：3.2T）。 32U128G（本地盘容量：6.4T）。 存储规格 磁盘：支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 图3 密码设置 表6 用户名密码参数 参数 参数说明 企业项目 企业项目管理帮助您将相关的资源（如具有相同使用用途的资源）集中在一起，按企业项目的方式来管理云资源。 说明： 当企业业务发生变化，原用户不再拥有企业项目的使用权限时，可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后，该用户将无法管理该企业项目，如需再次使用，需要重新给该用户关联企业项目。 用户名 Doris管理用户，用于连接Doris集群，默认为admin，不可修改。 密码 设置admin用户密码。 密码复杂度要求如下： 8~12个字符。 至少包含以下字符中的4种：大写字母，小写字母、数字、特殊字符（$@!%*?&）。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明： 请妥善保管并定期更新密码，避免安全风险。 确认密码 设置admin用户密码。 是否开启Broker进程 是否打开Broker进程，用于给客户做数据导入场景， 仅支持创建时开启。 是否开启https 是否开启https访问通道加密，https协议端口为8050。 说明： 开启https时连接集群只能使用MySQL8及以上客户端，连接端口为9030，使用方法请参见连接客户端。 创建集群开启https选项，后续无法关闭。 创建集群未开启https选项，后续无法开启。 是否开启接口认证 开启后，集群内rest接口需要添加账号密码认证，但同时会略微降低集群性能。 说明： 开启https选项后，显示此字段。 此功能只在Doris2.0.5及以上版本显示。 开启该选项后，再使用Doris集群内的rest接口，如：修改参数、获取集群监控数据等接口需要添加账号密码认证。 是否开启冷热分离 打开开关，集群支持冷热分离特性，将数据分类存储在不同介质上，有效降低存储成本。关闭开关，集群不支持冷热分离特性。 说明： 冷热分离正常收费。 配置好参数，单击“立即购买”。 进“规格详情”页面，确认集群规格订单信息，单击“提交”，成功提交集群创建任务。 单击“返回集群管理列表”，可以查看到集群创建的状态。 集群创建需要时间，请您耐心等待。所创集群的初始状态为“创建中”，创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月，单击提交，成功提交集群创建任务。 单击“去支付”，跳转到购买页面，确认信息后，选择合适的支付方式，确认付款。 返回控制台，查看集群状态，集群创建需要时间，请您耐心等待。所创集群的初始状态为“创建中”，创建成功后状态更新为“服务中”。

BE节点支持的监控指标 BE节点监控指标如表3所示。 表3 BE节点支持的监控指标 指标名称 显示名称 含义 取值范围 单位 进制 测量对象（维度） 监控周期（原始指标） 命名空间 doris_be_active_scan_context_count 由外部直接打开的scanner的个数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_add_batch_task_queue_size 接收batch的线程池的队列大小 - ≥0 不涉及 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_brpc_endpoint_stub_count 已创建的brpc stub的数量(BE) 这些stub用于BE之间的交互 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_brpc_function_endpoint_stub_count 已创建的brpc stub的数量(Remote RPC) 这些stub用于和Remote RPC之间交互 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_cache_usage_LastestSuccessChannelCache LRU ChannelCache使用率 LRU DataPageCache使用率 [0,100] % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_cache_usage_ratio_DataPageCache LRU DataPageCache使用率 - [0,100] % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_cache_usage_ratio_IndexPageCache LRU IndexPageCache使用率 - [0,100] % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_cache_usage_ratio_SegmentCache LRU SegmentCache使用率 - [0,100] % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_cache_hit_ratio_DataPageCache LRU DataPageCache命中率 数据Cache，直接影响查询效率 [0,100] % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_cache_hit_ratio_IndexPageCache LRU IndexPageCache命中率 索引Cache，直接影响查询效率 [0,100] % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_cache_hit_ratio_LastestSuccessChannelCache LRU ChannelCache命中率 - [0,100] % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_cache_hit_ratio_SegmentCache LRU SegmentCache命中率 - [0,100] % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_chunk_pool_local_core_alloc_count ChunkAllocator中,从绑定的core的内存队列中分配内存的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_chunk_pool_other_core_alloc_count ChunkAllocator中,从其他的core的内存队列中分配内存的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_chunk_pool_reserved_bytes ChunkAllocator中预留的内存大小 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_chunk_pool_system_alloc_cost_ns SystemAllocator申请内存的耗时 累计值通过斜率可以观测内存分配的耗时 ≥0 ns 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_chunk_pool_system_alloc_count SystemAllocator申请内存的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_chunk_pool_system_free_cost_ns SystemAllocator释放内存的耗时累计值 通过斜率可以观测内存释放的耗时 ≥0 ns 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_chunk_pool_system_free_count SystemAllocator释放内存的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_compaction_bytes_total_base Base Compaction的数据量 累计值 ≥0 Byte 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_compaction_bytes_total_cumulative Cumulative Compaction的数据量 累计值 ≥0 Byte 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_compaction_deltas_total_base Base Compaction处理的rowset个数 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_compaction_deltas_total_cumulative Cumulative Compaction处理的rowset个数 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_compaction_waitting_permits 正在等待Compaction令牌的数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_data_stream_receiver_count 数据接收端Receiver的数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_data_stream_receiver_count 数据接收端Receiver的数量 同doris_be_data_stream_receiver_count ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_fragment_request_duration_us 所有fragment intance的执行时间 累计值通过斜率观测 instance 的执行耗时 ≥0 us 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_fragment_requests_total 执行过的fragment instance的数量 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_load_channel_count 当前打开的load channel个数 数值越大，说明当前正在执行的导入任务越多 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_mem_consumption_tablet_meta tablet_meta模块的当前总内存开销 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_mem_consumption_load load模块的当前总内存开销 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_memory_allocated_bytes TcMalloc占用的虚拟内存的大小 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_memory_pool_bytes_total 所有MemPool当前占用的内存大小 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_memtable_flush_duration_us memtable写入磁盘的耗时 累计值通过斜率可以观测写入延迟 ≥0 us 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_memtable_flush_total memtable写入磁盘的个数 累计值通过斜率可以计算写入文件的频率 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_meta_request_duration_read 访问RocksDB中的meta的读取耗时 - ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_meta_request_duration_write 访问RocksDB中的meta的写入耗时 - ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_meta_request_total_read 访问RocksDB中的meta的读取次数 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_meta_request_total_write 访问RocksDB中的meta的写入次数 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_plan_fragment_count 当前已接收的fragment instance的数量 观测是否出现instance堆积 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_process_fd_num_limit_hard BE进程的文件句柄数硬限 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_process_fd_num_limit_soft BE进程的文件句柄数软限 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_process_fd_num_used BE进程已使用的文件句柄数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_process_thread_num BE进程线程数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_query_cache_memory_total_byte Query Cache占用字节数 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_query_cache_partition_total_count 当前Partition Cache缓存个数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_query_cache_sql_total_count 当前SQL Cache缓存个数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_query_scan_bytes 读取数据量的累计值 只统计读取Olap表的数据量 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_query_scan_bytes_per_second 读取速率 - ≥0 Byte/s 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_query_scan_rows 读取行数 累计值只统计读取Olap表的数据量，通过斜率观测查询速率。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_result_block_queue_count 当前查询结果缓存中的fragment instance个数 该队列仅用于被外部系统直接读取时使用 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_result_buffer_block_count 当前查询结果缓存中的query个数 该数值反映当前BE中有多少查询的结果正在等待FE消费 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_routine_load_task_count 当前正在执行的routine load task个数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_rowset_count_generated_and_in_use 自上次启动后,新增的并且正在使用的rowset id个数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_scanner_thread_pool_queue_size 用于OlapScanner的线程池的当前排队数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_segment_read_segment_read_total 读取的segment的个数 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_segment_read_segment_row_total 读取的segment的行数 累计值该数值也包含了被索引过滤的行数 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_send_batch_thread_pool_queue_size 导入时用于发送数据包的线程池的排队个数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_send_batch_thread_pool_thread_num 导入时用于发送数据包的线程池的线程数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_small_file_cache_count 当前BE缓存的小文件数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_streaming_load_current_processing 当前正在运行的stream load任务数 仅包含curl命令发送的任务 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_streaming_load_duration_ms 所有stream load任务执行时间的耗时 累计值 ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_streaming_load_requests_total stream load任务数 累计值通过斜率可观测任务提交频率。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_stream_load_pipe_count 当前stream load数据管道的个数 包括stream load和routine load任务 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_stream_load_load_rows stream load最终导入的行数 包括stream load和routine load任务 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_stream_load_receive_bytes stream load接收的字节数 包括stream load从http接收的数据，以及routine load从kafka读取的数据。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_be_tablet_base_max_compaction_score 当前最大的Base Compaction Score 该数值实时变化，有可能丢失峰值数据；数值越高,表示compaction堆积越严重。 ≥0 不涉及 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_tablet_cumulative_max_compaction_score 当前最大的Cumulative Compaction Score - ≥0 不涉及 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_thrift_connections_total_heartbeat 心跳服务的连接数 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_thrift_connections_total_backend BE服务的连接数 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_thrift_current_connections_heartbeat 心跳服务的当前连接数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_thrift_current_connections_backend BE服务的当前连接数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_timeout_canceled_fragment_count 因超时而被取消的fragment instance数量 这个值可能会被重复记录 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_stream_load_txn_request_begin stream load开始事务数 包括stream load和routine load任务 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_stream_load_txn_request_commit stream load执行成功的事务数 包括stream load和routine load任务 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_stream_load_txn_request_rollback stream load执行失败的事务数 包括stream load和routine load任务 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_unused_rowsets_count 当前已废弃的rowset的个数 这些rowset正常情况下会被定期删除 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_load_bytes 通过tablet sink发送的数量 累计值可观测导入数据量 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_load_rows 通过tablet sink发送的行数 累计值可观测导入数据量 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_fragment_thread_pool_queue_size 当前查询执行线程池等待队列的长度 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_compaction_used_permits Compaction任务已使用的令牌数量 用于反映Compaction的资源消耗量 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_be_upload_total_byte rowset数据量累计值 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable 表4 BE节点自定义监控指标 指标名称 显示名称 含义 取值范围 测量对象（维度） 监控周期（原始指标） 命名空间 light_work_active_threads light_work_active_threads brpc light线程池活跃线程数 ≥0 CloudTable实例节点 60s Service.CloudTable light_work_pool_queue_size light_work_pool_queue_size brpc light线程池队列最大长度，超过则阻塞提交work ≥0 CloudTable实例节点 60s Service.CloudTable fragment_thread_pool_queue_size fragment_thread_pool_queue_size 当前查询执行线程池等待队列的长度 ≥0 CloudTable实例节点 60s Service.CloudTable process_thread_num process_thread_num BE 进程线程数 ≥0 CloudTable实例节点 60s Service.CloudTable

FE节点支持的监控指标 FE节点监控指标如表1所示。 表1 FE节点支持的监控指标 指标名称 显示名称 含义 取值范围 单位 进制 测量对象（维度） 监控周期（原始指标） 命名空间 CmdProcessMem 内存使用率 统计测量对象的内存使用率。 0 ~100 % 不涉及 CloudTable实例节点 60s SYS.CloudTable CmdProcessCPU CPU使用率 统计测量对象的CPU使用率。 0 ~100 % 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_image_clean_failed 清理历史元数据镜像文件失败的次数 不应失败，如失败，需人工介入 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_image_clean_success 清理历史元数据镜像文件成功的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_image_push_success 将元数据镜像文件推送给其他FE节点的成功的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_image_write_failed 生成元数据镜像文件失败的次数 不应失败，如失败，需人工介入 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_image_write_success 生成元数据镜像文件成功的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_max_journal_id 当前FE节点最大元数据日志ID 如果是Master FE，则是当前写入的最大ID，如果是非Master FE，则代表当前回放的元数据日志最大ID；用于观察多个FE之间的id是否差距过大，过大则表示元数据同步出现问题。 ≥0 不涉及 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_max_tablet_compaction_score 所有BE节点中最大的compaction score值 该值可以观测当前集群最大的 compaction score，以判断是否过高，如过高则可能出现查询或写入延迟。 ≥0 不涉及 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_qps 当前FE每秒查询数量（仅统计查询请求） QPS ≥0 Count/s 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_query_err 错误查询的累积值 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_query_err_rate 每秒错误查询数 - ≥0 Count/s 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_query_latency_ms_99 查询请求延迟的99分位的查询延迟 - ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_query_latency_ms_999 查询请求延迟的999分位的查询延迟 - ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_query_olap_table 查询内部表(OlapTable)的请求个数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_query_total 所有查询请求数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_report_queue_size BE的各种定期汇报任务在FE端的队列长度 该值反映了汇报任务在 Master FE 节点上的阻塞程度，数值越大，表示FE处理能力不足。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_request_total 所有通过MySQL端口接收的操作请求(包括查询和其他语句) - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_routine_load_error_rows 集群内所有Routine Load作业的错误行数总和 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_routine_load_receive_bytes 集群内所有Routine Load作业接收的数据量大小 - ≥0 Byte 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_routine_load_rows 集群内所有Routine Load作业接收的数据行数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_rps 当前FE每秒请求数量(包含查询以及其他各类语句) 和 QPS 配合来查看集群处理请求的量。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_scheduled_tablet_num Master FE节点正在调度的tablet数量 包括正在修复的副本和正在均衡的副本；该数值可以反映当前集群,正在迁移的 tablet 数量；如果长时间有值，说明集群不稳定。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_tablet_status_count_added Master FE节点被调度过的tablet数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_tablet_status_count_in_sched Master FE节点被重复调度的tablet数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_tablet_status_count_not_ready Master FE节点未满足调度触发条件的tablet数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_tablet_status_count_total Master FE节点的被检查过的tablet数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_tablet_status_count_unhealthy Master FE节点累积的被检查过的不健康的tablet数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_txn_counter_begin 提交的事务数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_txn_counter_failed 失败的事务数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_txn_counter_reject 被拒绝的事务数量 如当前运行事务数大于阈值，则新的事务会被拒绝。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_txn_counter_success 成功的事务数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_txn_exec_latency_ms_99 99分位的事务执行耗时 - ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_txn_exec_latency_ms_999 999分位的事务执行耗时 - ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_txn_publish_latency_ms_99 99分位的事务publish耗时 - ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_txn_publish_latency_ms_999 999分位的事务publish耗时 - ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_heap_size_bytes_max 最大堆内存 观测JVM内存使用情况。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_heap_size_bytes_committed 已申请的堆内存 观测JVM内存使用情况。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_heap_size_bytes_used 已使用的堆内存 观测JVM内存使用情况。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_non_heap_size_bytes_committed 已申请的堆外内存 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_non_heap_size_bytes_used 已使用堆外内存 - ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_old_gc_count 老年代GC次数 观测是否出现长时间的FullGC。 说明： “老年代GC次数”指标仅支持Doris 2.1.6及以下版本。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_old_gc_time 老年代GC耗时 观测是否出现长时间的FullGC。 说明： “老年代GC耗时”指标仅支持Doris 2.1.6及以下版本。 ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_old_size_bytes_used 老年代内存占用 说明： “老年代内存占用”指标仅支持Doris 2.1.6及以下版本。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_old_size_bytes_peak_used 老年代内存占用峰值 说明： “老年代内存占用峰值”指标仅支持Doris 2.1.6及以下版本。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_old_size_bytes_max 老年代内存最大值 说明： “老年代内存最大值”指标仅支持Doris 2.1.6及以下版本。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_thread_new_count 线程数峰值 观测JVM线程数是否合理。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_thread_new_count new状态的线程数 观测JVM线程数是否合理。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_thread_runnable_count runnable状态的线程数 观测JVM线程数是否合理。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_thread_blocked_count blocked状态的线程数 观测JVM线程数是否合理。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_thread_waiting_count waiting状态的线程数 观测JVM线程数是否合理。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_thread_terminated_count terminated状态的线程数 观测JVM线程数是否合理。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_young_gc_count 新生代GC次数 累计值 说明： “新生代GC次数”指标仅支持Doris 2.1.6及以下版本。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_young_gc_time 新生代GC耗时 累计值 说明： “新生代GC耗时”指标仅支持Doris 2.1.6及以下版本。 ≥0 ms 不涉及 CloudTable实例节点 60s SYS.CloudTable jvm_young_size_bytes_used 新生代内存占用 说明： “新生代内存占用”指标仅支持Doris 2.1.6及以下版本。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_young_size_bytes_peak_used 新生代内存占用峰值 说明： “新生代内存占用峰值”指标仅支持Doris 2.1.6及以下版本。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable jvm_young_size_bytes_max 新生代内存最大值 说明： “新生代内存最大值”指标仅支持Doris 2.1.6及以下版本。 ≥0 Byte 1024(IEC) CloudTable实例节点 60s SYS.CloudTable doris_fe_cache_added_partition 新增的Partition Cache数量 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_cache_added_sql 新增的SQL Cache数量 累计值 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_cache_hit_partition 命中Partition Cache数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_cache_hit_sql 命中SQL Cache数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_connection_total 当前FE的MySQL端口连接数 用于监控查询连接数。如果连接数超限，则新的连接将无法接入 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_counter_hit_sql_block_rule 被SQL BLOCK RULE拦截的查询数量 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_edit_log_clean_failed 清理历史元数据日志失败的次数 不应失败,如失败,需人工介入。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_edit_log_clean_success 清理历史元数据日志成功的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_edit_log_read 元数据日志读取次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_edit_log_write 元数据日志写入次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable doris_fe_image_push_failed 将元数据镜像文件推送给其他FE节点的失败的次数 - ≥0 Count 不涉及 CloudTable实例节点 60s SYS.CloudTable 表2 FE节点自定义监控指标 指标名称 显示名称 含义 取值范围 测量对象（维度） 监控周期（原始指标） 命名空间 doris_fe_thrift_rpc_total_{method_name} doris_fe_thrift_rpc_total_{method_name} FE thrift接口各个方法接收的RPC请求次数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thrift_rpc_latency_ms_{method_name} doris_fe_thrift_rpc_latency_ms_{method_name} FE thrift接口各个方法接收的RPC请求耗时 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_thrift_server_pool_active_thread_num doris_fe_thread_pool_thrift_server_pool_active_thread_num 线程池thrift-server-pool正在执行的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_thrift_server_pool_active_thread_pct doris_fe_thread_pool_thrift_server_pool_active_thread_pct 线程池thrift-server-pool正在执行的任务数占最大线程数的百分比 [0,100] CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_thrift_server_pool_task_in_queue doris_fe_thread_pool_thrift_server_pool_task_in_queue 线程池thrift-server-pool正在排队的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_thrift_server_pool_task_rejected doris_fe_thread_pool_thrift_server_pool_task_rejected 线程池thrift-server-pool拒绝的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_mysql_nio_pool_active_thread_num doris_fe_thread_pool_mysql_nio_pool_active_thread_num 线程池mysql-nio-pool正在执行的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_mysql_nio_pool_active_thread_pct doris_fe_thread_pool_mysql_nio_pool_active_thread_pct 线程池mysql-nio-pool正在执行的任务数占最大线程数的百分比 [0,10] CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_mysql_nio_pool_task_in_queue doris_fe_thread_pool_mysql_nio_pool_task_in_queue 线程池mysql-nio-pool正在排队的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_mysql_nio_pool_task_rejected doris_fe_thread_pool_mysql_nio_pool_task_rejected 线程池mysql-nio-pool拒绝的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_connect_scheduler_pool_active_thread_num doris_fe_thread_pool_connect_scheduler_pool_active_thread_num 线程池connect-scheduler-pool正在执行的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_connect_scheduler_pool_active_thread_pct doris_fe_thread_pool_connect_scheduler_pool_active_thread_pct 线程池connect-scheduler-pool正在执行的任务数占最大线程数的百分比 [0,100] CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_connect_scheduler_pool_task_in_queue doris_fe_thread_pool_connect_scheduler_pool_task_in_queue 线程池connect-scheduler-pool正在排队的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable doris_fe_thread_pool_connect_scheduler_pool_task_rejected doris_fe_thread_pool_connect_scheduler_pool_task_rejected 线程池connect-scheduler-pool拒绝的任务数 ≥0 CloudTable实例节点 60s Service.CloudTable

Doris使用流程 CloudTable集群模式提供了基于Doris的分布式、可伸缩、全托管的实时 数据仓库 ，它提供了亚秒级返回海量数据查询结果的能力，可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。 Doris集群管理下，用户申请专属集群，按需使用，专属集群是完全物理隔离且不受其他业务影响，方便用户管理。 Doris集群创建成功后，用户可通过使用客户端访问集群：详情请参见使用Doris章节，介绍如何使用Doris集群。 图1 Doris使用流程 表1 Doris使用流程 流程 子任务 说明 详细指导 准备工作 创建用户并授权使用CloudTable 使用CloudTable Doris之前，您需要注册华为云账号并进行实名认证，给新账号授权。 将策略授予用户组，并将用户添加至用户组中从而使用户拥有对应的服务权限。 创建用户并授权使用CloudTable 创建集群 创建Doris集群 使用Doris执行任务前，需要创建一个Doris集群。 创建Doris集群 下载客户端 下载Doris客户端 创建集群后，需要下载客户端并安装客户端，安装客户端后，用户才可以借助SSH工具连接集群。 - 准备弹性云服务 - 如果客户端工具的运行环境为Linux环境，您需要准备一台和Doris集群在相同虚拟私有云的Linux弹性云服务器作为客户端主机。 如果客户端工具的运行环境为Windows环境，您需要准备一台和Doris集群在相同虚拟私有云的Windows弹性云服务器作为客户端主机。 准备弹性云服务 安装客户端 - 将下载的客户端放入ECS，解压安装客户端。 使用MySQL客户端访问Doris集群 连接集群 - 在ECS安装好MySQL客户端后，可用命令连接集群并进行业务操作。 使用MySQL客户端访问Doris集群 父主题： 使用Doris

示例流程 图1 给用户授权CloudTable权限流程 创建用户组并授权。 使用云登录 IAM 控制台，创建用户组，并授予表格存储服务的管理员权限“cloudtable Administrator”。 创建用户并加入用户组。 在IAM控制台创建用户，并将其加入步骤1中创建的用户组。 用户登录并验证权限。 使用新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择表格存储服务，进入CloudTable主界面，单击右上角“购买集群”，尝试创建表格存储服务集群，如果可以创建（假设当前权限仅包含cloudtable Administrator），表示“cloudtable Administrator”已生效。 在“服务列表”中选择除表格存储服务之外（假设当前策略仅包含cloudtable Administrator）的任一服务，如果提示权限不足，表示“cloudtable Administrator”已生效。

通过IAM账户使用CloudTable 如果您需要对您所拥有的云服务进行精细的权限管理，您可以使用 统一身份认证 服务（Identity and Access Management，简称IAM）。通过IAM，您可以： 根据企业的业务组织，在您的云账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用云服务资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将云服务资源委托给更专业、高效的其他云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。 如果云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用CloudTable服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如图1所示。

前提条件 CloudTable服务暂不支持细粒度策略，仅支持系统角色“cloudtable Administrator”。当前CloudTable默认的系统角色“cloudtable Administrator” 仅适用于未开通企业项目的账号，如已开通，请使用IAM自定义策略并直接给用户授权。 给用户组授权之前，请您了解用户组可以添加的CloudTable权限，并结合实际需求进行选择，CloudTable支持的系统权限，请参见：CloudTable系统权限。如果您需要对除CloudTable之外的其它服务授权，IAM支持服务的所有权限请参见权限策略。

使用CopyTable工具导入数据 准备Linux弹性云服务器作为客户端主机，并在客户端主机上部署CloudTable HBase客户端工具。 具体操作请参见使用HBase Shell连接HBase集群。 在部署客户端工具时，ZK链接地址请配置为源表所在的CloudTable HBase集群的“ZK链接地址（内网）”。 （可选）如果要将表复制到另一个集群，请获取HBase目标集群的“ZK链接地址（内网）”。 登录表格存储服务管理控制台，在左侧导航树单击集群管理，然后在集群列表中找到所需要的集群，并获取相应的“ZK链接地址（内网）”。 在使用CopyTable复制表数据前，需要先确保在CloudTable HBase目标集群中目标表已经存在。如果目标表不存在，请先创建目标表。 创建表的具体步骤，请参考HBase Shell命令简介。 在客户端主机，打开命令行终端窗口，进入客户端工具安装目录的hbase目录下，然后执行CopyTable命令导入数据到CloudTable集群。 命令示例如下，该示例是将“TestTable”表指定1小时范围内的数据复制到目标集群： cd ${客户端工具的安装目录}/hbase ./bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable --starttime=1265875194289 --endtime=1265878794289 --peer.adr=${CloudTable目标集群的“ZK链接地址”}:/hbase --families=myOldCf:myNewCf,cf2,cf3 TestTable

在CloudTable中查看导入的数据 准备Linux弹性云服务器。 假设该弹性云服务器名称为“ecs_20170916”，准备的具体操作请参见准备弹性云服务器章节。 安装客户端并启动Shell访问CloudTable集群。 使用HBase Shell访问集群的具体操作请参见使用HBase Shell连接HBase集群章节。 在CloudTable客户端中执行查询命令，查看使用 CDM 迁移到CloudTable的数据。 命令示例如下，其中table_name请替换为在CDM集群中新建作业时指定的表名。 scan 'table_name'

HBase参数说明 CloudTable集群当前可以修改的参数如表1所示。 hbase.regionserver.global.memstore.size和hfile.block.cache.size两个参数值相加不能超过0.8。 表1 HBase参数说明 参数名 参数默认值 单位 参数范围 参考缺省值 参数描述 hbase.regionserver.thread.compaction.small 1 -- [1,20] 1 HFile compaction线程数，在put高负载情况下可以适当调大。 hbase.regionserver.global.memstore.size 0.4 -- (0,0.8) 0.4 建议设置为“hbase.hregion.memstore.flush.size * 写活跃region数 / RegionServer GC -Xmx”。默认值为“0.4”，表示使用RegionServer GC -Xmx的40%。 hbase.hstore.blockingStoreFiles 60 -- [1,2147483647] 60 当列簇的HFile数达到该阈值，阻塞该region的所有操作，直到compaction完成，在put高负载场景下可以适当调大。 hbase.client.scanner.timeout.period 60000 毫秒 [1,2147483647] 60000 客户端和RegionServer端参数，表示scan租约的时间，建议设置为60000ms的整数倍，在读高负载情况下可以适当调大。单位：毫秒。 hfile.block.cache.size 0.2 -- (0,0.8) 0.2 数据缓存所占的RegionServer GC -Xmx百分比，在读高负载情况下可以适当调大以增大缓存命中率以提高性能。默认值为“0.2”，表示使用RegionServer GC -Xmx的20%。 hbase.regionserver.handler.count 100 -- [1,300] 100 RegionServer上的RPC服务器实例数，建议设置为100 ~ 300之间。 hbase.regionserver.metahandler.count 50 -- [1,100] 50 RegionServer中处理优先请求的程序实例的数量，建议设置为20 ~ 100之间。 hbase.hstore.flusher.count 2 -- [1,10] 2 memstore的flush线程数，在put高负载场景下可以适当调大。 hbase.ipc.server.callqueue.read.ratio 0.5 -- [0,1] 0.5 该配置项用于不同负载模型时，控制读和写操作的RPC队列数量的比例。取值范围为0到1.0，默认值为0.5。 0表示所有RPC队列不区分读和写操作; 小于0.5表示读操作负载少于写操作负载; 0.5表示读操作负载与写操作负载相同; 大于0.5表示读操作负载大于写操作负载; 1.0表示除了一个RPC队列外，其余所有RPC队列都用于读操作。 hbase.regionserver.hotregion.handler.count 66 -- [1,65535] 66 在RegionServer上启动的用于热点Region的RPC侦听器实例数。 hbase.ipc.server.hotregion.max.callqueue.length 330 -- [1,65535] 330 RegionServer处理热点Region的请求队列长度最大值，当接收到新的请求时，会检查是否会导致队列长度超过此阈值，如果超过阈值，会直接丢弃此请求。 hbase.metric.controller.analysis.period 60 秒 [1,2147483647] 60 MetricController服务热点分析周期，单位为秒。 hbase.metric.controller.analysis.threads.max 10 -- [1,100] 10 热点分析任务线程池最大线程数。 hbase.metric.controller.collect.threads.max 16 -- [1,100] 16 热点分析流量收集线程池最大线程数。 hbase.metric.regionserver.hotspot.threshold 20000 -- [1,2147483647] 20000 单RegionServer热点阈值，单位为每秒请求数。 hbase.metric.region.hotspot.threshold 10000 -- [1,2147483647] 10000 单Region热点阈值，单位为每秒请求数。 hbase.hotspot.enable false -- [true,false] false 是否开启热点自愈功能，true为开启，false为关闭。开启后如有出现访问热点，会自动处理热点。 hbase.tries.cache.enabled false -- [true,false] false 设置为true时，使用LoudsTriesLruBlockCache缓存索引块和数据块。 hbase.write.tries false -- [true,false] false 设置为true时，开启succinct tries特性，它将使用一种新的数据结构来提升index block的利用率。

操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的，选择区域。 在左侧导航树，单击集群管理。 选中需要修改参数的集群，单击对应的集群名称，跳转到该集群详情页面。 在“参数配置”中单击“参数配置”页签，对HBase参数进行修改。 CloudTable集群当前可以修改的HBase参数请参见HBase参数说明。 选中需要修改的参数，在“参数值”列单击。 在修改框中输入新值，单击，系统提示“参数修改为xx成功，请保存本次修改值”，并且修改的参数值后显示红色*。 如果单击，则取消修改。 图1 修改HBase参数 单击参数列表左上方的“保存修改”，弹出“保存修改”对话框。 在“保存修改”对话框中，确认参数修改信息正确后，勾选“是否立即重启”，然后单击“确定”。 图2 保存修改 当勾选“是否立即重启”并单击“确定”后，集群将立即重启，重启完成后，修改后的参数才能生效。单击参数列表右上方的，参数列表左上方将显示“新值已应用”。 在“保存修改”对话框中可以先不勾选“是否立即重启”，单击“确定”后，参数列表上方将显示“新值未应用”。此时用户需要自行重启集群，才能使修改的参数值生效。重启集群操作请参见重启HBase集群。 如果修改的参数值不正确，可以在“保存修改”对话框中单击“一键还原”，取消修改参数值。 参数修改完成后，可以单击“修改历史”页签查看参数修改的历史。 在“修改历史”页签中可以查看如下信息： 参数名：被修改过的参数名。 旧值：修改前的参数值。 新值：修改后的参数值。 修改时间：记录用户修改参数值的时间。

一键部署客户端 准备Linux弹性云服务器。 使用一键部署客户端工具，建议Linux弹性云服务器的操作系统类型为EulerOS，CentOS，Ubuntu和SUSE。具体操作请参见准备弹性云服务器。 下载客户端一键部署工具。 使用SSH登录工具（如PuTTY）通过“弹性IP”远程登录到Linux弹性云服务器，然后执行如下命令，获取客户端一键部署工具： curl -O -k "https://cloudtable-publish.obs.myhuaweicloud.com/quick_start_hbase_shell.sh" 此命令适用于HBase 1.x版本。 curl -O -k "https://cloudtable-publish.obs.myhuaweicloud.com/cloudtable-client/quick_start_hbase_shell.sh" 此命令适用于HBase 2.x版本。 一键部署包内置校验文件。 准备集群访问地址。 登录表格存储服务管理控制台，在左侧导航树单击集群管理，然后在集群列表中找到所需要的集群，并获取相应的“ZK链接地址（内网）”。该参数值就是集群访问地址，如图1所示。 图1 ZK链接地址 使用工具部署客户端。 请将以下命令中的"$zookeeper_address"参数替换为3获取的ZK链接地址，然后在弹性云服务器命令行窗口，执行该命令一键部署客户端。 普通集群一键部署命令。 source quick_start_hbase_shell.sh $zookeeper_address 安全集群一键部署命令。 source quick_start_hbase_shell $zookeeper_address enable 启动Shell访问集群。 在上一步执行source命令自动部署客户端后，就已自动启动了HBase Shell。在后续使用过程中，您也可以执行“bin/hbase shell”命令启动Shell访问集群。

为Linux弹性 云服务器配置 DNS地址和hosts文件 当您通过一键部署客户端的方法安装HBase Shell时，不需要执行本操作。其他情况下，请参照以下方法为Linux弹性云服务器配置 DNS地址 和hosts。 配置/etc/hosts。 将主机IP配置到/etc/hosts文件，可以加速访问CloudTable集群。 为Linux弹性云服务器配置"/etc/hosts"的操作方法如下： 以root用户登录Linux弹性云服务器。 执行“hostname”，查询主机名。 [root@euler ~]# hostname euler.novalocal 执行“ifconfig”，查询本机IP。 图2 查询IP 执行“vi /etc/hosts”命令，编辑文件，增加主机配置。 192.168.0.58 euler.novalocal 127.0.0.1 euler.novalocal 按“Esc”键，并输入“:wq”，保存退出。 执行如下命令，查看IP地址是否写入成功。 cat /etc/hosts 执行如下命令，验证是否能够解析主机名。 ping 主机名 配置DNS。 DNS服务器用于解析CloudTable集群相关链接地址（例如ZK链接地址）中的 域名 。请根据CloudTable集群所在的区域，设置相应区域的内网DNS地址，各个区域的DNS地址请参见《云解析服务常见问题》中的内网DNS地址是多少？。 为Linux弹性云服务器配置DNS的操作方法如下： 以root用户登录Linux弹性云服务器。 执行“vi /etc/resolv.conf”命令，编辑“/etc/resolv.conf”文件，增加“nameserver”配置。 在已有的公网IP地址之前新增两行写入DNS服务器IP地址，格式如下： nameserver 100.125.1.250 按“Esc”键，并输入“:wq”，保存退出。 执行如下命令，查看IP地址是否写入成功。 cat /etc/resolv.conf 执行如下命令，验证访问域名是否可以解析到IP地址。 ping 访问域名 访问域名请输入CloudTable集群的相关链接地址（例如ZK链接地址）中的域名。请在表格存储服务管理控制台，单击集群名称，进入集群基本信息页面，获取CloudTable的相关链接地址。所获取的链接地址包含了以逗号分隔的3个内网域名，您可以ping其中任意一个内网域名。

查看监控信息 登录表格存储服务管理控制台。 单击管理控制台左上角的，选择区域。 在左侧导航树，单击集群管理。 在集群列表中找到需要查看的集群，在对应的操作列中，单击查看监控信息，系统会跳到该集群的“云服务监控”页面。 待查看集群，其状态必须为“服务中”。 在集群的“云服务监控”页面中，单击集群ID前的按钮展开计算单元列表，选择对应节点查看监控信息。 ID：所监控的实例ID，即CloudTable集群ID。 查看监控指标：找到所需查看的计算单元，单击“查看监控指标”进入该计算单元的监控指标页面。 如果您查看监控页面的指标太多，可以对指标进行设置，设置自己需要查看的指标。 如果指标太多，可以通过设置监控指标页面对指标进行删除。 如果页面显示的指标没有您想看的指标，可以在设置监控指标页面进行添加。 选择您在页面中要展示的指标名称，拖动选中指标可以对指标进行排序。 图1 设置指标图

查看HBase集群详情 集群创建完成后，可对集群进行监控和管理。在CloudTable管理控制台单击集群管理，在集群列表中找到所要查看的集群并单击集群名称，进入集群基本信息页面，用户可查看集群信息和集群的网络配置。 集群基本信息参数说明如表1和表2所示。 表1 集群信息 参数 参数说明 集群名称 集群的名称，创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 已使用存储容量（GB） 显示已经使用的存储容量。 计费模式 显示集群的计费模式。 集群版本 集群内核版本。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源（如具有相同使用用途的资源）集中在一起，按企业项目的方式来管理云资源。 说明： 当企业业务发生变化，原用户不再拥有企业项目的使用权限时，可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后，该用户将无法管理该企业项目，如需再次使用，需要重新给该用户关联企业项目。 ZK链接地址（内网） Zookeeper地址。 用户可以单击，将ZK链接地址复制到剪切板。 热存储已使用容量 集群开启冷热分离高级特性，热数据的存储容量。 冷存储已使用容量 集群开启冷热分离高级特性，冷数据的存储容量。 是否开启安全通道 如果界面显示“否”，表示未开启安全通道；如果界面显示“是”，表示开启安全通道。 是否开启Thrift Server 如果界面显示“否”，表示未开启Thrift Server；如果界面显示“是”，表示开启Thrift Server，并且显示Thrift Server的IP地址。 Thrift Server IP 如果开启Thrift Server，集群详情页面会显示此字段；如果未开启Thrift Server，集群详情页面不显示此字段。 数据库引擎 HBase。 进入只读模式阈值 当集群存储达到某一阈值后，如果继续向存储写入数据，存储会写满，可能会导致性能以及其他功能问题。因此需要给集群设置阈值，当达到设置的阈值后，集群进入只读模式，并发出告警提示用户及时处理集群状态。阀值默认值是85%，取值范围70到90之间。 说明： Core节点存储规格为“普通IO”时，不支持只读模式。 是否为只读模式 “是”代表阀值达到设置的值；“否”代表阀值未达到设置的值。 表2 网络配置 参数 参数说明 区域 集群的工作区域，在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 子网 子网信息，创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 Master节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G。 8U16G。 8U32G。 16U32G。 16U64G。 32U64G。 存储规格 默认超高IO。 节点数量 默认2个master节点。 表4 Core节点配置 参数 参数说明 计算节点 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明： 支持的计算规格： 4U16G 8U16G 8U32G 16U32G 16U64G 32U64G 32U128G 64U128G 存储规格 选择HBase计算节点的磁盘规格、容量。 说明： 支持的存储规格： 普通IO。 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~30000GB/节点。 节点数量 选择集群中的节点个数，节点范围2~20。 父主题： 管理HBase集群

集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时，其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时，集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常，比如，可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足，则其状态为“冻结”。 当集群状态为“冻结”时，您需要通过续费保证账户余额不为0才能解冻，详细操作请参见如何续费？。 说明： 冻结期间集群不可用且关闭集群中所有云主机，解冻后集群自动恢复为“服务中”状态。如果用户没有续费，冻结期限到期后集群会被删除。

HBase使用流程 CloudTable HBase集群模式提供了基于Apache HBase的分布式、可伸缩、全托管的NoSQL数据存储系统，它提供了毫秒级的随机读写能力，适用于海量结构化数据、半结构化数据存储和查询应用。 HBase集群创建成功后，用户可通过以下方式访问HBase集群： 使用客户端访问集群。 详情请参见此章节：使用HBase：介绍了如何使用HBase Shell访问集群等内容。 调用开源原生接口，开发HBase应用，通过CloudTable HBase链接地址访问集群。 详情请参见《表格存储服务开发指南》。 图1 HBase使用流程 表1 HBase使用流程 流程 子任务 说明 详细指导 准备工作 创建用户并授权使用CloudTable 使用CloudTable HBase之前，您需要注册华为云账号并进行实名认证，给新账号授权。 将策略授予用户组，并将用户添加至用户组中从而使用户拥有对应的服务权限。 创建用户并授权使用CloudTable 创建集群 创建HBase集群 使用HBase执行任务前，需要创建一个HBase集群。 创建HBase集群 下载客户端 下载HBase客户端 创建集群后，需要下载客户端并安装客户端，安装客户端后，用户才可以借助SSH工具连接集群。 使用HBase Shell连接HBase集群 准备弹性云服务 - 如果客户端工具的运行环境为Linux环境，您需要准备一台和HBase集群在相同虚拟私有云的Linux弹性云服务器作为客户端主机。 如果客户端工具的运行环境为Windows环境，您需要准备一台和HBase集群在相同虚拟私有云的Windows弹性云服务器作为客户端主机。 准备弹性云服务器 安装客户端 - 将下载的客户端放入ECS，解压安装客户端。 手动安装客户端 连接集群 - 在ECS安装好MySQL客户端后，可用命令连接集群并进行业务操作。 连接HBase集群 父主题： 使用HBase

数据回源 如果数据上传逻辑不做改变，则可使用OBS的“数据回源”功能，在文件访问请求到达OBS而OBS桶里没有该文件时，可通过“数据回源”将客户端请求重定向到设定的源站并异步地从源站将数据拉取到OBS存储下来，架构如下： 详细流程说明： 客户端向华为CDN发起获取文件的请求 华为CDN回源到华为OBS请求文件，OBS侧事先配置好数据回源，当请求的文件不存在时，会响应302重定向到配置的源站（此处为其他云对象存储） 华为CDN接收到OBS返回的302请求 OBS异步从客户配置的源站请求文件 华为CDN处理302跳转到其他云对象存储侧获取数据 其他云对象存储响应华为CDN的文件请求 华为CDN将文件内容返回给客户端，当下次客户端请求同样的文件时，华为CDN直接回源到OBS获取。 “数据回源”功能是被动触发式，即只有向OBS发起请求后OBS才会到设置的源站将数据拉取过来，所以当一个新文件上传到其他云对象存储后，建议业务应用程序向OBS触发一个GET请求来请求数据（发起GET请求后可关闭连接，无需接收实体数据）。另外该架构会在其他云对象存储侧产生两份数据流量（针对同一个文件，CDN拉取一次，OBS拉取一次）。

应用场景 CDN是构建在现有互联网基础之上的一层智能虚拟网络，通过在网络各处部署节点服务器，实现将源站内容分发至所有CDN节点，使用户可以就近获得所需的内容，所以接入CDN的网站都能有比较快的响应速度。 Web应用防火墙 （WAF：Web Application Firewall），通过对HTTP(S)请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击，保护Web服务安全稳定。 如果您的网站对安全性能要求比较高，同时又有加速的需求，可以使用华为云CDN联动WAF配置，实现加速的同时防护Web攻击，全面提升网站防护能力。 本实践建立在用户已经开通CDN服务、准备好域名（www.example.com），且解析在华为云。 待加速的域名已在华为云完成备案。

数据准备 准备项 说明 示例 网站域名 游戏网站域名。如果您的服务范围是“中国大陆”或者“全球”，根据中国《互联网管理条例》的要求，此域名必须在工信部备案并在有效期内才可以使用 CDN加速 。 域名在华为云备案请参考备案。 download.game-apk1.com（已备案） OBS桶 版本号为3.0以上的OBS存储桶。 桶策略为公共读，未开通静态网站托管。 支持CDN加速的区域：华北-北京一、华北-北京四、华东-上海一、华南-广州、华南-广州-友好用户环境、西南-贵阳一。 obs-doc-test01

方案概述 华为云CDN可以有效加速网站，为用户提供良好的体验。通过CDN加速搭建在ECS服务器上的网站，这样构造的业务系统可以在降低成本的同时，提高终端用户使用感受。 业务流程：当终端用户发起访问请求时，会首先通过CDN查找对此域名响应速度较快的CDN节点，并查询此节点是否有缓存终端用户请求的内容。如果CDN节点有缓存用户所需资源，直接将资源返回给用户；如果CDN节点无缓存，则回源请求资源返回给用户，同时将资源缓存到CDN节点。

资源与成本规划 本实践所需资源请见下表。 资源 资源说明 每月费用 内容分发网络 CDN 流量/带宽：用户访问CDN节点产生的流量/带宽，“计费方式”“流量计费”时可购买流量包抵扣。 具体的计费方式及标准请参考计费说明。 对象存储服务 OBS 流量：CDN回源OBS时会产生公网流出费用，按需计费，版本为3.0以上的桶且以“OBS桶域名”形式接入CDN可购买回源流量包抵扣。 具体的计费方式及标准请参考OBS计费说明。

KMS加密文件配置 CDN默认无法读取OBS桶中的加密文件，如果您的OBS桶存在此类文件，建议您慎重开启CDN加速，避免加密对象泄露。如果您因业务需求，需要加速OBS桶中的KMS加密文件，请注意： 如果您的OBS桶是公有桶，CDN将无法读取桶中的KMS加密文件，从而导致回源失败，用户无法访问到加密文件。 解决方案：将公有桶中的加密文件转移到私有桶中，再接入CDN加速。 如果您的OBS桶是私有桶，需要为“CDNAccessPrivateOBS”委托配置“kms:cmk:get”和“kms:dek:crypto”权限。如此，CDN才能读取OBS私有桶中的KMS加密文件并加速，配置过程详见OBS委托授权。