云服务器内容精选
-
步骤 登录 表格存储服务 管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 参考下面表格配置集群的基本信息。 图1 区域 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前Doris支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时,才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项,集群到期后会自动续费,不勾选集群到期需要手动续费。 图2 集群和网络配置 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~32个字符。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 说明: 创建集群不支持子网IP与VPC IP相同,如果相同,请重新选择子网。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则,这些规则可以限定弹性云服务器的哪些端口或者协议可以访问,这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后,即受到这些访问规则的保护。不属于该安全组的弹性云服务器,是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组,或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息,请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 Doris内核版本 组件引擎版本。 CloudTable Doris集群规格说明:FE节点至少为3个,从而保证高可用。 切换内核版本时,需要重新选择规格,避免创建集群出现问题。 图3 FE节点配置 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情,请参见 表格存储 服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或5个。 图4 BE节点配置 表4 BE节点 云存储 配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G(此规格建议仅用于功能体验,生产环境建议使用8U及以上)。 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情,请参见表格存储服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 FE的小规格4U16G、高IO、容量200G、节点3个,免费赠送,用于客户体验。 小规格支持包周期和按需计费。 构买FE小规格后,不支持水平和磁盘扩容,支持规格扩容。 集群规格扩容后,不在赠送,按照扩容后的规格收费。 冷热分离正常收费。 表5 BE节点本地SSD盘配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 磁盘:支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 BE节点本地SSD盘不支持水平扩容、磁盘扩容与规格变更。 FE节点不支持本地SSD盘。 图5 密码设置 表6 用户名密码参数 参数 参数说明 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 用户名 Doris管理用户,用于连接Doris集群,默认为admin,不可修改。 密码 设置admin用户密码。 密码复杂度要求如下: 8~12个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符(¥@¥!%*?&)。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明: 请妥善保管并定期更新密码,避免安全风险。 确认密码 设置admin用户密码。 是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景, 仅支持创建时开启。 是否开启https 是否开启https访问通道加密,https协议端口为8050。 说明: 开启https时连接集群只能使用MySQL8及以上客户端,连接端口为9030,使用方法请参见连接客户端。 创建集群开启https选项,后续无法关闭。 创建集群未开启https选项,后续无法开启。 是否开启接口认证 开启后,集群内rest接口需要添加账号密码认证,但同时会略微降低集群性能。 说明: 开启https选项后,显示此字段。 此功能只在Doris2.0.5及以上版本显示。 开启该选项后,再使用Doris集群内的rest接口,如:修改参数、获取集群监控数据等接口需要添加账号密码认证。 是否开启冷热分离 打开开关,集群支持冷热分离特性,将数据分类存储在不同介质上,有效降低存储成本。关闭开关,集群不支持冷热分离特性。 配置好参数,单击“立即购买”。 进“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务。 单击“返回集群管理列表”,可以查看到集群创建的状态。 集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月,单击提交,成功提交集群创建任务。 单击“去支付”,跳转到购买页面,确认信息后,选择合适的支付方式,确认付款。 返回控制台,查看集群状态,集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。
-
步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 参考下面表格配置集群的基本信息。 图1 区域图 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前ClickHouse支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时,才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项,集群到期后会自动续费,不勾选集群到期需要手动续费。 图2 集群网络配置 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~32个字符。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 说明: 创建集群不支持子网IP与VPC IP相同,如果相同,请重新选择子网。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则,这些规则可以限定弹性云服务器的哪些端口或者协议可以访问,这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后,即受到这些访问规则的保护。不属于该安全组的弹性云服务器,是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组,或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息,请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 Clickhouse内核版本 默认即可。 集群高可用 开启集群高可用:在单个节点(分片)提供2个副本,默认3个Zookeeper节点。 关闭集群高可用:提供单节点clickhouse,仅用于测试,单节点clickhouse提供一个副本、一个分片,不支持水平扩容,该模式不可用于生产环境。 说明: 单节点不支持扩容,不支持数据迁移。 单节点用户非生产环境。 单节点用户需要建立非Replicate表。 建表示例: CREATE TABLE test_p (`EventDate` DateTime,`CounterID` UInt32,`UserID` UInt32,`ver` UInt16)ENGINE = ReplacingMergeTree()PARTITION BY sipHash64(CounterID) ORDER BY (CounterID, EventDate, intHash32(UserID))SAMPLE BY intHash32(UserID)SETTINGS index_granularity = 8192; 图3 计算节点配置 表3 计算节点参数说明 参数 参数说明 云存储 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 4U32G。 8U32G。 8U64G。 16U64G。 16U128G。 32U128G。 32U256G。 64U256G。 64U512G。 128U512G。 存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD(不支持扩容) 计算规格 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 默认支持本地SSD盘。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 图4 ZooKeeper节点 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U8G(此规格不能用于生产环境)。 4U16G。 8U32G。 16U64G。 32U128G。 存储规格 默认超高IO数据盘,容量100GB/节点。 节点数量 集群中的节点数量,默认为3。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。详细步骤请参见企业管理用户指南。 图5 设置密码 配置好参数,单击“立即购买”。 进“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务。 单击“返回集群管理列表”,可以查看到集群创建的状态。 集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月,单击提交,成功提交集群创建任务。 单击“去支付”,跳转到购买页面,确认信息后,选择合适的支付方式,确认付款。 返回控制台,查看集群状态,集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。
-
连接客户端 安全集群创建后,打开详情页面,下载证书。 下载证书后,自定义存放路径。 连接集群。 ./mysql -uadmin -h集群内网地址 -P端口 --ssl-ca={path}/certificate.crt --ssl-mode=VERIFY_CA -ppassword 内网地址:所连接集群的内网地址。 path:证书存放的路径。 端口:FE上的mysql server端口9030。 password:指创建集群时设置的密码。 {path}/certificate.crt:存放下载证书的路径。 开启https后需要使用mysql8及以上客户端。
-
下载安全证书 安全集群创建后,打开详情页面,下载证书。 下载证书后,自定义存放路径。 通过https协议执行样例sql。 curl -X POST -H 'Content-Type: text/plain' --cacert {path}/certificate.crt -uadmin https://host:port/api/query_schema/internal/test_db -d@1.sql 参数描述: certificate.crt:指下载的证书。 -uadmin:集群的用户名,默认admin。 host:port:host指的是内网地址,port指的是https协议端口。 test_db:指定数据库名称。 1.sql:指写入sql语句的文件。 path:证书存放的路径。
-
查看步骤 创建Catalog。 CREATE CATA LOG jdbc_mysql PROPERTIES ( "type"="jdbc", "user"="root", "password"="******", "jdbc_url" = "JDBC连接串", "driver_url" = "mysql-connector-java-8.0.25.jar", "driver_class" = "com.mysql.cj.jdbc.Driver" ); 查看Catalog。 show catalogs; 图1 查看Catalog 切换到创建的Catalog:switch Catalog名称。 图2 切换到创建的Catalog 查看映射过来的数据库。 show databases; 图3 查看数据库 使用数据库。 use 数据库名; 图4 使用数据库 查看数据库表。 show tables; 图5 查看数据库表
-
语法 CREATE CATALOG [IF NOT EXISTS] catalog_name PROPERTIES ("key"="value", ...); 表1 参数说明 参数 必须 默认值 说明 user 是 - 对应数据库的用户名。 password 是 - 对应数据库的密码。 jdbc_url 是 - JDBC连接串。 driver_url 是 - JDBC Driver Jar包名称。 driver_class 是 - JDBC Driver Class名称。 lower_case_table_names 否 "false" 是否以小写的形式同步jdbc外部数据源的库名和表名。 only_specified_database 否 "false" 指定是否只同步指定的database。 include_database_list 否 "" 当only_specified_database=true时,指定同步多个database,以‘,’分隔。db名称是大小写敏感的。 exclude_database_list 否 "" 当only_specified_database=true时,指定不需要同步的多个database,以‘,’分割。db名称是大小写敏感的。 driver_url可以通过以下三种方式指定: 文件名。如mysql-connector-java-5.1.47.jar。需将Jar包预先存放在FE和BE部署目录的jdbc_drivers/目录下。系统会自动在这个目录下寻找。 本地绝对路径。如file:///path/to/mysql-connector-java-5.1.47.jar。需将Jar包预先存放在所有FE/BE节点指定的路径下。 Http地址。如:https://doris-community-test-1308700295.cos.ap-hongkong.myqcloud.com/jdbc_driver/mysql-connector-java-5.1.47.jar。系统会从这个http地址下载Driver文件。仅支持无认证的http服务。 only_specified_database: 在jdbc连接时可以指定链接到哪个database/schema,如:mysql中jdbc_url中可以指定database, pg的jdbc_url中可以指定currentSchema。 include_database_list: 仅在only_specified_database=true时生效,指定需要同步的database,以‘,’分割,db名称是大小写敏感的。 exclude_database_list: 仅在only_specified_database=true时生效,指定不需要同步的多个database,以‘,’分割,db名称是大小写敏感的。 当include_database_list和exclude_database_list有重合的database配置时,exclude_database_list会优先生效。 如果使用该参数时连接oracle数据库,要求使用ojdbc8.jar以上版本jar包。
-
续费说明 目前CloudTable 集群模式提供按需计费和包年包月计费方式。 对于按需计费方式,系统会按小时扣减费用,只要您账户上有足够余额,就可以一直使用服务。 对于包年/包月模式,您在购买时一次性付费,使用过程中不会再额外计费。包周期到期后,资源会依次进入宽限期、保留期,如果需要继续使用,请及时续费。详情请参见资源到期说明。 当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。 保留期内如您仍未给账户充值,则保留期到期后服务资源和数据会被删除,且无法恢复。 在保留期到期之前,您可进行账户充值操作。充值成功后,会优先扣减欠款,并同时解冻服务资源,您可以继续正常使用服务。 请参见以下指导完成自助续费,以确保服务正常使用。
-
CloudTable 集群能够提供什么服务? 表格存储服务(CloudTable Service,简称CloudTable)为用户提供专属集群,即开即用,适合业务吞吐量大,时延要求低的用户。 CloudTable提供基于HBase全托管的NoSQL服务,提供毫秒级随机读写能力,适用于海量(半)结构化、时空、时序数据存储,可被广泛应用于物联网、车联网、金融、智慧城市、气象等行业。 CloudTable提供基于Doris全托管的实时数仓服务,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也可以支持高吞吐的复杂分析场景。因此,Doris能够较好的满足报表分析、即席查询、统一数仓构建、 数据湖 联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 父主题: 通用类
-
处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。 create database demo; 使用数据库demo。 use demo; 创建表格test,显示结果如图1所示,其他节点不存在数据库demo。 CREATE TABLE demo.test ON CLUSTER default_cluster(`EventDate` DateTime, `id` UInt64)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default/test', '{replica}') PARTITION BY toYYYYMM(EventDate) ORDER BY id; 解决办法,在其他节点上创建数据库demo,在创建表格,结果如下图所示。 图2 创建表格结果示意图 方法二: 删除数据库,用此命令创建后,每个节点都会创建的数据库。 create database demo ON CLUSTER default_cluster; 在创建表格就不会出现图中所示问题。
-
能直接通过ssh访问CloudTable的计算节点吗? 不能。CloudTable的底层计算单元运行在一个VPC网络中,VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境,为您的数据提供了一层保护。您只能使用客户端工具或者应用程序连接到CloudTable的ZK链接地址(即HBase的连接地址)对CloudTable进行访问。 OpenTSDB功能目前只适用于HBase的1.3.1版本。 父主题: 连接访问类
-
处理方法 删除其他节点上的表格以及存放的数据,可解决此问题。 创建数据库。 create database demo ON CLUSTER default_cluster; 使用数据库,在新建的数据库中创建表。 use demo; 创建表test。 CREATE TABLE demo.test ON CLUSTER default_cluster(`EventDate` DateTime, `id` UInt64)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default/test', '{replica}') PARTITION BY toYYYYMM(EventDate) ORDER BY id; 删除表格。 drop table test SYNC; 再次创建同名表格,出现以下现象。 ┌─host──────────┬─port─┬─status─┬─error──────────────────────────────────────────────────────────────────────────────────────────────┬─num_hosts_remaining─┬─num_hosts_active─┐ │ 192.168.2.185 │ 9000 │ 57 │ Code: 57. DB::Exception: Table demo.test already exists. (TABLE_ALREADY_EXISTS) (version 22.3.2.1) │ 1 │ 1 │ └───────────────┴──────┴────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────┴──────────────────┘ ┌─host─────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐ │ 192.168.2.16 │ 9000 │ 0 │ │ 0 │ 0 │ └──────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘ 方法一:用以下删除命令会删除每个节点上的表以及存放的相关数据。 drop table test ON CLUSTER default_cluster SYNC; 创建同名表格,创建成功。 方法二:进入其他节点删除表格。 drop table test SYNC;
-
SQL命令 创建CATALOG的SQL命令以及参数说明。 CREATE CATALOG hive_catalog_OBS PROPERTIES ( 'type'='hms', 'hive.metastore.uris' = 'thrift://192.x.x.x:port,thrift://192.x.x.x:port', 'hive.metastore.sasl.enabled' = 'true', 'hive.server2.thrift.sasl.qop'='auth-conf', 'hive.server2.authentication' = 'KERBEROS', 'hive.server2.authentication.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM', 'hive.metastore.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM', 'hadoop.security.authentication'='kerberos', 'hadoop.kerberos.principal' = 'USER_NAME', 'hive.version' = '3.1.0', 'fs.defaultFS'='hdfs://hacluster', 'hadoop.rpc.protection'='privacy', 'AWS_AC CES S_KEY' = '***', 'AWS_SECRET_KEY' = '***', 'AWS_ENDPOINT' = 'obs.cn-north-7.ulanqab.huawei.com', 'AWS_REGION' = 'cn-north-7', 'yarn.resourcemanager.address' = '192.X.X.X:port', 'yarn.resourcemanager.principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM' ); 表2 参数说明 参数 说明 type 对接外部数据类型。 hive.metastore.uris hive元数据uri,可在hive-site.xml配置文件查看。 hive.metastore.sasl.enabled 可在hive-site.xml配置文件查看。 hive.server2.thrift.sasl.qop 可在hive-site.xml配置文件查看。 hive.server2.authentication 认证类型,在集群连接页面查看。 hive.server2.authentication.kerberos.principal 可在hive-site.xml配置文件查看。 hive.metastore.kerberos.principal 可在hive-site.xml配置文件查看。 hadoop.security.authentication 可在core-site.xml配置文件查看。 hadoop.kerberos.principal \ hive.version Hive版本。 fs.defaultFS 可在core-site.xml配置文件查看。 hadoop.rpc.protection 可在core-site.xml配置文件查看。 AWS_ACCESS_KEY access key,获取方式请参见 对象存储服务 的获取访问密钥(AK/SK)章节。 AWS_SECRET_KEY secret key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_ENDPOINT obs地址,获取方式见请参见对象存储服务的获取终端节点章节。 AWS_REGION obs region,在obs页面查看。 参数获取方法。 连接mrs集群,请参见使用mrs客户端章节。 进入client目录下,显示出 MRS 的全部组件,目前使用的组件有HDFS和Hive组件。 cd /opt/Bigdata/client/ HDFS组件中包含了core-site.xml、hdfs-site.xml配置文件,Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件,查找相关参数。 vim hdfs-site.xml Hive组件查看。 /opt/Bigdata/client/Hive/config/hive-site.xml 打开hive-site.xml配置文件,查找相关参数。 vim hive-site.xml catalog中的obs指的是obs桶,不是obs并行文件系统,目前还不支持obs并行文件系统。
-
BE节点支持的监控指标 BE节点监控指标如表2所示。 表2 BE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期(原始指标) 命名空间 doris_be_active_scan_context_count 由外部直接打开的scanner的个数 - ≥0 60s SYS.CloudTable doris_be_add_batch_task_queue_size 接收batch的线程池的队列大小 - ≥0 60s SYS.CloudTable doris_be_brpc_endpoint_stub_count 已创建的brpc stub的数量(BE) 这些stub用于BE之间的交互 ≥0 60s SYS.CloudTable doris_be_brpc_function_endpoint_stub_count 已创建的brpc stub的数量(Remote RPC) 这些stub用于和Remote RPC之间交互 ≥0 60s SYS.CloudTable doris_be_cache_usage_LastestSuccessChannelCache LRU ChannelCache使用率 LRU DataPageCache使用率 [0%,100%] 60s SYS.CloudTable doris_be_cache_usage_ratio_DataPageCache LRU DataPageCache使用率 - [0%,100%] 60s SYS.CloudTable doris_be_cache_usage_ratio_IndexPageCache LRU IndexPageCache使用率 - [0%,100%] 60s SYS.CloudTable doris_be_cache_usage_ratio_SegmentCache LRU SegmentCache使用率 - [0%,100%] 60s SYS.CloudTable doris_be_cache_hit_ratio_DataPageCache LRU DataPageCache命中率 数据Cache,直接影响查询效率 [0%,100%] 60s SYS.CloudTable doris_be_cache_hit_ratio_IndexPageCache LRU IndexPageCache命中率 索引Cache,直接影响查询效率 [0%,100%] 60s SYS.CloudTable doris_be_cache_hit_ratio_LastestSuccessChannelCache LRU ChannelCache命中率 - [0%,100%] 60s SYS.CloudTable doris_be_cache_hit_ratio_SegmentCache LRU SegmentCache命中率 - [0%,100%] 60s SYS.CloudTable doris_be_chunk_pool_local_core_alloc_count ChunkAllocator中,从绑定的core的内存队列中分配内存的次数 - ≥0 60s SYS.CloudTable doris_be_chunk_pool_other_core_alloc_count ChunkAllocator中,从其他的core的内存队列中分配内存的次数 - ≥0 60s SYS.CloudTable doris_be_chunk_pool_reserved_bytes ChunkAllocator中预留的内存大小 - ≥0 Byte 60s SYS.CloudTable doris_be_chunk_pool_system_alloc_cost_ns SystemAllocator申请内存的耗时 累计值通过斜率可以观测内存分配的耗时 ≥0 ns 60s SYS.CloudTable doris_be_chunk_pool_system_alloc_count SystemAllocator申请内存的次数 - ≥0 60s SYS.CloudTable doris_be_chunk_pool_system_free_cost_ns SystemAllocator释放内存的耗时累计值 通过斜率可以观测内存释放的耗时 ≥0 ns 60s SYS.CloudTable doris_be_chunk_pool_system_free_count SystemAllocator释放内存的次数 - ≥0 60s SYS.CloudTable doris_be_compaction_bytes_total_base Base Compaction的数据量 累计值 ≥0 Byte 60s SYS.CloudTable doris_be_compaction_bytes_total_cumulative Cumulative Compaction的数据量 累计值 ≥0 60s SYS.CloudTable doris_be_compaction_deltas_total_base Base Compaction处理的rowset个数 累计值 ≥0 60s SYS.CloudTable doris_be_compaction_deltas_total_cumulative Cumulative Compaction处理的rowset个数 累计值 ≥0 60s SYS.CloudTable doris_be_compaction_waitting_permits 正在等待Compaction令牌的数量 - ≥0 60s SYS.CloudTable doris_be_data_stream_receiver_count 数据接收端Receiver的数量 - ≥0 60s SYS.CloudTable doris_be_data_stream_receiver_count 数据接收端Receiver的数量 同doris_be_data_stream_receiver_count ≥0 60s SYS.CloudTable doris_be_fragment_request_duration_us 所有fragment intance的执行时间 累计值通过斜率观测 instance 的执行耗时 ≥0 us 60s SYS.CloudTable doris_be_fragment_requests_total 执行过的fragment instance的数量 累计值 ≥0 60s SYS.CloudTable doris_be_load_channel_count 当前打开的load channel个数 数值越大,说明当前正在执行的导入任务越多 ≥0 60s SYS.CloudTable doris_be_mem_consumption_tablet_meta tablet_meta模块的当前总内存开销 - ≥0 60s SYS.CloudTable doris_be_mem_consumption_load load模块的当前总内存开销 - ≥0 Byte 60s SYS.CloudTable doris_be_memory_allocated_bytes TcMalloc占用的虚拟内存的大小 - ≥0 Byte 60s SYS.CloudTable doris_be_memory_pool_bytes_total 所有MemPool当前占用的内存大小 - ≥0 Byte 60s SYS.CloudTable doris_be_memtable_flush_duration_us memtable写入磁盘的耗时 累计值通过斜率可以观测写入延迟 ≥0 us 60s SYS.CloudTable doris_be_memtable_flush_total memtable写入磁盘的个数 累计值通过斜率可以计算写入文件的频率 ≥0 60s SYS.CloudTable doris_be_meta_request_duration_read 访问RocksDB中的meta的读取耗时 - ≥0 us 60s SYS.CloudTable doris_be_meta_request_duration_write 访问RocksDB中的meta的写入耗时 - ≥0 us 60s SYS.CloudTable doris_be_meta_request_total_read 访问RocksDB中的meta的读取次数 累计值 ≥0 60s SYS.CloudTable doris_be_meta_request_total_write 访问RocksDB中的meta的写入次数 累计值 ≥0 60s SYS.CloudTable doris_be_plan_fragment_count 当前已接收的fragment instance的数量 观测是否出现instance堆积 ≥0 60s SYS.CloudTable doris_be_process_fd_num_limit_hard BE进程的文件句柄数硬限 - ≥0 60s SYS.CloudTable doris_be_process_fd_num_limit_soft BE进程的文件句柄数软限 - ≥0 60s SYS.CloudTable doris_be_process_fd_num_used BE进程已使用的文件句柄数 - ≥0 60s SYS.CloudTable doris_be_process_thread_num BE进程线程数 - ≥0 60s SYS.CloudTable doris_be_query_cache_memory_total_byte Query Cache占用字节数 - ≥0 Byte 60s SYS.CloudTable doris_be_query_cache_partition_total_count 当前Partition Cache缓存个数 - ≥0 60s SYS.CloudTable doris_be_query_cache_sql_total_count 当前SQL Cache缓存个数 - ≥0 60s SYS.CloudTable doris_be_query_scan_bytes 读取数据量的累计值 只统计读取Olap表的数据量 ≥0 Byte 60s SYS.CloudTable doris_be_query_scan_bytes_per_second 读取速率 - ≥0 Byte/s 60s SYS.CloudTable doris_be_query_scan_rows 读取行数 累计值只统计读取Olap表的数据量,通过斜率观测查询速率。 ≥0 60s SYS.CloudTable doris_be_result_block_queue_count 当前查询结果缓存中的fragment instance个数 该队列仅用于被外部系统直接读取时使用 ≥0 60s SYS.CloudTable doris_be_result_buffer_block_count 当前查询结果缓存中的query个数 该数值反映当前BE中有多少查询的结果正在等待FE消费 ≥0 60s SYS.CloudTable doris_be_routine_load_task_count 当前正在执行的routine load task个数 - ≥0 60s SYS.CloudTable doris_be_rowset_count_generated_and_in_use 自上次启动后,新增的并且正在使用的rowset id个数 - ≥0 60s SYS.CloudTable doris_be_scanner_thread_pool_queue_size 用于OlapScanner的线程池的当前排队数量 - ≥0 60s SYS.CloudTable doris_be_segment_read_segment_read_total 读取的segment的个数 累计值 ≥0 60s SYS.CloudTable doris_be_segment_read_segment_row_total 读取的segment的行数 累计值该数值也包含了被索引过滤的行数 ≥0 60s SYS.CloudTable doris_be_send_batch_thread_pool_queue_size 导入时用于发送数据包的线程池的排队个数 - ≥0 60s SYS.CloudTable doris_be_send_batch_thread_pool_thread_num 导入时用于发送数据包的线程池的线程数 - ≥0 60s SYS.CloudTable doris_be_small_file_cache_count 当前BE缓存的小文件数量 - ≥0 60s SYS.CloudTable doris_be_streaming_load_current_processing 当前正在运行的stream load任务数 仅包含curl命令发送的任务 ≥0 60s SYS.CloudTable doris_be_streaming_load_duration_ms 所有stream load任务执行时间的耗时 累计值 ≥0 60s SYS.CloudTable doris_be_streaming_load_requests_total stream load任务数 累计值通过斜率可观测任务提交频率。 ≥0 60s SYS.CloudTable doris_be_stream_load_pipe_count 当前stream load数据管道的个数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_load_rows stream load最终导入的行数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_receive_bytes stream load接收的字节数 包括stream load从http接收的数据,以及routine load从kafka读取的数据。 ≥0 Byte 60s SYS.CloudTable doris_be_tablet_base_max_compaction_score 当前最大的Base Compaction Score 该数值实时变化,有可能丢失峰值数据;数值越高,表示compaction堆积越严重。 ≥0 60s SYS.CloudTable doris_be_tablet_cumulative_max_compaction_score 当前最大的Cumulative Compaction Score - ≥0 60s SYS.CloudTable doris_be_thrift_connections_total_heartbeat 心跳服务的连接数 累计值 ≥0 60s SYS.CloudTable doris_be_thrift_connections_total_backend BE服务的连接数 累计值 ≥0 60s SYS.CloudTable doris_be_thrift_current_connections_heartbeat 心跳服务的当前连接数 - ≥0 60s SYS.CloudTable doris_be_thrift_current_connections_backend BE服务的当前连接数 - ≥0 60s SYS.CloudTable doris_be_timeout_canceled_fragment_count 因超时而被取消的fragment instance数量 这个值可能会被重复记录 ≥0 60s SYS.CloudTable doris_be_stream_load_txn_request_begin stream load开始事务数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_txn_request_commit stream load执行成功的事务数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_txn_request_rollback stream load执行失败的事务数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_unused_rowsets_count 当前已废弃的rowset的个数 这些rowset正常情况下会被定期删除 ≥0 60s SYS.CloudTable doris_be_load_bytes 通过tablet sink发送的数量 累计值可观测导入数据量 ≥0 Byte 60s SYS.CloudTable doris_be_load_rows 通过tablet sink发送的行数 累计值可观测导入数据量 ≥0 Byte 60s SYS.CloudTable doris_be_fragment_thread_pool_queue_size 当前查询执行线程池等待队列的长度 - ≥0 60s SYS.CloudTable doris_be_compaction_used_permits Compaction任务已使用的令牌数量 用于反映Compaction的资源消耗量 ≥0 60s SYS.CloudTable doris_be_upload_total_byte rowset数据量累计值 - ≥0 60s SYS.CloudTable
-
FE节点支持的监控指标 FE节点监控指标如表1所示。 表1 FE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期(原始指标) 命名空间 doris_fe_image_clean_failed 清理历史元数据镜像文件失败的次数 不应失败,如失败,需人工介入 ≥0 60s SYS.CloudTable doris_fe_image_clean_success 清理历史元数据镜像文件成功的次数 - ≥0 60s SYS.CloudTable doris_fe_image_push_success 将元数据镜像文件推送给其他FE节点的成功的次数 - ≥0 60s SYS.CloudTable doris_fe_image_write_failed 生成元数据镜像文件失败的次数 不应失败,如失败,需人工介入 ≥0 60s SYS.CloudTable doris_fe_image_write_success 生成元数据镜像文件成功的次数 - ≥0 60s SYS.CloudTable doris_fe_max_journal_id 当前FE节点最大元数据日志ID 如果是Master FE,则是当前写入的最大ID,如果是非Master FE,则代表当前回放的元数据日志最大ID;用于观察多个FE之间的id是否差距过大,过大则表示元数据同步出现问题。 ≥0 60s SYS.CloudTable doris_fe_max_tablet_compaction_score 所有BE节点中最大的compaction score值 该值可以观测当前集群最大的 compaction score,以判断是否过高,如过高则可能出现查询或写入延迟。 ≥0 60s SYS.CloudTable doris_fe_qps 当前FE每秒查询数量(仅统计查询请求) QPS ≥0 60s SYS.CloudTable doris_fe_query_err 错误查询的累积值 - ≥0 60s SYS.CloudTable doris_fe_query_err_rate 每秒错误查询数 - ≥0 60s SYS.CloudTable doris_fe_query_latency_ms_99 查询请求延迟的99分位的查询延迟 - ≥0 ms 60s SYS.CloudTable doris_fe_query_latency_ms_999 查询请求延迟的999分位的查询延迟 - ≥0 ms 60s SYS.CloudTable doris_fe_query_olap_table 查询内部表(OlapTable)的请求个数 - ≥0 60s SYS.CloudTable doris_fe_query_total 所有查询请求数 - ≥0 60s SYS.CloudTable doris_fe_report_queue_size BE的各种定期汇报任务在FE端的队列长度 该值反映了汇报任务在 Master FE 节点上的阻塞程度,数值越大,表示FE处理能力不足。 ≥0 60s SYS.CloudTable doris_fe_request_total 所有通过MySQL端口接收的操作请求(包括查询和其他语句) - ≥0 60s SYS.CloudTable doris_fe_routine_load_error_rows 集群内所有Routine Load作业的错误行数总和 - ≥0 60s SYS.CloudTable doris_fe_routine_load_receive_bytes 集群内所有Routine Load作业接收的数据量大小 - ≥0 Byte 60s SYS.CloudTable doris_fe_routine_load_rows 集群内所有Routine Load作业接收的数据行数 - ≥0 60s SYS.CloudTable doris_fe_rps 当前FE每秒请求数量(包含查询以及其他各类语句) 和 QPS 配合来查看集群处理请求的量。 ≥0 60s SYS.CloudTable doris_fe_scheduled_tablet_num Master FE节点正在调度的tablet数量 包括正在修复的副本和正在均衡的副本;该数值可以反映当前集群,正在迁移的 tablet 数量;如果长时间有值,说明集群不稳定。 ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_added Master FE节点被调度过的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_in_sched Master FE节点被重复调度的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_not_ready Master FE节点未满足调度触发条件的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_total Master FE节点的被检查过的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_unhealthy Master FE节点累积的被检查过的不健康的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_txn_counter_begin 提交的事务数量 - ≥0 60s SYS.CloudTable doris_fe_txn_counter_failed 失败的事务数量 - ≥0 60s SYS.CloudTable doris_fe_txn_counter_reject 被拒绝的事务数量 如当前运行事务数大于阈值,则新的事务会被拒绝。 ≥0 60s SYS.CloudTable doris_fe_txn_counter_success 成功的事务数量 - ≥0 60s SYS.CloudTable doris_fe_txn_exec_latency_ms_99 99分位的事务执行耗时 - ≥0 ms 60s SYS.CloudTable doris_fe_txn_exec_latency_ms_999 999分位的事务执行耗时 - ≥0 ms 60s SYS.CloudTable doris_fe_txn_publish_latency_ms_99 99分位的事务publish耗时 - ≥0 ms 60s SYS.CloudTable doris_fe_txn_publish_latency_ms_999 999分位的事务publish耗时 - ≥0 ms 60s SYS.CloudTable jvm_heap_size_bytes_max 最大堆内存 观测JVM内存使用情况。 ≥0 Byte 60s SYS.CloudTable jvm_heap_size_bytes_committed 已申请的堆内存 观测JVM内存使用情况。 ≥0 Byte 60s SYS.CloudTable jvm_heap_size_bytes_used 已使用的堆内存 观测JVM内存使用情况。 ≥0 Byte 60s SYS.CloudTable jvm_non_heap_size_bytes_committed 已申请的堆外内存 - ≥0 Byte 60s SYS.CloudTable jvm_non_heap_size_bytes_used 已使用堆外内存 - ≥0 Byte 60s SYS.CloudTable jvm_old_gc_coun 老年代GC次数 观测是否出现长时间的FullGC。 ≥0 60s SYS.CloudTable jvm_old_gc_time 老年代GC耗时 观测是否出现长时间的FullGC。 ≥0 ms 60s SYS.CloudTable jvm_old_size_bytes_used 老年代内存占用 - ≥0 Byte 60s SYS.CloudTable jvm_old_size_bytes_peak_used 老年代内存占用峰值 - ≥0 Byte 60s SYS.CloudTable jvm_old_size_bytes_max 老年代内存最大值 - ≥0 Byte 60s SYS.CloudTable jvm_thread_new_count 线程数峰值 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_new_count new状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_runnable_count runnable状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_blocked_count blocked状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_waiting_count waiting状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_terminated_coun terminated状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_young_gc_count 新生代GC次数 累计值 ≥0 60s SYS.CloudTable jvm_young_gc_time 新生代GC耗时 累计值 ≥0 ms 60s SYS.CloudTable jvm_young_size_bytes_used 新生代内存占用 - ≥0 Byte 60s SYS.CloudTable jvm_young_size_bytes_peak_used 新生代内存占用峰值 - ≥0 Byte 60s SYS.CloudTable jvm_young_size_bytes_max 新生代内存最大值 - ≥0 Byte 60s SYS.CloudTable doris_fe_cache_added_partition 新增的Partition Cache数量 累计值 ≥0 60s SYS.CloudTable doris_fe_cache_added_sql 新增的SQL Cache数量 累计值 ≥0 60s SYS.CloudTable doris_fe_cache_hit_partition 命中Partition Cache数 - ≥0 60s SYS.CloudTable doris_fe_cache_hit_sql 命中SQL Cache数 - ≥0 60s SYS.CloudTable doris_fe_connection_total 当前FE的MySQL端口连接数 用于监控查询连接数。如果连接数超限,则新的连接将无法接入 ≥0 60s SYS.CloudTable doris_fe_counter_hit_sql_block_rule 被SQL BLOCK RULE拦截的查询数量 - ≥0 60s SYS.CloudTable doris_fe_edit_log_clean_failed 清理历史元数据日志失败的次数 不应失败,如失败,需人工介入。 ≥0 60s SYS.CloudTable doris_fe_edit_log_clean_success 清理历史元数据日志成功的次数 - ≥0 60s SYS.CloudTable doris_fe_edit_log_read 元数据日志读取次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 60s SYS.CloudTable doris_fe_edit_log_write 元数据日志写入次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 60s SYS.CloudTable doris_fe_image_push_failed 将元数据镜像文件推送给其他FE节点的失败的次数 - ≥0 60s SYS.CloudTable
-
集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格