云服务器内容精选

  • 查看步骤 创建Catalog。 CREATE CATA LOG jdbc_mysql PROPERTIES ( "type"="jdbc", "user"="root", "password"="******", "jdbc_url" = "JDBC连接串", "driver_url" = "mysql-connector-java-8.0.25.jar", "driver_class" = "com.mysql.cj.jdbc.Driver" ); 查看Catalog。 show catalogs; 图1 查看Catalog 切换到创建的Catalog:switch Catalog名称。 图2 切换到创建的Catalog 查看映射过来的数据库。 show databases; 图3 查看数据库 使用数据库。 use 数据库名; 图4 使用数据库 查看数据库表。 show tables; 图5 查看数据库表
  • 语法 CREATE CATALOG [IF NOT EXISTS] catalog_name PROPERTIES ("key"="value", ...); 表1 参数说明 参数 必须 默认值 说明 user 是 - 对应数据库的用户名。 password 是 - 对应数据库的密码。 jdbc_url 是 - JDBC连接串。 driver_url 是 - JDBC Driver Jar包名称。 driver_class 是 - JDBC Driver Class名称。 lower_case_table_names 否 "false" 是否以小写的形式同步jdbc外部数据源的库名和表名。 only_specified_database 否 "false" 指定是否只同步指定的database。 include_database_list 否 "" 当only_specified_database=true时,指定同步多个database,以‘,’分隔。db名称是大小写敏感的。 exclude_database_list 否 "" 当only_specified_database=true时,指定不需要同步的多个database,以‘,’分割。db名称是大小写敏感的。 driver_url可以通过以下三种方式指定: 文件名。如mysql-connector-java-5.1.47.jar。需将Jar包预先存放在FE和BE部署目录的jdbc_drivers/目录下。系统会自动在这个目录下寻找。 本地绝对路径。如file:///path/to/mysql-connector-java-5.1.47.jar。需将Jar包预先存放在所有FE/BE节点指定的路径下。 Http地址。如:https://doris-community-test-1308700295.cos.ap-hongkong.myqcloud.com/jdbc_driver/mysql-connector-java-5.1.47.jar。系统会从这个http地址下载Driver文件。仅支持无认证的http服务。 only_specified_database: 在jdbc连接时可以指定链接到哪个database/schema,如:mysql中jdbc_url中可以指定database, pg的jdbc_url中可以指定currentSchema。 include_database_list: 仅在only_specified_database=true时生效,指定需要同步的database,以‘,’分割,db名称是大小写敏感的。 exclude_database_list: 仅在only_specified_database=true时生效,指定不需要同步的多个database,以‘,’分割,db名称是大小写敏感的。 当include_database_list和exclude_database_list有重合的database配置时,exclude_database_list会优先生效。 如果使用该参数时连接oracle数据库,要求使用ojdbc8.jar以上版本jar包。
  • 续费说明 目前CloudTable 集群模式提供按需计费和包年包月计费方式。 对于按需计费方式,系统会按小时扣减费用,只要您账户上有足够余额,就可以一直使用服务。 对于包年/包月模式,您在购买时一次性付费,使用过程中不会再额外计费。包周期到期后,资源会依次进入宽限期、保留期,如果需要继续使用,请及时续费。详情请参见资源到期说明。 当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。 保留期内如您仍未给账户充值,则保留期到期后服务资源和数据会被删除,且无法恢复。 在保留期到期之前,您可进行账户充值操作。充值成功后,会优先扣减欠款,并同时解冻服务资源,您可以继续正常使用服务。 请参见以下指导完成自助续费,以确保服务正常使用。
  • CloudTable 集群能够提供什么服务? 表格存储服务 (CloudTable Service,简称CloudTable)为用户提供专属集群,即开即用,适合业务吞吐量大,时延要求低的用户。 CloudTable提供基于HBase全托管的NoSQL服务,提供毫秒级随机读写能力,适用于海量(半)结构化、时空、时序数据存储,可被广泛应用于物联网、车联网、金融、智慧城市、气象等行业。 CloudTable提供基于Doris全托管的实时数仓服务,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也可以支持高吞吐的复杂分析场景。因此,Doris能够较好的满足报表分析、即席查询、统一数仓构建、 数据湖 联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 父主题: 通用类
  • 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。 create database demo; 使用数据库demo。 use demo; 创建表格test,显示结果如图1所示,其他节点不存在数据库demo。 CREATE TABLE demo.test ON CLUSTER default_cluster(`EventDate` DateTime, `id` UInt64)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default/test', '{replica}') PARTITION BY toYYYYMM(EventDate) ORDER BY id; 解决办法,在其他节点上创建数据库demo,在创建表格,结果如下图所示。 图2 创建表格结果示意图 方法二: 删除数据库,用此命令创建后,每个节点都会创建的数据库。 create database demo ON CLUSTER default_cluster; 在创建表格就不会出现图中所示问题。
  • 能直接通过ssh访问CloudTable的计算节点吗? 不能。CloudTable的底层计算单元运行在一个VPC网络中,VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境,为您的数据提供了一层保护。您只能使用客户端工具或者应用程序连接到CloudTable的ZK链接地址(即HBase的连接地址)对CloudTable进行访问。 OpenTSDB功能目前只适用于HBase的1.3.1版本。 父主题: 连接访问类
  • 处理方法 删除其他节点上的表格以及存放的数据,可解决此问题。 创建数据库。 create database demo ON CLUSTER default_cluster; 使用数据库,在新建的数据库中创建表。 use demo; 创建表test。 CREATE TABLE demo.test ON CLUSTER default_cluster(`EventDate` DateTime, `id` UInt64)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default/test', '{replica}') PARTITION BY toYYYYMM(EventDate) ORDER BY id; 删除表格。 drop table test SYNC; 再次创建同名表格,出现以下现象。 ┌─host──────────┬─port─┬─status─┬─error──────────────────────────────────────────────────────────────────────────────────────────────┬─num_hosts_remaining─┬─num_hosts_active─┐ │ 192.168.2.185 │ 9000 │ 57 │ Code: 57. DB::Exception: Table demo.test already exists. (TABLE_ALREADY_EXISTS) (version 22.3.2.1) │ 1 │ 1 │ └───────────────┴──────┴────────┴────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────┴──────────────────┘ ┌─host─────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐ │ 192.168.2.16 │ 9000 │ 0 │ │ 0 │ 0 │ └──────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘ 方法一:用以下删除命令会删除每个节点上的表以及存放的相关数据。 drop table test ON CLUSTER default_cluster SYNC; 创建同名表格,创建成功。 方法二:进入其他节点删除表格。 drop table test SYNC;
  • SQL命令 创建CATALOG的SQL命令以及参数说明。 CREATE CATALOG hive_catalog_OBS PROPERTIES ( 'type'='hms', 'hive.metastore.uris' = 'thrift://192.x.x.x:port,thrift://192.x.x.x:port', 'hive.metastore.sasl.enabled' = 'true', 'hive.server2.thrift.sasl.qop'='auth-conf', 'hive.server2.authentication' = 'KERBEROS', 'hive.server2.authentication.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM', 'hive.metastore.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM', 'hadoop.security.authentication'='kerberos', 'hadoop.kerberos.principal' = 'USER_NAME', 'hive.version' = '3.1.0', 'fs.defaultFS'='hdfs://hacluster', 'hadoop.rpc.protection'='privacy', 'AWS_AC CES S_KEY' = '***', 'AWS_SECRET_KEY' = '***', 'AWS_ENDPOINT' = 'obs.cn-north-7.ulanqab.huawei.com', 'AWS_REGION' = 'cn-north-7', 'yarn.resourcemanager.address' = '192.X.X.X:port', 'yarn.resourcemanager.principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM' ); 表2 参数说明 参数 说明 type 对接外部数据类型。 hive.metastore.uris hive元数据uri,可在hive-site.xml配置文件查看。 hive.metastore.sasl.enabled 可在hive-site.xml配置文件查看。 hive.server2.thrift.sasl.qop 可在hive-site.xml配置文件查看。 hive.server2.authentication 认证类型,在集群连接页面查看。 hive.server2.authentication.kerberos.principal 可在hive-site.xml配置文件查看。 hive.metastore.kerberos.principal 可在hive-site.xml配置文件查看。 hadoop.security.authentication 可在core-site.xml配置文件查看。 hadoop.kerberos.principal \ hive.version Hive版本。 fs.defaultFS 可在core-site.xml配置文件查看。 hadoop.rpc.protection 可在core-site.xml配置文件查看。 AWS_ACCESS_KEY access key,获取方式请参见 对象存储服务 的获取访问密钥(AK/SK)章节。 AWS_SECRET_KEY secret key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_ENDPOINT obs地址,获取方式见请参见对象存储服务的获取终端节点章节。 AWS_REGION obs region,在obs页面查看。 参数获取方法。 连接mrs集群,请参见使用mrs客户端章节。 进入client目录下,显示出 MRS 的全部组件,目前使用的组件有HDFS和Hive组件。 cd /opt/Bigdata/client/ HDFS组件中包含了core-site.xml、hdfs-site.xml配置文件,Hive组件中包含了hive-site.xml配置。 进入组件中的配置文件查看参数。 HDFS组件查看。 cd ./HDFS/hadoop/etc/ 进入hadoop目录。 cd hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件,查找相关参数。 vim hdfs-site.xml Hive组件查看。 /opt/Bigdata/client/Hive/config/hive-site.xml 打开hive-site.xml配置文件,查找相关参数。 vim hive-site.xml catalog中的obs指的是obs桶,不是obs并行文件系统,目前还不支持obs并行文件系统。
  • BE节点支持的监控指标 BE节点监控指标如表2所示。 表2 BE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期(原始指标) 命名空间 doris_be_active_scan_context_count 由外部直接打开的scanner的个数 - ≥0 60s SYS.CloudTable doris_be_add_batch_task_queue_size 接收batch的线程池的队列大小 - ≥0 60s SYS.CloudTable doris_be_brpc_endpoint_stub_count 已创建的brpc stub的数量(BE) 这些stub用于BE之间的交互 ≥0 60s SYS.CloudTable doris_be_brpc_function_endpoint_stub_count 已创建的brpc stub的数量(Remote RPC) 这些stub用于和Remote RPC之间交互 ≥0 60s SYS.CloudTable doris_be_cache_usage_LastestSuccessChannelCache LRU ChannelCache使用率 LRU DataPageCache使用率 [0%,100%] 60s SYS.CloudTable doris_be_cache_usage_ratio_DataPageCache LRU DataPageCache使用率 - [0%,100%] 60s SYS.CloudTable doris_be_cache_usage_ratio_IndexPageCache LRU IndexPageCache使用率 - [0%,100%] 60s SYS.CloudTable doris_be_cache_usage_ratio_SegmentCache LRU SegmentCache使用率 - [0%,100%] 60s SYS.CloudTable doris_be_cache_hit_ratio_DataPageCache LRU DataPageCache命中率 数据Cache,直接影响查询效率 [0%,100%] 60s SYS.CloudTable doris_be_cache_hit_ratio_IndexPageCache LRU IndexPageCache命中率 索引Cache,直接影响查询效率 [0%,100%] 60s SYS.CloudTable doris_be_cache_hit_ratio_LastestSuccessChannelCache LRU ChannelCache命中率 - [0%,100%] 60s SYS.CloudTable doris_be_cache_hit_ratio_SegmentCache LRU SegmentCache命中率 - [0%,100%] 60s SYS.CloudTable doris_be_chunk_pool_local_core_alloc_count ChunkAllocator中,从绑定的core的内存队列中分配内存的次数 - ≥0 60s SYS.CloudTable doris_be_chunk_pool_other_core_alloc_count ChunkAllocator中,从其他的core的内存队列中分配内存的次数 - ≥0 60s SYS.CloudTable doris_be_chunk_pool_reserved_bytes ChunkAllocator中预留的内存大小 - ≥0 Byte 60s SYS.CloudTable doris_be_chunk_pool_system_alloc_cost_ns SystemAllocator申请内存的耗时 累计值通过斜率可以观测内存分配的耗时 ≥0 ns 60s SYS.CloudTable doris_be_chunk_pool_system_alloc_count SystemAllocator申请内存的次数 - ≥0 60s SYS.CloudTable doris_be_chunk_pool_system_free_cost_ns SystemAllocator释放内存的耗时累计值 通过斜率可以观测内存释放的耗时 ≥0 ns 60s SYS.CloudTable doris_be_chunk_pool_system_free_count SystemAllocator释放内存的次数 - ≥0 60s SYS.CloudTable doris_be_compaction_bytes_total_base Base Compaction的数据量 累计值 ≥0 Byte 60s SYS.CloudTable doris_be_compaction_bytes_total_cumulative Cumulative Compaction的数据量 累计值 ≥0 60s SYS.CloudTable doris_be_compaction_deltas_total_base Base Compaction处理的rowset个数 累计值 ≥0 60s SYS.CloudTable doris_be_compaction_deltas_total_cumulative Cumulative Compaction处理的rowset个数 累计值 ≥0 60s SYS.CloudTable doris_be_compaction_waitting_permits 正在等待Compaction令牌的数量 - ≥0 60s SYS.CloudTable doris_be_data_stream_receiver_count 数据接收端Receiver的数量 - ≥0 60s SYS.CloudTable doris_be_data_stream_receiver_count 数据接收端Receiver的数量 同doris_be_data_stream_receiver_count ≥0 60s SYS.CloudTable doris_be_fragment_request_duration_us 所有fragment intance的执行时间 累计值通过斜率观测 instance 的执行耗时 ≥0 us 60s SYS.CloudTable doris_be_fragment_requests_total 执行过的fragment instance的数量 累计值 ≥0 60s SYS.CloudTable doris_be_load_channel_count 当前打开的load channel个数 数值越大,说明当前正在执行的导入任务越多 ≥0 60s SYS.CloudTable doris_be_mem_consumption_tablet_meta tablet_meta模块的当前总内存开销 - ≥0 60s SYS.CloudTable doris_be_mem_consumption_load load模块的当前总内存开销 - ≥0 Byte 60s SYS.CloudTable doris_be_memory_allocated_bytes TcMalloc占用的虚拟内存的大小 - ≥0 Byte 60s SYS.CloudTable doris_be_memory_pool_bytes_total 所有MemPool当前占用的内存大小 - ≥0 Byte 60s SYS.CloudTable doris_be_memtable_flush_duration_us memtable写入磁盘的耗时 累计值通过斜率可以观测写入延迟 ≥0 us 60s SYS.CloudTable doris_be_memtable_flush_total memtable写入磁盘的个数 累计值通过斜率可以计算写入文件的频率 ≥0 60s SYS.CloudTable doris_be_meta_request_duration_read 访问RocksDB中的meta的读取耗时 - ≥0 us 60s SYS.CloudTable doris_be_meta_request_duration_write 访问RocksDB中的meta的写入耗时 - ≥0 us 60s SYS.CloudTable doris_be_meta_request_total_read 访问RocksDB中的meta的读取次数 累计值 ≥0 60s SYS.CloudTable doris_be_meta_request_total_write 访问RocksDB中的meta的写入次数 累计值 ≥0 60s SYS.CloudTable doris_be_plan_fragment_count 当前已接收的fragment instance的数量 观测是否出现instance堆积 ≥0 60s SYS.CloudTable doris_be_process_fd_num_limit_hard BE进程的文件句柄数硬限 - ≥0 60s SYS.CloudTable doris_be_process_fd_num_limit_soft BE进程的文件句柄数软限 - ≥0 60s SYS.CloudTable doris_be_process_fd_num_used BE进程已使用的文件句柄数 - ≥0 60s SYS.CloudTable doris_be_process_thread_num BE进程线程数 - ≥0 60s SYS.CloudTable doris_be_query_cache_memory_total_byte Query Cache占用字节数 - ≥0 Byte 60s SYS.CloudTable doris_be_query_cache_partition_total_count 当前Partition Cache缓存个数 - ≥0 60s SYS.CloudTable doris_be_query_cache_sql_total_count 当前SQL Cache缓存个数 - ≥0 60s SYS.CloudTable doris_be_query_scan_bytes 读取数据量的累计值 只统计读取Olap表的数据量 ≥0 Byte 60s SYS.CloudTable doris_be_query_scan_bytes_per_second 读取速率 - ≥0 Byte/s 60s SYS.CloudTable doris_be_query_scan_rows 读取行数 累计值只统计读取Olap表的数据量,通过斜率观测查询速率。 ≥0 60s SYS.CloudTable doris_be_result_block_queue_count 当前查询结果缓存中的fragment instance个数 该队列仅用于被外部系统直接读取时使用 ≥0 60s SYS.CloudTable doris_be_result_buffer_block_count 当前查询结果缓存中的query个数 该数值反映当前BE中有多少查询的结果正在等待FE消费 ≥0 60s SYS.CloudTable doris_be_routine_load_task_count 当前正在执行的routine load task个数 - ≥0 60s SYS.CloudTable doris_be_rowset_count_generated_and_in_use 自上次启动后,新增的并且正在使用的rowset id个数 - ≥0 60s SYS.CloudTable doris_be_scanner_thread_pool_queue_size 用于OlapScanner的线程池的当前排队数量 - ≥0 60s SYS.CloudTable doris_be_segment_read_segment_read_total 读取的segment的个数 累计值 ≥0 60s SYS.CloudTable doris_be_segment_read_segment_row_total 读取的segment的行数 累计值该数值也包含了被索引过滤的行数 ≥0 60s SYS.CloudTable doris_be_send_batch_thread_pool_queue_size 导入时用于发送数据包的线程池的排队个数 - ≥0 60s SYS.CloudTable doris_be_send_batch_thread_pool_thread_num 导入时用于发送数据包的线程池的线程数 - ≥0 60s SYS.CloudTable doris_be_small_file_cache_count 当前BE缓存的小文件数量 - ≥0 60s SYS.CloudTable doris_be_streaming_load_current_processing 当前正在运行的stream load任务数 仅包含curl命令发送的任务 ≥0 60s SYS.CloudTable doris_be_streaming_load_duration_ms 所有stream load任务执行时间的耗时 累计值 ≥0 60s SYS.CloudTable doris_be_streaming_load_requests_total stream load任务数 累计值通过斜率可观测任务提交频率。 ≥0 60s SYS.CloudTable doris_be_stream_load_pipe_count 当前stream load数据管道的个数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_load_rows stream load最终导入的行数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_receive_bytes stream load接收的字节数 包括stream load从http接收的数据,以及routine load从kafka读取的数据。 ≥0 Byte 60s SYS.CloudTable doris_be_tablet_base_max_compaction_score 当前最大的Base Compaction Score 该数值实时变化,有可能丢失峰值数据;数值越高,表示compaction堆积越严重。 ≥0 60s SYS.CloudTable doris_be_tablet_cumulative_max_compaction_score 当前最大的Cumulative Compaction Score - ≥0 60s SYS.CloudTable doris_be_thrift_connections_total_heartbeat 心跳服务的连接数 累计值 ≥0 60s SYS.CloudTable doris_be_thrift_connections_total_backend BE服务的连接数 累计值 ≥0 60s SYS.CloudTable doris_be_thrift_current_connections_heartbeat 心跳服务的当前连接数 - ≥0 60s SYS.CloudTable doris_be_thrift_current_connections_backend BE服务的当前连接数 - ≥0 60s SYS.CloudTable doris_be_timeout_canceled_fragment_count 因超时而被取消的fragment instance数量 这个值可能会被重复记录 ≥0 60s SYS.CloudTable doris_be_stream_load_txn_request_begin stream load开始事务数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_txn_request_commit stream load执行成功的事务数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_stream_load_txn_request_rollback stream load执行失败的事务数 包括stream load和routine load任务 ≥0 60s SYS.CloudTable doris_be_unused_rowsets_count 当前已废弃的rowset的个数 这些rowset正常情况下会被定期删除 ≥0 60s SYS.CloudTable doris_be_load_bytes 通过tablet sink发送的数量 累计值可观测导入数据量 ≥0 Byte 60s SYS.CloudTable doris_be_load_rows 通过tablet sink发送的行数 累计值可观测导入数据量 ≥0 Byte 60s SYS.CloudTable doris_be_fragment_thread_pool_queue_size 当前查询执行线程池等待队列的长度 - ≥0 60s SYS.CloudTable doris_be_compaction_used_permits Compaction任务已使用的令牌数量 用于反映Compaction的资源消耗量 ≥0 60s SYS.CloudTable doris_be_upload_total_byte rowset数据量累计值 - ≥0 60s SYS.CloudTable
  • FE节点支持的监控指标 FE节点监控指标如表1所示。 表1 FE节点支持的监控指标 指标名称 显示名称 含义 取值范围 监控周期(原始指标) 命名空间 doris_fe_image_clean_failed 清理历史元数据镜像文件失败的次数 不应失败,如失败,需人工介入 ≥0 60s SYS.CloudTable doris_fe_image_clean_success 清理历史元数据镜像文件成功的次数 - ≥0 60s SYS.CloudTable doris_fe_image_push_success 将元数据镜像文件推送给其他FE节点的成功的次数 - ≥0 60s SYS.CloudTable doris_fe_image_write_failed 生成元数据镜像文件失败的次数 不应失败,如失败,需人工介入 ≥0 60s SYS.CloudTable doris_fe_image_write_success 生成元数据镜像文件成功的次数 - ≥0 60s SYS.CloudTable doris_fe_max_journal_id 当前FE节点最大元数据日志ID 如果是Master FE,则是当前写入的最大ID,如果是非Master FE,则代表当前回放的元数据日志最大ID;用于观察多个FE之间的id是否差距过大,过大则表示元数据同步出现问题。 ≥0 60s SYS.CloudTable doris_fe_max_tablet_compaction_score 所有BE节点中最大的compaction score值 该值可以观测当前集群最大的 compaction score,以判断是否过高,如过高则可能出现查询或写入延迟。 ≥0 60s SYS.CloudTable doris_fe_qps 当前FE每秒查询数量(仅统计查询请求) QPS ≥0 60s SYS.CloudTable doris_fe_query_err 错误查询的累积值 - ≥0 60s SYS.CloudTable doris_fe_query_err_rate 每秒错误查询数 - ≥0 60s SYS.CloudTable doris_fe_query_latency_ms_99 查询请求延迟的99分位的查询延迟 - ≥0 ms 60s SYS.CloudTable doris_fe_query_latency_ms_999 查询请求延迟的999分位的查询延迟 - ≥0 ms 60s SYS.CloudTable doris_fe_query_olap_table 查询内部表(OlapTable)的请求个数 - ≥0 60s SYS.CloudTable doris_fe_query_total 所有查询请求数 - ≥0 60s SYS.CloudTable doris_fe_report_queue_size BE的各种定期汇报任务在FE端的队列长度 该值反映了汇报任务在 Master FE 节点上的阻塞程度,数值越大,表示FE处理能力不足。 ≥0 60s SYS.CloudTable doris_fe_request_total 所有通过MySQL端口接收的操作请求(包括查询和其他语句) - ≥0 60s SYS.CloudTable doris_fe_routine_load_error_rows 集群内所有Routine Load作业的错误行数总和 - ≥0 60s SYS.CloudTable doris_fe_routine_load_receive_bytes 集群内所有Routine Load作业接收的数据量大小 - ≥0 Byte 60s SYS.CloudTable doris_fe_routine_load_rows 集群内所有Routine Load作业接收的数据行数 - ≥0 60s SYS.CloudTable doris_fe_rps 当前FE每秒请求数量(包含查询以及其他各类语句) 和 QPS 配合来查看集群处理请求的量。 ≥0 60s SYS.CloudTable doris_fe_scheduled_tablet_num Master FE节点正在调度的tablet数量 包括正在修复的副本和正在均衡的副本;该数值可以反映当前集群,正在迁移的 tablet 数量;如果长时间有值,说明集群不稳定。 ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_added Master FE节点被调度过的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_in_sched Master FE节点被重复调度的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_not_ready Master FE节点未满足调度触发条件的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_total Master FE节点的被检查过的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_tablet_status_count_unhealthy Master FE节点累积的被检查过的不健康的tablet数量 - ≥0 60s SYS.CloudTable doris_fe_txn_counter_begin 提交的事务数量 - ≥0 60s SYS.CloudTable doris_fe_txn_counter_failed 失败的事务数量 - ≥0 60s SYS.CloudTable doris_fe_txn_counter_reject 被拒绝的事务数量 如当前运行事务数大于阈值,则新的事务会被拒绝。 ≥0 60s SYS.CloudTable doris_fe_txn_counter_success 成功的事务数量 - ≥0 60s SYS.CloudTable doris_fe_txn_exec_latency_ms_99 99分位的事务执行耗时 - ≥0 ms 60s SYS.CloudTable doris_fe_txn_exec_latency_ms_999 999分位的事务执行耗时 - ≥0 ms 60s SYS.CloudTable doris_fe_txn_publish_latency_ms_99 99分位的事务publish耗时 - ≥0 ms 60s SYS.CloudTable doris_fe_txn_publish_latency_ms_999 999分位的事务publish耗时 - ≥0 ms 60s SYS.CloudTable jvm_heap_size_bytes_max 最大堆内存 观测JVM内存使用情况。 ≥0 Byte 60s SYS.CloudTable jvm_heap_size_bytes_committed 已申请的堆内存 观测JVM内存使用情况。 ≥0 Byte 60s SYS.CloudTable jvm_heap_size_bytes_used 已使用的堆内存 观测JVM内存使用情况。 ≥0 Byte 60s SYS.CloudTable jvm_non_heap_size_bytes_committed 已申请的堆外内存 - ≥0 Byte 60s SYS.CloudTable jvm_non_heap_size_bytes_used 已使用堆外内存 - ≥0 Byte 60s SYS.CloudTable jvm_old_gc_coun 老年代GC次数 观测是否出现长时间的FullGC。 ≥0 60s SYS.CloudTable jvm_old_gc_time 老年代GC耗时 观测是否出现长时间的FullGC。 ≥0 ms 60s SYS.CloudTable jvm_old_size_bytes_used 老年代内存占用 - ≥0 Byte 60s SYS.CloudTable jvm_old_size_bytes_peak_used 老年代内存占用峰值 - ≥0 Byte 60s SYS.CloudTable jvm_old_size_bytes_max 老年代内存最大值 - ≥0 Byte 60s SYS.CloudTable jvm_thread_new_count 线程数峰值 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_new_count new状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_runnable_count runnable状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_blocked_count blocked状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_waiting_count waiting状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_thread_terminated_coun terminated状态的线程数 观测JVM线程数是否合理。 ≥0 60s SYS.CloudTable jvm_young_gc_count 新生代GC次数 累计值 ≥0 60s SYS.CloudTable jvm_young_gc_time 新生代GC耗时 累计值 ≥0 ms 60s SYS.CloudTable jvm_young_size_bytes_used 新生代内存占用 - ≥0 Byte 60s SYS.CloudTable jvm_young_size_bytes_peak_used 新生代内存占用峰值 - ≥0 Byte 60s SYS.CloudTable jvm_young_size_bytes_max 新生代内存最大值 - ≥0 Byte 60s SYS.CloudTable doris_fe_cache_added_partition 新增的Partition Cache数量 累计值 ≥0 60s SYS.CloudTable doris_fe_cache_added_sql 新增的SQL Cache数量 累计值 ≥0 60s SYS.CloudTable doris_fe_cache_hit_partition 命中Partition Cache数 - ≥0 60s SYS.CloudTable doris_fe_cache_hit_sql 命中SQL Cache数 - ≥0 60s SYS.CloudTable doris_fe_connection_total 当前FE的MySQL端口连接数 用于监控查询连接数。如果连接数超限,则新的连接将无法接入 ≥0 60s SYS.CloudTable doris_fe_counter_hit_sql_block_rule 被SQL BLOCK RULE拦截的查询数量 - ≥0 60s SYS.CloudTable doris_fe_edit_log_clean_failed 清理历史元数据日志失败的次数 不应失败,如失败,需人工介入。 ≥0 60s SYS.CloudTable doris_fe_edit_log_clean_success 清理历史元数据日志成功的次数 - ≥0 60s SYS.CloudTable doris_fe_edit_log_read 元数据日志读取次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 60s SYS.CloudTable doris_fe_edit_log_write 元数据日志写入次数的计数 通过斜率观察元数据读取频率是否正常。 ≥0 60s SYS.CloudTable doris_fe_image_push_failed 将元数据镜像文件推送给其他FE节点的失败的次数 - ≥0 60s SYS.CloudTable
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • BE节点参数说明 表4 BE节点参数说明 参数名 参数值 静态参数 参数类型 状态 单位 参数范围 参考缺省值 参数描述 max_consumer_num_per_grou 3 是 int 未更改 - (0,10) 3 一个数据消费者组中的最大消费者数量,用于routine load。 clone_worker_count 3 是 int 未更改 - (0,10) 3 用于执行克隆任务的线程数,其值影响副本均衡的速度。在磁盘压力不大的情况下,可以通过调整该参数来加快副本均衡。
  • Doris修改参数步骤 登录CloudTable管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航栏中,单击“集群管理”。 在集群列表中找到所需要的集群,单击集群名称,进入“参数配置”页面。 在“参数配置”中单击“参数配置”页签,对Doris参数进行修改。 选择修改的节点(FE、BE节点)后,选中需要修改的参数,在“参数值”列单击。 在修改框中输入新值,单击,系统提示“参数修改为' xx '成功,请保存本次修改值”,并且修改的参数值后显示红色*。 如果单击,则取消修改。 图1 修改参数 单击参数列表左上方的“保存修改”,弹出“保存修改”对话框。 在“保存修改”对话框中,确认参数修改信息正确后,然后单击“确定”。 图2 保存修改 单击确定后,在单击右上角的刷新按钮,如果参数表状态显示“已生效”,集群不用重启。如果显示“未生效”,用户需要手动重启集群才能使修改的参数生效。 单击参数配置页签左上角的重启按钮,集群重启。 图3 静态参数修改图 静态参数修改完成后,需要手动重启集群,参数才能生效。动态参数修改后生效,不用重启集群。 图4 重启 如果修改的参数值不正确,可以在“保存修改”对话框中单击“一键还原”,取消修改参数值。 参数修改完成后,可以单击“修改历史”页签查看参数修改的历史。“修改历史”页面中显示如下信息。 表1 参数说明 参数 参数说明 参数名 被修改过的参数名。 旧值 修改前的参数值。 新值 修改后的参数值。 修改时间 记录用户修改参数值的时间。
  • 使用限制 Thrift Server支持的语言:Python、C++。 Thrift Server功能不支持冷热分离、热点自愈和二级索引。 只有非安全集群支持Thrift Server。 Thrift Server只在Core节点中部署。 Thrift Server服务扩容依赖Core节点扩容。 开启用户认证后,不允许开启Thrift Server。 开启Thrift Server后,用IP连接集群节点Thrift Server进程故障会影响业务。 Thrift Server不支持对接ELB。
  • 创建MRS Hive连接步骤 通过访问以下地址登录 表格存储 服务管理控制台:https://console.huaweicloud.com/cloudtable。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型:非安全认证hive on OBS,认证类型选择SIMPLE,OBS按钮开启状态。 图1 新建连接 表1 参数说明 参数 描述 名称 根据连接的数据源类型,用户可以自定义连接名。 说明: 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~64个字符。 连接器 Doris支持的外部数据目录组件,目前支持可选:Hive。 Hadoop类型 Doris支持hadoop组件,目前支持的可选:MRS。 集群名称 MRS集群名称。 说明: Doris只能对接一个kerberos集群中的一个用户。 Manager IP MRS Manager的浮动IP地址,选择连接的集群后,ip地址会自动填充。 认证类型 MRS集群鉴权类型,安全集群可选“KERBEROS”,非安全集群可选“SIMPLE”。选择连接的集群后,安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本,HIVE支持3版本,可选:3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。