检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Broker Load是一个异步的导入方式,支持的数据源取决于Broker进程支持的数据源。 Doris表中的数据是有序的,Broker Load在导入数据时要利用Doris集群资源对数据进行排序,相对于Spark Load来完成海量历史数据迁移,对Doris的集群资源占用比较大。Broker
部分Worker节点本身故障,例如网络故障、进程内存占用等。 Worker节点负载太高,出现OOM(Out of Memory)导致无法提供服务。 Worker节点出现GC导致自动重启。 调优方法: Worker节点本身故障: 若不同时间报错统一出现在同一个Worker上,优先排查该节点本身问题
poolDir路径下存在空文件,那么HDFS的hdfs.path路径下就会创建一个同名的空文件。 SpoolDir Source在按行读取过程中会忽略掉每一个event的最后一个换行符,该换行符所占用的数据量指标不会被Flume统计。 Kafka Source Kafka Sou
CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 文件名是否作为字段 自定义一个字段,以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径 配置“
加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。 如需使用HDFS,请确保MRS集群内已安装Hadoop服务。 HDFS结构 HDFS包含主、备NameNode和多个DataNode,如图1所示。 HDFS是一个Master/Slav
Source在按行读取过程中,会忽略掉每一个Event的最后一个换行符,该换行符所占用的数据量指标不会被Flume统计。 Kafka Source Kafka Source从Kafka的topic中消费数据,可以设置多个Source消费同一个topic的数据,每个Source会消费
--last-value 指定一个值,用于标记增量导入 --input-null-string 替换null字符串,如果没有指定,则字符串null将被使用。 --input-null-non-string 替换非String的null字符串,如果没有指定,则字符串null将被使用。 父主题:
限度地减少存储空间。TSD的用户不需要直接访问底层存储。您可以通过HTTP API与TSD进行通信。所有通信都发生在同一个端口上(TSD通过查看它收到的前几个字节来确定客户端的协议)。 图1 OpenTSDB架构 OpenTSDB使用场景有如下几个特点: 采集指标在某一时间点具有唯一值,没有复杂的结构及关系。
clickhouse_jdbc_test JDBC连接字符串 集群已启用Kerberos认证,JDBC连接字符串格式为“jdbc:clickhouse://访问数据库IP:数据库端口号/数据库名称?ssl=true&sslmode=none” 集群未启用Kerberos认证,JDBC连接字符串格式为“jdbc:c
Source在按行读取过程中,会忽略掉每一个Event的最后一个换行符,该换行符所占用的数据量指标不会被Flume统计。 Kafka Source Kafka Source从Kafka的topic中消费数据,可以设置多个Source消费同一个topic的数据,每个Source会消费
--last-value 指定一个值,用于标记增量导入 --input-null-string 替换null字符串,如果没有指定,则字符串null将被使用。 --input-null-non-string 替换非String的null字符串,如果没有指定,则字符串null将被使用。 父主题:
监测Active Memtable的大致大小,单位:字节 state.backend.rocksdb.metrics.cur-size-all-mem-tables true 监测Active和未Flush的不可变Memtable的大致大小,单位:字节 state.backend.rocksdb
<batchTime> <windowTime> <topics> <brokers> 在没有Kafka数据输入的情况下,日志中显示的RDD的DAG结构会在一个Batch中打印两次,相关日志如下所示: ------------------------------------------- Time:
过主键可以快速筛选数据,合理的主键设计,能够大大减少读取的数据量,提升查询性能。例如所有的分析,都需要指定业务的id,则可以将业务id字段作为主键的第一个字段顺序。 根据业务场景合理设计稀疏索引粒度 ClickHouse的主键索引采用的是稀疏索引存储,稀疏索引的默认采样粒度是81
区迁移。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka用户(属于kafkaadmin组,普通模式不需要)。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况,评估迁移后,不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据
区迁移。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka用户(属于kafkaadmin组,普通模式不需要)。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况,评估迁移后,不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据
的一种登录验证方式。 在请求发送之前,用Basic加一个空格标识基本认证,以用户名追加一个冒号然后串接上密码,再将此字符串用Base64算法编码。 例如: 用户名是admin、密码是Asd#smSisn$123,则拼接后的字符串就是admin:Asd#smSisn$123,然后进
有效提高HBase性能。 “GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将“Xms”和“Xmx”设置成相同的值,这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSize大小的时候,建议把其设置为HeapSize大小的1/8。
致内存占用过高。 应该避免类中import的包和服务侧包冲突,可通过grep -lr "完全限定类名"命令来检查冲突的Jar包。如果发生类名冲突,可通过完全限定类名方式来避免。 Doris UDF开发建议 不要执行大量数据的复制操作,防止堆栈内存溢出。 应避免使用大量字符串拼接操作,否则会导致内存占用过高。
置值不在[1, 2048]之间,系统将会报错。 一旦block大小达到配置值,写入程序将启动新的CarbonData数据的block。数据以页面大小(32000个记录)的倍数写入,因此边界在字节级别上不严格。 如果新页面跨越配置block的边界,则不会将其写入当前block,而是写入新的block。