检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
也受限,上游数据库如果进行了物理操作,那么ClickHouse中数据无法进行同步删除。 父主题: FlinkSQL Connector开发规范
致 当Kafka Source并行度大于Topic分区数时,多余的并行度不能消费数据。 父主题: FlinkSQL Connector开发规范
* FROM payments WHERE payment_amount < 500; 父主题: FlinkSQL Connector开发规范
ClickHouse日志详细信息 日志类型 日志文件名 描述 ClickHouse相关日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log ClickHouseServer服务运行错误日志文件路径。
重启服务”等待Flink服务重启成功。 普通模式的Flink集群支持对接普通模式的Elasticsearch集群。 父主题: FlinkSQL Connector开发规范
props.put("max.partition.fetch.bytes","5252880"); 父主题: Kafka应用开发规范
kPoint: Flink作业在触发CheckPoint时才会往Doris表中写数据。 父主题: FlinkSQL Connector开发规范
图,如果发现是中间计算Busy就需要通过调整整个作业并行度来调整这类算子的并行度,常见的如join算子。 父主题: Flink性能调优开发规范
on HBase表执行INSERT OVERWRITE,会将相同rowkey的行进行覆盖,不相关的数据不会被覆盖。 父主题: Hive应用开发规范
在HBase sink表with中添加如下属性: 'sink.parallelism'='xx' 父主题: FlinkSQL Connector开发规范
应常驻内存 Admin的实例应尽量遵循 “用时创建,用完关闭”的原则。不应该长时间缓存同一个Admin实例。 父主题: HBase应用开发规范
flink-conf.yaml): state.backend.local-recovery: true 父主题: Flink性能调优开发规范
FlinkServer对接Hive FlinkServer对接Hudi FlinkServer对接Kafka 父主题: Flink应用开发规范
时间序列可以被看作产生时序数据的传感器所在的完整路径,在IoTDB中所有的时间序列必须以root开始、以传感器作为结尾。 父主题: IoTDB应用开发规范
次产生的消息最大字节数。如果参数的值太小,可能导致Producer产生的消息无法被Consumer成功消费。 父主题: Kafka应用开发规范
分区表查询select * 不带分区键,会Impala触发全表,极大地占用计算资源,非必要场景下请按分区查询。 父主题: Impala应用开发规范
建表时存储类型建议选择orc或者parquet orc和parquet是列式存储格式,读取效率更高,而且有更高的压缩率,可有效降低数据存储空间。 父主题: Impala应用开发规范
出现集群资源足够,提交的任务成功但是无法启动,此时可以提高AM的最大资源占比。 图2 修改AM最大资源百分比 父主题: Spark应用开发规范
运行pyspark应用时,不能使用集群自带的python环境,需要用户自行安装python环境,并将python相关依赖包打包上传到HDFS。 父主题: Spark应用开发规范
时若客户端异常、断电,则数据丢失。对于有高可靠要求的数据,应该写完后,调用hflush将数据刷新到HDFS侧。 父主题: HDFS应用开发规范