MAPREDUCE服务 MRS-配置ClickHouse对接HDFS源文件(MRS 3.3.0-LTS及之后版本):ClickHouse数据写入HDFS流程
ClickHouse数据写入HDFS流程
将ClickHouse数据写入HDFS,参考以下流程。例如写入HDFS的/tmp目录下的secure_ck.txt数据文件:
- 创建HDFS引擎表:
CREATE TABLE hdfs_engine_table (name String, value UInt32) ENGINE=HDFS('hdfs://{namenode_ip}:{dfs.namenode.rpc.port}/tmp/secure_ck.txt', 'TSV')
- 写入HDFS数据文件:
INSERT INTO hdfs_engine_table VALUES ('one', 1), ('two', 2), ('three', 3)
- 查询HDFS数据文件:
SELECT * FROM hdfs_engine_table LIMIT 2
┌─name─┬─value─┐ │ one │ 1 │ │ two │ 2 │ └────┴─── ─┘
- ClickHouse通过HDFS引擎表写入数据到HDFS时,如果HDFS上数据文件不存在,会生成对应的数据文件。
- ClickHouse不支持删除修改和追加写HDFS引擎表数据,只能一次性写入数据。
- ClickHouse删除HDFS引擎表以后对HDFS上的数据文件没有影响。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse
- MapReduce服务_什么是Flink_如何使用Flink
- MapReduce服务_什么是HDFS_HDFS特性
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Hive_如何使用Hive