MAPREDUCE服务 MRS-配置ClickHouse对接HDFS源文件(MRS 3.3.0-LTS及之后版本):ClickHouse数据写入HDFS流程

时间:2024-11-28 01:44:55

ClickHouse数据写入HDFS流程

将ClickHouse数据写入HDFS,参考以下流程。例如写入HDFS的/tmp目录下的secure_ck.txt数据文件:

  1. 创建HDFS引擎表:

    CREATE TABLE hdfs_engine_table (name String, value UInt32) ENGINE=HDFS('hdfs://{namenode_ip}:{dfs.namenode.rpc.port}/tmp/secure_ck.txt', 'TSV')

  2. 写入HDFS数据文件:

    INSERT INTO hdfs_engine_table VALUES ('one', 1), ('two', 2), ('three', 3)

  3. 查询HDFS数据文件:

    SELECT * FROM hdfs_engine_table LIMIT 2

    ┌─name─┬─value─┐
    │ one    │     1   │
    │ two    │     2   │
    └────┴─── ─┘
  • ClickHouse通过HDFS引擎表写入数据到HDFS时,如果HDFS上数据文件不存在,会生成对应的数据文件。
  • ClickHouse不支持删除修改和追加写HDFS引擎表数据,只能一次性写入数据。
  • ClickHouse删除HDFS引擎表以后对HDFS上的数据文件没有影响。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300438.html