华为云首页用户手册

MapReduce服务 MRS-ClickHouse数据批量导入:操作步骤

MapReduce服务 MRS-ClickHouse数据批量导入:操作步骤

时间：2025-02-12 15:03:47

MapReduce服务 MRS

操作步骤

以客户端安装用户，登录客户端所在节点。
进入多线程写入工具“clickhouse_insert_tool”所在目录：

cd /opt/client/ClickHouse/clickhouse_insert_tool

使用文本编辑器打开clickhouse_insert_tool.sh，按照注释填写所需信息：

参数	参数描述	示例
datapath	待导入数据所在目录。	/opt/data
balancer_ip_list	ClickHouse服务Balancer实例IP地址列表，整体使用括号括起，单个IP使用双引号引起，IP之间使用空格分隔。	("192.168.1.1" "192.168.1.2")
balancer_tcp_port	ClickHouse服务Balancer实例TCP端口。	21428
local_table_name	待导入的本地库名.本地表名。	testdb1.testtb1
thread_num	并发导入线程数。	10
data_format	待导入数据的格式。	CS V
is_security_cluster	是否为安全模式集群。 true：表示安全模式 false：表示普通模式	true

保存修改后的 “clickhouse_insert_tool.sh”，并执行如下命：

cd /opt/client

source bigdata_env

安全模式（开启Kerberos认证）执行kinit命令，普通模式（关闭Kerberos认证）无需执行：

kinit clickhouseuser
运行脚本，导入数据。

./ClickHouse/clickhouse_insert_tool/clickhouse_insert_tool.sh
登录ClickHouse客户端节点，连接服务端，具体请参考ClickHouse客户端使用实践。
执行如下命令，查询插入数据的本地表对应的分布式表，查看结果是否符合预期：

select count(1) from testdb1.testtb1_all;

上一篇：MapReduce服务 MRS-Hudi SQL使用约束:约束

下一篇：MapReduce服务 MRS-ClickHouse数据批量导入:前提条件

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MapReduce服务 MRS-ClickHouse数据批量导入:操作步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题