检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入导出 CSV格式数据导入。 非安全集群 cat csv_ssl | ./clickhouse client --host 192.168.x.x --port port
load是一个同步的导入方式,用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream load同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。 Stream load主要适用于导入本地文件,或通过程序导入数据流中的数据。 基本原理
使用Import工具导入数据 使用Import工具,可以导入HBase的SequenceFile数据文件到CloudTable的HBase中。Import工具是客户端工具安装包中自带的一个工具。 SequenceFile文件是指使用Export工具从HBase导出的数据文件。 准
数据导入 总览 批量数据导入 父主题: Doris应用开发指导
使用CopyTable工具导入数据 CopyTable是HBase提供的一个实用工具,可以将部分或全部表复制到同一个集群或另一个集群中。目标表必须预先存在。在CloudTable客户端工具中已经包含了CopyTable工具,用户部署客户端工具后,即可使用CopyTable工具导入数据到CloudTable集群。
批量数据导入 Broker Load Stream Load 父主题: 数据导入
JDBC通过ssl方式连接doris(验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 在已安装mysql客
默认的导入最大超时时间4小时,最好是通过切分待导入文件并且分多次导入来解决问题。主要原因是:单次导入超过4小时的话,导入失败后重试的时间成本很高。 可以通过如下公式计算出Doris集群期望最大导入文件数据量: 期望最大导入文件数据量=14400s*10M/s*BE个数。 比如:集群的BE个数为10个。
配置并导入样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。 操作步骤 在应用开发环境中,导入代码样例工程到IntelliJ
配置并导入工程 背景信息 将CloudTable样例代码工程导入到Eclipse,就可以开始CloudTable应用开发样例的学习。 前提条件 运行环境已经正确配置,请参见准备Windows运行环境。 操作步骤 把样例工程上传到Windows开发环境中。样例工程的获取方法请参见下载样例工程。
HBase数据批量导入 使用CDM迁移数据到CloudTable 使用Import工具导入数据 使用CopyTable工具导入数据 数据表复制样例代码 父主题: HBase用户指南
以实现导入数据的Exactly-Once语义。 同步和异步 Doris目前的导入方式分为两类,同步和异步。如果是外部程序接入Doris的导入功能,需要判断使用导入方式是哪类再确定接入逻辑。 同步 同步导入方式即用户创建导入任务,Doris同步执行导入,执行完成后返回用户导入结果。
(puts.size() != 0) { dstTable.put(puts); } } } 父主题: HBase数据批量导入
JDBC通过ssl方式连接doris(无需验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 样例代码: public
使用CDM迁移数据到CloudTable的流程如下: 创建CloudTable集群 使用CDM迁移数据到CloudTable 在CloudTable中查看导入的数据 创建CloudTable集群 登录表格存储服务管理控制台。 在控制台左上角选择区域。 创建一个CloudTable HBase集群。如果您已经有CloudTable
可以看到,用户10004的已有数据和新导入的数据发生了聚合。同时新增了10005用户的数据。 数据的聚合,在Doris中有如下三个阶段发生: 每一批次数据导入的ETL阶段。该阶段会在每一批次导入的数据内部进行聚合。 底层BE进行数据Compaction的阶段。该阶段,BE会对已导入的不同批次的数据进行进一步的聚合。
icate.crt</caConfig>指放证书的路径。 root指的是配置文件的存放路径。 证书下载限流,一分钟只能下载一次。 HTTPS连接步骤 安全集群创建后,打开详情页面,下载证书。 下载证书后,自定义存放路径。 通过https协议执行样例sql。 echo 'select
单击“提交”,成功提交集群创建任务,集群创建成功后,进入详情页面查看通道开启状态。 下载安全证书 安全集群创建后,打开详情页面,下载证书。 下载证书后,自定义存放路径。 通过https协议执行样例sql。 curl -X POST -H 'Content-Type: text/plain'
怎么查看catalog指定数据库下的列表? catalog是外部数据目录。下面以JDBC Catalog通过标准JDBC协议,连接其他数据源为例。 语法 CREATE CATALOG [IF NOT EXISTS] catalog_name PROPERTIES ("key"="value"
故障RegionServer个数怎么判断? 故障的RegionServer个数是统计测量对象所在集群中存在故障的RegionServer实例数。 父主题: 通用类