检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请在Windows的弹性云服务器上安装JDK1.7及以上版本,强烈推荐使用JDK1.8及以上版本,并且安装Eclipse,Eclipse使用JDK1.7及以上的版本。 如果使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 如果使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
配置并导入工程 背景信息 将CloudTable样例代码工程导入到Eclipse,就可以开始CloudTable应用开发样例的学习。 前提条件 运行环境已经正确配置,请参见准备Windows运行环境。 操作步骤 把样例工程上传到Windows开发环境中。样例工程的获取方法请参见下载样例工程。
境需要和clickhouse集群处于同一vpc和安全组,以保证网络连通。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致,并设置好Java环境变量。 编译并运行程序 导出jar包。 进入IntelliJ IDEA,选择“File
发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装HBase客户端。 Linux环境已安装JDK,版本号需要和Eclipse导出Jar包使用的JDK版本一致。 操作步骤 导出Jar包。 右击样例工程,选择导出。 图1 导出Jar包 选择JAR file,单击“Next”。
境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK,版本号需要和Eclipse导出Jar包使用的JDK版本一致。 操作步骤 导出Jar包。 右击样例工程,选择导出。 图1 导出Jar包 选择JAR file,单击“Next”。
配置并导入样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。 操作步骤 在应用开发环境中,导入代码样例工程到IntelliJ
如果使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 如果使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven
数据导入 总览 批量数据导入 父主题: Doris应用开发指导
批量数据导入 Broker Load Stream Load 父主题: 数据导入
使用Import工具导入数据 使用Import工具,可以导入HBase的SequenceFile数据文件到CloudTable的HBase中。Import工具是客户端工具安装包中自带的一个工具。 SequenceFile文件是指使用Export工具从HBase导出的数据文件。 准
使用CopyTable工具导入数据 CopyTable是HBase提供的一个实用工具,可以将部分或全部表复制到同一个集群或另一个集群中。目标表必须预先存在。在CloudTable客户端工具中已经包含了CopyTable工具,用户部署客户端工具后,即可使用CopyTable工具导入数据到CloudTable集群。
load是一个同步的导入方式,用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream load同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。 Stream load主要适用于导入本地文件,或通过程序导入数据流中的数据。 基本原理
默认的导入最大超时时间4小时,最好是通过切分待导入文件并且分多次导入来解决问题。主要原因是:单次导入超过4小时的话,导入失败后重试的时间成本很高。 可以通过如下公式计算出Doris集群期望最大导入文件数据量: 期望最大导入文件数据量=14400s*10M/s*BE个数。 比如:集群的BE个数为10个。
7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。 说明: 基于安全考虑,CloudTable服务只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,如果使用IBM JDK,请配置启动参数“com
数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入导出 CSV格式数据导入。 非安全集群 cat csv_ssl | ./clickhouse client --host 192.168.x.x --port port
HBase数据批量导入 使用CDM迁移数据到CloudTable 使用Import工具导入数据 使用CopyTable工具导入数据 数据表复制样例代码 父主题: HBase用户指南
上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 在已安装mysql客户端的ecs服务器上先执行以下命令,导入服务器证书。 your_certificate_path:自定义证书存放路径。 your_truststore_name:自定义truststore名称。
以实现导入数据的Exactly-Once语义。 同步和异步 Doris目前的导入方式分为两类,同步和异步。如果是外部程序接入Doris的导入功能,需要判断使用导入方式是哪类再确定接入逻辑。 同步 同步导入方式即用户创建导入任务,Doris同步执行导入,执行完成后返回用户导入结果。
(puts.size() != 0) { dstTable.put(puts); } } } 父主题: HBase数据批量导入
使用CDM迁移数据到CloudTable的流程如下: 创建CloudTable集群 使用CDM迁移数据到CloudTable 在CloudTable中查看导入的数据 创建CloudTable集群 登录表格存储服务管理控制台。 在控制台左上角选择区域。 创建一个CloudTable HBase集群。如果您已经有CloudTable