检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio的软件配置要求如下表所示。 表2 Data Studio软件要求 软件 规格 Java 推荐与操作系统位数对应的Open JDK 1.8版本。 GNU libc 显示DDL,导入DDL,导出DDL和数据操作只支持GN系统libc 2.17以上的版本。 表3 支持的数据库版本 数据库 版本 GaussDB(DWS)
保证单文件导入速率最大化。 提前做好服务部署规划,数据服务器上,建议一个Raid只布1~2个GDS。GDS跟DN的数据比例建议在1:3至1:6之间。一台加载机的GDS进程不宜部署太多,千兆网卡部署1个GDS进程即可,万兆网卡机器建议部署不大于4个进程。 提前对GDS导入导出的数据
JDBC问题在具体业务中的表现主要分为以下三个方面: 执行报错,JDBC抛出异常。 执行效率低,耗时异常。 特性不支持,JDBC未实现的JDK接口。 JDBC问题具体分类可参见表1。 表1 JDBC问题分类 问题分类 问题原因 建立数据库连接失败 JDBC客户端配置问题:包括URL格式不对,或用户名密码错误。
bashrc文件,输入如下内容,保存并退出。 假设Java安装路径为“/home/user/Java/jdk1.8.0_141”。 export JAVA_HOME=/home/user/Java/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH 激活Java环境变量。
始检测。 TCP_KEEPCOUNT=9:总共检测9次。 TCP_KEEPINTERVAL=30:每次检测间隔30s。 由于不同操作系统JDK存在差异,部分平台可能不支持该参数,如:windows、redhat、suse。 版本 8.3.0.201 修复bug 一次执行多个函数执行无法自动拆分问题。
如何使用DWS的\copy导入导出? 由于云上DWS是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法: 将数据文件放到客户端的机器上。
的数据同步,需要总事务提交后才能查询到数据同步结果。 删除互联互通外表。 DROP FOREIGN TABLE ft_tbl; 父主题: 导入数据
步骤三:连接GaussDB(DWS)集群并导入数据进行分析 使用SQL编辑器连接GaussDB(DWS)数据库,并创建OBS外表,通过OBS外表将OBS桶数据导入GaussDB(DWS)集群,并进行简单SQL查询。 准备工作 已注册账号并实名认证,且在使用GaussDB(DWS)
gs_restore工具在导入时,允许用户选择需要导入的内容,并支持在数据导入前对等待导入的内容进行排序。 操作步骤 gs_restore默认是以追加的方式进行数据导入。为避免多次导入造成数据异常,在进行导入时,建议使用“-e”和“-c”参数,即导入前删除已存在于待导入数据库中的数据库对
本教程通过演示将样例数据上传OBS,以及将OBS的数据导入GaussDB(DWS)的目标表中,让您快速掌握如何从OBS导入数据到GaussDB(DWS)集群的完整过程。 GaussDB(DWS)支持通过外表将OBS上TXT、CSV、ORC、PARQUET、CARBONDATA以及JSON格式的数据导入到集群进行查询。
导入过程存储倾斜即时检测 导入过程中对DN导入行数进行统计,导入完成后计算倾斜率,超过一定阈值时,立即进行告警。倾斜率通过(DN导入行数最大值-DN导入行数最小值)/导入总行数计算。目前,只支持INSERT和COPY导入。 必须设置enable_stream_operator=o
format 'text', delimiter '|', encoding 'utf8', mode 'Normal' ); 导入SSB数据 执行以下命令导入数据。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
DWS的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到DWS? DWS可以存储多少业务数据? 如何使用DWS的\copy导入导出? 如何实现DWS不同编码库之间数据容错导入 DWS导入性能都和哪些因素有关联?
ALTER FOREIGN TABLE (GDS导入导出) 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET
ALTER FOREIGN TABLE (GDS导入导出) 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET
file_sequence 用于多任务GDS外表并行导入,提升单个文件的导入性能。该参数仅供数据导入使用。 格式为file_sequence '文件被拆分的总数-当前分片' 。例如: file_sequence '3-1' 表示导入的文件在逻辑上被拆分成3份,当前外表导入的数据为第一个分片上的数据。 file_sequence
DWS导入性能都和哪些因素有关联? dws的导入性能受多方面因素影响,主要有以下几点: 集群规格:磁盘io、网络吞吐、内存、cpu规格等。 业务规划:表字段的类型、是否压缩、行存还是列存。 数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
虚拟私有云保持与Kafka一致。 安装JDK。 登录ECS,进入到/usr/local,下载JDK包。 1 2 cd /usr/local wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar
取值范围:normal,pipe。缺省为normal。 参数为normal,表示导入或者导出的文件类型为普通文件。 参数为pipe,表示导入或者导出的文件类型为命名管道文件。 file_sequence 用于多任务GDS外表并行导入,提升单个文件的导入性能。该参数仅供数据导入使用。 格式为file_sequence '文件被拆分的总数-当前分片'
x。 在实际导入导出数据时,location参数使用建议如下: 导入时“location”建议指定到具体文件名。如果仅指定到OBS桶或目录,则会导入其中的所有文本文件。当数据格式不正确时,则会报错。如果设置了容错,则容错表可能导入大量数据。 支持OBS单桶多文件导入,根据文件名前缀进行匹配,匹配到的文件都会被导入。