检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
期merge到主表CU。 使用场景 GaussDB(DWS)中的HStore表, 在使用列存储格式尽量降低磁盘占用的同时,支持高并发的更新操作入库以及高性能的查询效率。因此对于实时入库和实时查询有较强诉求,以及要求具备处理传统TP事务能力的场景建议使用HStore表。 GaussDB(DWS)在9
制文本,导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 1 INSERT INTO foreign_tpcds_reasons SELECT RAWTOHEX(c) FROM tpcds.reason; 父主题: 使用GDS导出数据到远端服务器
使用Hudi前准备 前提条件 已完成创建OBS委托以及创建OBS数据源,具体可参见管理OBS数据源。 授权使用OBS数据源 执行GRANT命令给用户授予使用OBS数据源的权限: 1 GRANT USAGE ON FOREIGN SERVER server_name TO role_name;
varying(16) 格式错误 字段值长度超过限制。 在数据源文件中,修改字段值长度。根据此错误信息,字段值长度限制为VARCHAR2(16)。 父主题: 使用GDS从远端服务器导入数据
动存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据,以生成最有效的查询执行计划。 停止GDS 待数据导入完成后,登录每台数据服务器,分别停止GDS。 GDS的停止请参见停止GDS。 父主题: 使用GDS从远端服务器导入数据
关于GDS并行导出 使用GDS工具将数据从数据库导出到普通文件系统中,适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件,该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通
如果执行过程中出现数据加载错误,则数据全部导入失败,没有数据导入至目标表中。 编写批处理任务脚本,实现并发批量导入数据。并发量视机器资源使用情况而定。可通过几个表测试,监控资源利用率,根据结果提高或减少并发量。常用资源监控命令有:内存和CPU监控top命令,IO监控命令iost
'name':数据导入过程中的数据格式错误信息是否同时在GDS服务器上以文件方式保存。name为错误数据文件的文件名前缀。 关于容错性参数的更多信息请参考容错性参数。 使用gsql或Data Studio连接数据库后,根据前面步骤所收集和规划的信息参数,创建GDS外表。 示例如下: 1 2 3 4 5
多线程导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出的数据文件格式为CSV,同时导出2个目标表,所以规划使用Remote模式进行多线程导出。 Remote模式多线程导出数据操作示例如下所示: 以root用户登录GDS数据服务器,创建导出数据文件存
用的是COPY方式和GDS并行导入方式。 使用CDM迁移数据到GaussDB(DWS)的典型场景,请参见云数据迁移服务(简称CDM)的如下章节: 入门:该入门场景为使用CDM迁移本地MySQL数据库到GaussDB(DWS) 图1 使用CDM迁移数据到GaussDB(DWS) 父主题:
配置JDBC连接(使用负载均衡方式) 背景信息 很多用户在使用JDBC连接集群时只连接集群的一个CN,这就导致单个CN压力较大并且别的CN资源浪费,并且这种方式还有单点故障导致连接不可用的风险。 用户可使用JDBC连接多个CN避免以上问题。主要有以下三种方式: 使用ELB连接集群:
内核资源使用 介绍与操作系统内核相关的参数,这些参数是否生效依赖于操作系统的设置。 max_files_per_node 参数说明:限制单个节点上单个SQL打开的文件最大数量。通常情况下,不需要设置此参数。 参数类型:SUSET 取值范围:整型,-1~INT_MAX,其中-1表示限制最大数量。
内核资源使用 介绍与操作系统内核相关的参数,这些参数是否生效依赖于操作系统的设置。 max_files_per_node 参数说明:限制单个节点上单个SQL打开的文件最大数量。通常情况下,不需要设置此参数。 8.1.3集群版本中仅8.1.3.310及以上版本支持。 参数类型:SUSET
使用substring截取带中文的数据时出现乱码 问题现象 客户需要查询某张表的name字段,返回的数据中只截取到“学年”及以前部分,使用substring函数实现时出现乱码,如下图所示。 原因分析 UTF-8字符集编码下,一个中文占3个字节,如需获取结果显示为“2014-201
方式有两种: 方式一:直接使用“gds”命令,在命令项中设置启动参数。 方式二:将启动参数写进配置文件“gds.conf”后, 使用“gds_ctl.py”命令启动。 对于集中一次性导入的场景推荐使用第一种方式。对于需要隔段时间再次导入的场景,推荐使用第二种方式以配置文件的形式提升启动效率。
L连接或非SSL连接,从安全性考虑,建议用户在客户端使用SSL连接方式。并且GaussDB(DWS)服务器端的证书、私钥以及根证书已经默认配置完成。如果要强制使用SSL连接,需要在集群“安全设置”页面开启“服务器端是否强制使用SSL连接”,操作详情可参见设置SSL连接,客户端和服
string hashing 使用GaussDB(DWS) 的ODBC驱动,SQL查询结果中字符类型的字段内容会被截断 执行Plan Hint的Scan方式不生效 数据类型转换出现报错:invalid input syntax for xxx 使用substring截取带中文的数据时出现乱码
数据库使用 如何调整DWS分布列? 如何查看和设置DWS数据库的字符集编码格式 如何处理DWS建表时date类型字段自动转换为timestamp类型的问题? DWS是否需要定时对常用的表做VACUUM FULL和ANALYZE操作? 如何导出DWS某张表结构? DWS是否有高效的删除表数据的方法?
方式有两种: 方式一:直接使用“gds”命令,在命令项中设置启动参数。 方式二:将启动参数写进配置文件“gds.conf”后, 使用“gds_ctl.py”命令启动。 对于集中一次性导入的场景推荐使用第一种方式。对于需要隔段时间再次导入的场景,推荐使用第二种方式以配置文件的形式提升启动效率。
使用gsql连接DWS 使用gsql连接DWS集群 进入到ECS的/opt目录下,并执行环境变量。 1 2 cd /opt source gsql_env.sh 执行以下命令连接GaussDB(DWS)数据库。其中,<DWS的内网IP>、<用户dbadmin密码>从创建数据仓库GaussDB(DWS)获取。