检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
encoding must be guessed. Refer the user manual for more details. 父主题: 使用DSC
使用DLI Flink作业实时同步Kafka数据至(GaussDB)DWS集群 本实践演示通过数据湖探索服务 DLI Flink作业将分布式消息服务 Kafka的消费数据实时同步至GaussDB(DWS)数据仓库,实现Kafka实时入库到GaussDB(DWS)的过程。演示过程包括实时写入和更新已有数据的场景。
表名,找到对应主表的oid和表,执行REINDEX INTERNAL TABLE name语句重建cudesc表的索引。 父主题: 数据库使用
执行如下sql语句查询全局会话信息。 SELECT * FROM PUBLIC.pgxc_stat_activity order by coorname; 父主题: 数据库使用
进行Scan。 在查询条件中使用索引列作为条件时,不要在索引列上做计算、函数或者类型转换的操作,会导致优化器无法使用该索引。 尽量使索引列包含查询列,避免总是SELECT * 查询所有列的语句。 查询条件使用 !=,NOT IN时,无法使用索引。 使用LIKE时如果条件是以通配符
已注册账号,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 获取此账号的“AK/SK”。 已创建集群,并已使用Data Studio连接集群,参见使用GaussDB(DWS)秒级查询交通卡口通行车辆行驶路线。 步骤一:导入公司样例数据 使用SQL客户端
下载并安装DSC 在使用DSC工具之前,必须在Linux或Windows服务器中安装工具,DSC支持Linux 64位操作系统。DSC支持其它操作系统的详情请见表4。 前提条件 在Linux系统中请勿使用具有root权限的用户安装和操作DSC。且该用户必须具有创建文件夹的权限,否则install
使用第三方库连接GaussDB(DWS)集群 使用JDBC和ODBC连接集群 使用Python第三方库psycopg2连接集群 使用Python第三方库PyGreSQL连接集群 父主题: 连接GaussDB(DWS)集群
runDSC.bat --version 使用指南 Linux: ./runDSC.sh --version Windows: runDSC.bat --version 系统回显 Version: DSC (Gauss Tools v2.0.0) 父主题: 使用DSC
encodingFormat 指定输入/源文件的编码格式。 如果未设置该参数(或该参数被注释掉),则工具将基于区域设置使用默认编码。 说明: 文件编码的自动检测功能并不准确。为确保正确的编码格式,请使用本参数指定格式。 UTF8 UTF16 UTF32 GB2312 ASCII等 基于区域设置的默认编码
SQL迁移 Teradata Perl迁移 MySQL SQL迁移 Oracle SQL迁移 Netezza SQL迁移 迁移验证 父主题: 使用DSC
使用GaussDB(DWS)冷热数据切换功能降低业务成本 场景介绍 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。针对数据使
仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2
EXISTS将所有CN和DN的表定义补齐。 如果表没有用,就在CN上DROP table删掉所有CN和DN的表定义,如果表还有用,继续使用即可。 父主题: 数据库使用
使用命令行工具连接GaussDB(DWS)集群 下载客户端 使用Linux gsql客户端连接集群 使用Windows gsql客户端连接集群 使用SSL进行安全的TCP/IP连接 父主题: 连接GaussDB(DWS)集群
故障处理 迁移问题可分为: 工具执行问题:由于工具部分或全部执行失败导致的无输出或输出不正确的问题。要了解更多遗留问题及其解决方案,请参见故障处理。 迁移语法问题:由于迁移工具无法正确识别或迁移TD语法的问题。要了解更多遗留问题,请参见约束和限制。 父主题: 迁移流程
databaseAsSchema table.defaultSchema 是否使用数据库名称作为schema名称,如果数据库名称不存在,则使用用户定义schema, 如果用户定义schema为空,则使用默认schema。 true false public true public
并从中发掘出数据背后的商业信息供决策者参考。这里的数据发掘主要指涉及多张表的大范围数据聚合和关联的复杂查询。 使用数据仓库,通过某个数据转换(ETL)的过程,业务运营数据库的数据可以被拷贝到数据仓库中供分析计算使用。同时支持把多个业务运营系统的数据汇集到一个数据仓库中。这样数据可以被更好地关联和分析,从而产生更大的价值。
Netezza配置 设置Netezza配置参数可在迁移Netezza数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-netezza.properties文件,并根据实际需要设置表1中的参数。 表1 features-netezza.properties文件中的配置参数
在数据仓库类型的数据库中,大表的分布列选择对于数据库和语句查询性能都有至关重要的影响。 如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存在数据倾斜情况下,查询时出现部分DN的I/O短板,从而影响整体查询性能