检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GDS管道文件常见问题 注意事项 GDS支持并发导入导出,gds -t参数用于设置GDS的工作线程池大小,控制并发场景下同时工作的工作线程数且不会加速单个SQL任务。gds -t缺省值为8,上限值为200。在使用管道功能进行导入导出时,-t参数应不低于业务并发数。如果是双集群互联
使用开源Kettle导入数据 Kettle是一款开源的ETL工具,通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下,使用Kettle自身提供的数据入库插件,入库速度在1500条/秒左右,数据搬迁耗时较高。而相同运行环境下,使用集成dws-client
储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。 GaussDB(DWS)用户的业务数据是直接存放在集群的云主机当中,集群的云主机对GaussDB(DWS)用户本身不可见,只向用户提供数据仓库访问服务,用户以及公有云的运维管理员均无法登录
GaussDB(DWS)可以存储多少业务数据? 数据仓库集群每个节点默认能够支持1.49TB、2.98TB、4.47TB、160GB、1.68TB、13.41TB六种规格的存储容量,一个集群支持的节点数范围为3~256,集群总的存储容量随集群规模等比例扩充。 为增强可靠性,每个节
未分区剪枝导致SQL查询慢 问题现象 SQL语句查询慢,查询的分区表总共185亿条数据,查询条件中没有涉及分区键。 1 2 SELECT passtime FROM table where passtime<'2020-02-19 15:28:14' and passtime>'2020-02-18
动态负载管理下的CCN排队 问题现象 业务整体缓慢,只有少量语句在执行,其余业务语句都在排队中(wait in ccn queue)。 原因分析 动态负载管理下,语句会根据估算内存计数排序,例如,最大动态可用内存为10GB(单实例),语句估算使用内存大小为5GB,这样的语句运行两
postmaster is accepting TCP/IP connections. 问题分析:客户端与服务端网络不通、端口错误或待连接CN异常。 处理方法: 客户端ping服务端IP,查看网络是否畅通,网络不通则需解决网络问题。 检查URL中连接CN的端口是否正确,若端口不正确则需修改为正确的端口(默认为8000)。
将上面准备的3个CSV格式的数据源文件存储到OBS桶中。 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务》“快速入门”中的创建桶。 例如,创建以下两个桶:“mybucket”和“mybucket02”。
DSC支持UTF-8、ASCII以及GB2312编码格式。encodingFormat的值不区分大小写。 如果需要获取Linux系统中源文件的编码格式,请在源文件所在服务器上执行以下命令: 1 file -bi <Input file name> 父主题: 迁移流程
SET SET是Teradata的独有功能。它不允许重复的记录。它使用MINUS集合操作符来实现。DSC支持MULTISET和SET表。SET表支持与VOLATILE一起使用。 输入:SET TABLE 1 2 3 4 5 CREATE SET VOLATILE TABLE tab1
MULTISET MULTISET是一个普通表,所有数据库都支持这个表。迁移工具同时支持MULTISET和SET表。 MULTISET表支持与VOLATILE一起使用。 输入:CREATE MULTISET TABLE 1 CREATE VOLATILE MULTISET TABLE
PARTITION 工具不支持迁移分区/子分区,在迁移后脚本中注释掉以下分区/子分区的关键字: 范围分区/子分区 列表分区/子分区 哈希分区/子分区 场景1:假设参数tdMigrateCASE_N和tdMigrateRANGE_N分别设置为comment和range。 以下示例为
COLLECT STATISTICS 在Teradata中,COLLECT STAT采集优化器统计信息,用于查询性能。DWS使用ANALYZE语句来替代COLLECT STAT。 详情请参见ANALYZE。 输入:COLLECT STATISTICS 1 COLLECT STAT
DBC.COLUMNS DBC.COLUMNS视图是一个表,包含有关表和视图列、存储过程、或宏参数的信息。其中包括以下列:DatabaseName、TableName、ColumnName、ColumnFormat、ColumnTitle、ColumnType、DefaultVa
唯一索引 GaussDB(DWS)不支持唯一索引(约束)与主键约束联合使用。DSC工具迁移时会根据GaussDB(DWS)的特性进行相应适配。 MySQL唯一索引(约束)与主键约束联合使用的场景在工具迁移时会与OLAP场景下的分布键构成复杂的关系。工具暂不支持唯一索引(约束)与主键约束联合使用的场景。
SPATIAL空间索引 GaussDB(DWS)不支持SPATIAL空间索引。DSC工具迁移时会根据GaussDB(DWS)的特性进行相应适配。 内联SPATIAL空间索引。 输入示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
索引重命名 DSC工具支持索引重命名,对索引名前加表名前缀防止索引名冲突(只支持创建有具体索引名的DDL语句,目前不支持删除索引的重命名,修改该参数需慎重)。 修改配置 打开表1 features-mysql.properties文件中的配置参数配置文件,修改如下参数为true。(默认false:不进行重命名)
数据操作语句(DML) INSERT UPDATE REPLACE 引号 INTERVAL 除法表达式 GROUP BY转换 ROLLUP 父主题: MySQL语法迁移
Oracle SQL配置 设置Oracle配置参数可在迁移Oracle数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-oracle.properties文件,并根据实际需要设置表1中的参数。 表1 features-oracle.properties文件中的配置参数
包名列表 启用&禁用 设置package_name_list为bas_lookup_misc_pkg。 根据配置参数启用和禁用参数。 输入 1 2 3 4 If this parameter is enabled, the below line should be added before