检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建表与导入TPC-DS数据 创建TPC-DS目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
起内存分配不足。 max_stack_depth 参数说明:设置GaussDB(DWS)执行堆栈的最大安全深度。需要这个安全界限是因为在服务器里,并非所有程序都检查了堆栈深度,只是在可能递规的过程,比如表达式计算这样的过程里面才进行检查。 参数类型:SUSET 设置原则: 此参数
增长。 对于数据仓库与数据湖的不同之处,可以类比为仓库和湖泊的区别:仓库存储着来自特定来源的货物;而湖泊的水来自河流、溪流和其他来源,并且是原始数据。 表2 数据湖与数据仓库的对比 维度 数据湖 数据仓库 应用场景 可以探索性分析所有类型的数据,包括机器学习、数据发现、特征分析、预测等。
GaussDB(DWS)快照是否与EVS快照功能相同? 数据仓库服务的快照功能与云硬盘快照不同。 数据仓库服务的快照针对DWS集群的所有配置数据和业务数据,用于还原创建快照时的集群数据;云硬盘快照是针对于云服务器的数据盘或者系统盘的某个时段的业务数据。 DWS快照 数据仓库服务快
如何清理与回收GaussDB(DWS)存储空间? GaussDB(DWS)数据仓库中保存的数据在删除后,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费、创建及恢复快照性能下降等问题,如何清理? 清理与回收存储空间对系统的影响如下: 删除无用的脏数据,释放存储空间。 数据库将进
SMP自适应默认关闭,并可根据集群规格调整相关参数,以获取最佳性能。 MySQL部分语法兼容:支持UPSERT;区分NULL与空串,支持limit offset, count,兼容concat函数。 to_date与to_timestamp处理空串返回NULL。 在线扩容期间支持insert overwrit
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据
整库迁移 使用CDM迁移数据到GaussDB(DWS) 使用DSC工具迁移SQL脚本
其他操作 GDS管道文件常见问题 查看数据倾斜状态 分析表
实时入库 Kafka实时入库到GaussDB(DWS)
元数据迁移 使用gs_dump和gs_dumpall命令导出元数据 使用gs_restore导入数据
分析表 执行计划生成器需要使用表的统计信息,以生成最有效的查询执行计划,提高查询性能。因此数据导入完成后,建议执行ANALYZE语句生成最新的表统计信息。统计结果存储在系统表PG_STATISTIC中。 分析表 ANALYZE支持的表类型有行/列存表、HDFS表、ORC/CARB
使用数据安全服务DBSS(建议) 数据库安全服务(Database Security Service,DBSS)是一个智能的数据库安全服务,基于机器学习机制和大数据分析技术,提供数据库审计,SQL注入攻击检测,风险操作识别等功能,保障云上数据库的安全。 建议使用DBSS来提供扩展的数据安全能力,详情请参考数据库安全服务。
请从步骤1的备选分布列中删除该列,删除目标表,并重复步骤2 、步骤3 、步骤4 和步骤5。 此处的数据分布差表示实际查询到DN上的数据量与DN平均数据量的差异。分布差可以通过视图PGXC_GET_TABLE_SKEWNESS的查看。 (可选)如果上述步骤不能选出适合的分布列,需
数据入库。 适用于使用开源Kettle工具入库场景,数据入库速度在22000条/秒左右。 使用gsql元命令\COPY导入数据 本地文件 与直接使用SQL语句COPY不同,该命令读取/写入的文件只能是gsql客户端所在机器上的本地文件。 操作简单,适用于小批量数据入库。 使用COPY
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
GDS管道文件常见问题 注意事项 GDS支持并发导入导出,gds -t参数用于设置GDS的工作线程池大小,控制并发场景下同时工作的工作线程数且不会加速单个SQL任务。gds -t缺省值为8,上限值为200。在使用管道功能进行导入导出时,-t参数应不低于业务并发数。如果是双集群互联
添加“DWS表输出”节点,并配置好数据库连接、目标表、目标表字段与数据源字段对应关系及其它参数。“DWS表输出”控制对应的数据源只支持PostgreSQL。 保存转换任务,并启动任务。 查看运行结果,去目标数据表检查搬迁数据总数和明细数据是否与需要搬迁的数据一致。 父主题: 导入数据