检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建GDS外表并导入TPC-DS数据 本文介绍如何通过GDS外表导入TPC-DS 1000x数据，表1列出了TPC-DS测试数据集中的表数据行数。 TPC-H请跳过本章节。 表数据行数 表1 TPC-DS 序号 表名 行数 1 customer_address 6,000,000
审视和修改表定义 在分布式框架下，数据分布在各个DN上。一个或者几个DN的数据存在一块物理存储设备上，较好的表定义需要满足以下要求： 表数据均匀分布在各个DN上，以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列，避免数据分布倾斜可以实现该点。 表Scan压
创建GDS外表并导入TPC-H数据 本文介绍如何通过GDS外表导入TPC-H 1000x数据，表1列出了TPC-H测试数据集中的表数据行数。 TPC-DS请跳过本章节。 表数据行数 表1 TPC-H 序号 表名 行数 1 region 5 2 nation 25 3 supplier
GaussDB(DWS) 产品介绍 03:04 什么是数据仓库服务 数据仓库服务 GaussDB(DWS) 助力消费者BG大数据平台云化 02:31 DWS助力消费者BG大数据平台云化 数据仓库服务 GaussDB(DWS) 新一代企业数仓 11:09 DWS重定义新一代企业数仓 操作指导 数据仓库服务
多AZ集群仅支持扩容个数为3的倍数。 设置高级配置。 选择“默认配置”：“在线扩容”默认关闭，“自动重分布”默认开启，“重分布模式”默认为离线模式。 选择“自定义”，您可以设置以下高级配置参数进行扩容操作： “在线扩容”：支持打开在线扩容。在线扩容过程中，支持数据库增删改查及部分DDL语法，其余不支持的语法会出现报错。
节点变更 > 重分布”。 系统将显示“重分布”页面。 在“重分布”页面选择默认的离线模式，单击“下一步：确认”提交重分布任务。 在线重分布 注意事项 在线重分布模式下数据库支持部分DDL和DCL操作。 正在重分布的表支持插入、删除、更新和部分DDL语法。支持功能如下： 可进行正在重
步骤5：测试新的表结构下的系统性能 重新创建了具有存储方式、压缩级别、分布方式和分布列的测试数据集后，重新测试系统性能。 记录各表的存储使用情况。 使用pg_size_pretty函数查询每张表使用的磁盘空间，并将结果记录到基准表中。 1 SELECT T_NAME, PG_SI
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格
通过编写shell脚本自动化执行查询和结果收集 登录ECS，进入到/opt目录下，使用vim命令生成query.conf和run_query.sh两个脚本文件。脚本内容如下，编辑后按:wq!保存脚本配置。 run_query.sh脚本如下： 1 2 3 4 5 6 7
12xlarge ARM 48 384 100GB ~ 24000GB 1200 100 9600 4 有着极致的性能，适用于高吞吐数仓加工，高并发在线查询生产环境。 dwsx2.16xlarge.m7 X86 64 512 100GB ~ 32000GB 1600 100 12800 4
文本检索调试函数 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description text, OUT token text, OUT dictionaries regdictionary[]
文本检索调试函数 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description text, OUT token text, OUT dictionaries regdictionary[]
Flink作业实现Kafka实时入库GaussDB(DWS)。 适用Kafka实时入库。 使用CDM迁移数据到GaussDB(DWS) 数据库、NoSQL、文件系统、大数据平台 CDM提供同构/异构数据源之间批量数据迁移的功能，帮助用户实现从多种类型的数据源迁移数据到GaussDB(DWS)。CDM在迁移数据到G
步骤2：测试初始表结构下的系统性能并建立基线 在优化表结构前后，请测试和记录以下详细信息以对比系统性能差异： 数据加载时间。 表占用的存储空间大小。 查询性能。 本次实践中的示例基于使用8节点的dws.d2.xlarge集群。因为系统性能受到许多因素的影响，即使您使用相同的集群配置，结果也会有所不同。
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责
创建弹性云服务器ECS 参考《弹性云服务器用户指南》创建弹性云服务器，创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大，以TPC-DS 1000X和TPC-H 1000X为例，分别占用930GB和1100GB。请创建弹性云服务器时，根据需求添加数据盘，举例如下：
读导致业务中断。 云数仓+SSD云盘：参见磁盘扩容进行磁盘扩容。 云数仓+SSD本地盘及旧的标准数仓(不支持磁盘扩容)：请联系技术支持进行在线扩容。 场景二：磁盘倾斜，倾斜表清理方式 倾斜表，针对单DN倾斜率>5%的表，建议对表进行重选分布列，并对数据进行重分布。 倾斜表的危害：
"pre-existing shared memory block is still in use" SQLSTATE: XX000 错误原因： WIN32平台不涉及。 解决办法：请联系技术支持工程师提供技术支持。 GAUSS-02459: "failed to release reserved memory
调优前：学习表结构设计 在本实践中，您将学习如何优化表的设计。您首先不指定存储方式，分布键、分布方式和压缩方式创建表，然后为这些表加载测试数据并测试系统性能。接下来，您将应用调优表实践以使用新的存储方式、分布键、分布方式和压缩方式重新创建这些表，并再次为这些表加载测试数据和测试系
据自动全量、增量备份，提升数据可靠性。 大数据融合分析 随着信息技术的发展和进步，数据资源已经成为企业的核心资源。整合数据资源，构建大数据平台，发现数据价值，成为企业经营的新趋势和迫切诉求。而如何从海量数据中快速挖掘“价值”，成为助力用户实现预测性分析的关键要素。 图2 大数据融合分析
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
