检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本实验通过部署GDS服务器,使用GDS导入导出的并发能力,实现双DWS集群之间1500万行数据分钟级迁移。 2h 安全管理 权限管理 通过实验创建不同用户,不同Schema,基于权限管理实现数据的隔离和互访,了解用户、角色的关系,了解grant的基本用法,了解基于角色的权限管理(RBAC)。 1.5h
队列管理”,记录dli_dws所在网段。 图1 DLI队列网段 切换到RDS的控制台,左侧选择“实例管理”,单击创建好的RDS实例名称。 记录“连接信息”的“内网地址”,后续测试连通性的步骤需要使用。 单击“连接信息”中安全组旁边的“管理”。 图2 RDS安全组 在弹出的安全组列表中,单击安全组名称,进入安全组配置页面。
SQL on Anywhere SQL on hudi OBS / HDFS / DLI
GDS/Copy 公共机制(选项参数、任务分配、压缩) 导入
优化器 查询重写 路径生成 计划生成 Analyze utile接口
执行器 行执行引擎 向量化执行引擎 分布式执行框架
安全 授权 脱敏
通信 libpq pooler 通信通用接口
WLM 负载管理 CPU管控 空间管控 异常规则 资源监控
测试结果 TPC-H 单并发查询 TPC-DS 单并发查询
总体流程 图1 整体流程 父主题: 测试方法
构建TPC-H&TPC-DS使用数据 准备数据构建工具编译环境 TPC-H数据构建 TPC-DS数据构建 父主题: 测试方法
建表与数据导入 GDS方式导入 父主题: 测试方法
GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题: 建表与数据导入
执行查询与结果收集 通过编写shell脚本自动化执行查询和结果收集 父主题: 测试方法
附录 TPC-H测试集 TPC-DS测试集
GAUSS-03801 -- GAUSS-03900 GAUSS-03801 -- GAUSS-03810 GAUSS-03811 -- GAUSS-03820 GAUSS-03821 -- GAUSS-03830 GAUSS-03831 -- GAUSS-03840 GAUSS-03841
GAUSS-04201 -- GAUSS-04300 GAUSS-04201 -- GAUSS-04210 GAUSS-04211 -- GAUSS-04220 GAUSS-04221 -- GAUSS-04230 GAUSS-04231 -- GAUSS-04240 GAUSS-04241
GAUSS-04301 -- GAUSS-04400 GAUSS-04301 -- GAUSS-04310 GAUSS-04311 -- GAUSS-04320 GAUSS-04321 -- GAUSS-04330 GAUSS-04331 -- GAUSS-04340 GAUSS-04341
GAUSS-04601 -- GAUSS-04700 GAUSS-04601 -- GAUSS-04610 GAUSS-04611 -- GAUSS-04620 GAUSS-04621 -- GAUSS-04630 GAUSS-04631 -- GAUSS-04640 GAUSS-04641