检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境已预置样例数据在OBS桶,通过创建OBS外表导入样例数据,再使用聚合函数、group by、order by、视图进行多维度分析。 1.5h SQL on Hadoop 导入MRS-Hive数据源 创建数据仓库集群GaussDB(DWS),并导入MRS的Hive数据,实现跨集群进行大数据融合分析。
膨胀严重,需要对用户表执行Vacuum/Vacuum Full。 仅8.1.3及以上集群版本支持。 处理方法 登录GaussDB(DWS) 管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在运维详情部分切换至运维计划模块。单击“添加运维任务”按钮。
使用场景 传统数据库集群中,用户数据明文保存在行存/列存文件中,集群的维护人员或者恶意攻击者可在OS层面绕过数据库的权限控制机制或者窃取磁盘直接访问用户数据。GaussDB(DWS)通过对接华为云数据加密服务的密钥管理KMS,可实现数据的透明加密,保障用户数据安全。 Gauss
快速查询全库中所有表占用空间大小 8.1.3及以上集群版本在大集群大数据量(表数量大于1000)场景下,如果进行全库表查询,建议优先使用pgxc_wlm_table_distribution_skewness视图,该视图可以查到全库内的各表空间使用情况以及数据倾斜分布情况。其中,total_si
表数据膨胀导致SQL查询慢,用户前台页面数据加载不出 问题现象 数据库中原先执行几秒钟的SQL语句,现在执行二十几秒未出结果,导致前台页面数据加载超时,无法对用户提供图表显示。 原因分析 大量表频繁增删改,未及时清理,导致脏数据过多、表数据膨胀、查询慢。 内存参数设置不合理。 分析过程
从GaussDB(DWS)集群导入数据到新集群 功能描述 通过在集群中创建Foreign Table的方式,实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项
照记录的集群信息来创建新集群,然后从快照记录的数据中还原数据库信息。从快照恢复数据到新集群的详细步骤请参见恢复快照到新集群。 当选择将快照恢复到原集群时,GaussDB(DWS)会清除当前集群的数据,然后从快照记录的数据中将数据库信息还原到当前集群。从快照恢复数据到原集群的详细步骤请参见恢复快照到原集群。
准备源数据 操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。
导出操作语法: 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。
使用CDM迁移Oracle数据至GaussDB(DWS)集群 迁移流程 准备工具 迁移表定义 迁移表全量数据 迁移业务SQL 父主题: 数据迁移
创建LakeFormation数据源 在GaussDB(DWS)管理管制台,单击“集群 > 专属集群”。 在集群列表,单击指定集群的名称,然后选择“数据源 > LakeFormation数据源”。 在LakeFormation数据源页面,单击“创建LakeFormation数据源连接”,填写配置参数。
使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群 概述 实例管理 连接管理 映射管理 作业管理 父主题: 迁移业务数据至GaussDB(DWS)集群
从DLI导入表数据到GaussDB(DWS)集群 本实践演示使用GaussDB(DWS)外表功能从数据湖探索服务DLI导入数据到GaussDB(DWS)数据仓库的过程。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、数据湖探索 DLI、对象存储服务
String 集群ID。获取方法,请参见获取集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 data_source_id 否 String 外部数据源ID。当数据源为MRS时为必选字段。获取方法,请参见查询数据源。 type 是 String 数据源类型,其中包含:
GaussDB(DWS)数据库GUC参数 查看GUC参数 设置GUC参数 GUC使用说明 连接和认证 资源消耗 并行导入 预写式日志 双机复制 查询规划 错误报告和日志 运行时统计 资源管理 自动清理 客户端连接缺省设置 锁管理 版本和平台兼容性 容错性 连接池参数 集群事务 开发人员选项
查询GaussDB(DWS)数据 GaussDB(DWS)单表查询 GaussDB(DWS)多表连接查询 GaussDB(DWS)子查询表达式 GaussDB(DWS) WITH表达式 GaussDB(DWS) UNION操作符的使用 跨逻辑集群数据读写 SQL on Hudi
GaussDB(DWS)数据库GUC参数 查看GUC参数 设置GUC参数 GUC使用说明 连接和认证 资源消耗 并行导入 预写式日志 双机复制 查询规划 错误报告和日志 运行时统计 资源管理 自动清理 客户端连接缺省设置 锁管理 版本和平台兼容性 容错性 连接池参数 集群事务 开发人员选项
cluster_id String 集群ID。 type String 数据源类型。其中包含: OBS数据源 MRS数据源 count Integer 总数。 表3 ExtDataSource 参数 参数类型 描述 id String 数据源配置ID。 name String 数据源名称。 type
DWS)集群。 集群部署时,如果单个节点故障,访问GaussDB(DWS)时会自动屏蔽异常节点,但会影响集群性能。 访问集群数据库 GaussDB(DWS)支持如下方式访问集群数据库: GaussDB(DWS)客户端方式 用户使用GaussDB(DWS)客户端访问集群数据库,请参
“dataencoding” 在数据库编码与数据表的数据编码不一致时,该参数用于指定导出数据表的数据编码。比如数据库编码为Latin-1,而导出的数据表中的数据为UTF-8编码。此选项为可选项,如果不指定该选项,默认采用数据库编码。此语法仅对HDFS的WRITE ONLY外表有效。 取值范围:该数据库编码支持转换的数据编码。