检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi简介 Apache Hudi(发音Hoodie)表示Hadoop Upserts Deletes and Incrementals。用来管理Hadoop大数据体系下存储在DFS上大型分析数据集。 Hudi不是单纯的数据格式,而是一套数据访问方法(类似GaussDB(DWS
通过外表查询OBS上的数据 直接查询外表查看OBS上的数据 如果数据量较少,可直接使用SELECT查询外表,即可查看到OBS上的数据。 执行以下命令,则可以从外表查询数据。 1 SELECT * FROM product_info_ext_obs; 查询结果显示与原始数据显示相
pg_show_custom_settings()来查询相关参数的设置详情。 查询MOR表的增量视图时,需要使用where条件过滤_hoodie_commit_time字段,避免读取到未合并的不符合条件的log文件数据;COW表无需该操作。 Hudi外表信息查询与自动同步任务 GaussDB(DW
参数说明:控制是否使用inlist-to-join查询重写。 参数类型:USERSET 取值范围:字符串 disable:关闭inlist2join查询重写。 cost_base:基于代价的inlist2join查询重写。 rule_base:基于规则的inlist2join查询重写,即强制使用inlist2join查询重写。
查询和索引统计收集器 查询和索引统计收集器负责收集数据库系统运行中的统计数据,如在一个表和索引上进行了多少次插入与更新操作、磁盘块的数量和元组的数量、每个表上最近一次执行清理和分析操作的时间等。可以通过查询系统视图pg_stats和pg_statistic查看统计数据。下面的参数设置服务器范围内的统计收集特性。
资源管理 查询资源管理状态 查询资源管理状态。 添加资源管理计划 添加资源管理计划。 查询资源池列表 查询资源池。 删除资源池 删除资源池。 设置资源管理开关 设置资源管理。 告警管理 查询告警配置 查询告警配置。 查询告警详情列表 查询告警详情列表。 查询告警统计列表 查询告警统计。
参数说明:控制是否使用inlist-to-join查询重写。 参数类型:USERSET 取值范围:字符串 disable:关闭inlist2join查询重写。 cost_base:基于代价的inlist2join查询重写。 rule_base:基于规则的inlist2join查询重写,即强制使用inlist2join查询重写。
级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态,并助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。 您可以使用本文档提供的API对数据仓库服务的集群、快照、标签进行相关操作,如创建、查询、删除等,支持的全部操作请参见API概述。
查看重分布详情 在“重分布详情”页面可以查看到当前集群的重分布模式、重分布进度、数据表重分布详情等监控信息,可以对重分布进行暂停和恢复,重分布暂停状态可设置重分布优先级,修改重分布并发数等操作。 查看重分布详情功能8.1.1.200及以上集群版本支持,其中数据表重分布进度详情仅8
基于表结构设计和调优提升GaussDB(DWS)查询性能 调优前:学习表结构设计 步骤1:创建初始表并加装样例数据 步骤2:测试初始表结构下的系统性能并建立基线 步骤3:调优表操作具体步骤 步骤4:创建新表并加载数据 步骤5:测试新的表结构下的系统性能 步骤6:调优表性能评估 附录:表创建语法
使用Hudi前准备 前提条件 已完成创建OBS委托以及创建OBS数据源,具体可参见管理OBS数据源。 授权使用OBS数据源 执行GRANT命令给用户授予使用OBS数据源的权限: 1 GRANT USAGE ON FOREIGN SERVER server_name TO role_name;
操作会产生大量的磁盘页面碎片,从而逐渐降低查询的效率,需要将磁盘页面碎片恢复并交还操作系统,即VACUUM FULL操作,这种场景下需要查找出哪些表执行过UPDATE; 判断一张表是否是维度表,是否可以从Hash表变更为复制表,可以查看这张表是否执行过UPDATE或DELETE,
row) 原因分析: 对于子视图和子查询中order by是无效的。 解决方法: 不建议在子视图和子查询中使用order by,若要保证结果有序,需在最外层查询中使用order by。 子查询limit 场景:子查询中使用limit,两次查询结果不一致。 1 2 3 4
INSERT INTO student VALUES('s08' , 'ZhangShan' , 'female', 'Tongji'); 查看表student。 1 SELECT * FROM student; 回显如下: 创建教师信息表teacher(ID、姓名、性别、学校)。
INSERT INTO student VALUES('s08' , 'ZhangShan' , 'female', 'Tongji'); 查看表student。 1 SELECT * FROM student; 回显如下: 创建教师信息表teacher(ID、姓名、性别、学校)。
查询表报错:missing chunk number %d for toast value %u in pg_toast_XXXX 问题现象 查询表报错:missing chunk number %d for toast value %u in pg_toast_XXXX。 原因分析
使用GaussDB(DWS) 的ODBC驱动,SQL查询结果中字符类型的字段内容会被截断 问题现象 使用GaussDB(DWS)的ODBC驱动,SQL查询结果中字符类型的字段内容会被截断,需通过SQL语法CAST BYTEA转成二进制才能完整取出字段信息。但是,同样的程序连接ORACLE、SQL
wlm_query_accelerate 参数说明:标识在短查询加速打开时,查询是否需要加速。 参数类型:USERSET 取值范围:整型,-1~1 -1:短查询由快车道管控,长查询由慢车道管控。 0:查询不加速,短查询和长查询均由慢车道管控。 1:查询加速,短查询和长查询均由快车道管控。 默认值:-1 s
定义了多少字段,每个字段是什么类型。Hudi外表支持的最大列数为5000列。 例如,对于MRS上的Hudi表,可以使用spark-sql来查询原始表定义: 1 SHOW create table rtd_mfdt_int_currency_t; 编写DWS表定义 非bucket表
cpu_operator_cost 参数说明:设置优化器计算一次查询中执行一个操作符或函数的开销。 参数类型:USERSET 取值范围:浮点型,0~DBL_MAX。 默认值:0.0025 effective_cache_size 参数说明:设置优化器在一次单一的查询中可用的磁盘缓冲区的有效大小。 设置这个