正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用VPC共享来处理GaussDB(DWS)资源? 背景信息 共享VPC功能支持多个账号在一个集中管理、共享的VPC内创建云资源,比如GaussDB(DWS)、ELB、ECS等。VPC的所有者可以将VPC内的子网共享给一个或者多个账号使用。通过共享VPC功能,可以简化网络配置
教程:已有数据的物理集群转换逻辑集群 场景介绍 大规模数据库集群通常会同时包含很多业务数据,不同业务有不同的数据表,可以通过资源管理功能创建多个资源池来实现不同业务的资源隔离。GaussDB(DWS)支持将不同业务用户分配给不同资源池,以便减少业务之间资源(CPU资源、内存资源、IO资源和存储资源)竞争。
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。 假设有2个ORC数据文件“product_info.0”和“product_info
使用开源Kettle导入数据 Kettle是一款开源的ETL工具,通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下,使用Kettle自身提供的数据入库插件,入库速度在1500条/秒左右,数据搬迁耗时较高。而相同运行环境下,使用集成dws-client
创建OBS外表 操作步骤 根据上传数据到OBS中规划的路径,由此确定创建外表时使用的参数loaction的值。 用户获取OBS访问协议对应的AK值和SK值。获取访问密钥,请登录管理控制台,单击右上角的用户名并选择菜单“我的凭证”,然后在左侧导航树单击“访问密钥”。在访问密钥页面,
hll_union_agg(hll) 描述:将多个hll类型数据union成一个hll。 返回值类型:hll 示例: 将各组中的hll数据union成一个hll,并计算distinct值。 1 2 3 4 5 SELECT #hll_union_agg(c) as cardinality FROM t_a_c_hll;
hll_union_agg(hll) 描述:将多个hll类型数据union成一个hll。 返回值类型:hll 示例: 将各组中的hll数据union成一个hll,并计算distinct值。 1 2 3 4 5 SELECT #hll_union_agg(c) as cardinality FROM t_a_c_hll;
hll_union_agg(hll) 描述:将多个hll类型数据union成一个hll。 返回值类型:hll 示例: 将各组中的hll数据union成一个hll,并计算distinct值。 1 2 3 4 5 SELECT #hll_union_agg(c) as cardinality FROM t_a_c_hll;
查询和索引统计收集器 查询和索引统计收集器负责收集数据库系统运行中的统计数据,如在一个表和索引上进行了多少次插入与更新操作、磁盘块的数量和元组的数量、每个表上最近一次执行清理和分析操作的时间等。可以通过查询系统视图pg_stats和pg_statistic查看统计数据。下面的参数设置服务器范围内的统计收集特性。
使用时请注意,如分区表上不支持并行创建索引、不支持创建部分索引、不支持NULL FIRST特性。 注意事项 索引自身也占用存储空间、消耗计算资源,创建过多的索引将对数据库性能造成负面影响(尤其影响数据导入的性能,建议在数据导入后再建索引)。因此,仅在必要时创建索引。 索引定义里
平台和客户端兼容性 很多平台都使用数据库系统,数据库系统的对外兼容性给平台提供了很大的方便。 transform_null_equals 参数说明:控制表达式expr = NULL(或NULL = expr)当做expr IS NULL处理。如果expr得出NULL值则返回真,否则返回假。
DML语法一览表 DML(Data Manipulation Language数据操作语言),用于对数据库表中的数据进行操作。如:插入、更新、查询、删除。 插入数据 插入数据是往数据库表中添加一条或多条记录,请参考INSERT。 修改数据 修改数据是修改数据库表中的一条或多条记录,请参考UPDATE。
资源池慢车道并发上限,即资源池并发超过active_statements上限。 资源池慢车道内存上限,即资源池并发作业估算内存超过mem_percent计算的上限。 空或no waiting queue:表示语句正在运行。 state text 后端当前总体状态。可能值是: active:后台正在执行查询。
DML语法一览表 DML(Data Manipulation Language数据操作语言),用于对数据库表中的数据进行操作。如:插入、更新、查询、删除。 插入数据 插入数据是往数据库表中添加一条或多条记录,请参考INSERT。 修改数据 修改数据是修改数据库表中的一条或多条记录,请参考UPDATE。
PGXC_WORKLOAD_SQL_ELAPSE_TIME PGXC_WORKLOAD_SQL_ELAPSE_TIME视图显示集群中所有CN节点上Workload控制组内SQL语句执行的响应时间的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的最大、最小
PGXC_WORKLOAD_SQL_ELAPSE_TIME PGXC_WORKLOAD_SQL_ELAPSE_TIME视图显示集群中所有CN节点上Workload控制组内SQL语句执行的响应时间的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的最大、最小
PGXC_WORKLOAD_SQL_ELAPSE_TIME PGXC_WORKLOAD_SQL_ELAPSE_TIME视图显示集群中所有CN节点上Workload控制组内SQL语句执行的响应时间的统计信息,包括SELECT、UPDATE、INSERT、DELETE语句的最大、最小
资源池慢车道并发上限,即资源池并发超过active_statements上限。 资源池慢车道内存上限,即资源池并发作业估算内存超过mem_percent计算的上限。 空或no waiting queue:表示语句正在运行。 state text 后端当前总体状态。可能值是: active:后台正在执行查询。
sql_lang sql_lang db-tdsql-tag-name=sql_lang add-timing-on 指定是否通过添加脚本来计算执行时间。 如果启用,则为每个输入文件添加add timing脚本。 true false false add-timing-on=true
CN只负责任务的规划及下发,把数据导出的工作交给了DN,释放了CN的资源,使其有能力处理外部请求。 通过让各个DN都参与数据导出,充分利用各个设备的计算能力及网络带宽。 图1 通过外表导出数据 相关概念 数据文件:存储有数据的TEXT、CSV或FIXED文件。文件中保存的是从GaussDB(DWS)数据库导出的数据。