检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用外表功能实现GaussDB(DWS)集群间数据迁移 大数据融合分析场景下,支持同一区域内的多套GaussDB(DWS)集群之间的数据互通互访,本实践将演示通过Foreign Table方式从远端DWS导入数据到本地端DWS。 本实践演示过程为:以gsql作为数据库客户端,gs
取值范围:已存在的表名。 AS 用于给目标表table_name指定别名。alias即为别名的名字。 column_name 目标表中的字段名: 字段名可以用子字段名或者数组下标修饰。 没有在字段列表中出现的每个字段,将由系统默认值,或者声明时的默认值填充,若都没有则用NULL填充。例如,向一个复
要创建的索引名,索引的模式与表相同。索引名不能与数据库中已有的表名重复。 取值范围:字符串,要符合标识符的命名规范。 table_name 需要为其创建索引的表的名字,可以用模式修饰。 取值范围:已存在的表名。 USING method 指定创建索引的方法。 取值范围: btree:B-tree索引使用一种类似于
至少包含以下字符中的3种:大写字母、小写字母、数字和特殊字符(~!?,.:;_(){}[]/<>@#%^&*+|\=-)。 不能与用户名或倒序的用户名相同。 说明: 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 public_ip 否
reject_limit 指定本次数据导入允许出现的数据格式错误个数,当导入过程中出现的数据格式错误未达到限定值时,本次数据导入可以成功。 此语法建议用PER NODE REJECT LIMIT 'value'替代。 数据格式错误是指缺少或者多出字段值,数据类型错误或者编码错误。对于非数据格
修改。 取值范围: ROW,表示表的数据将以行式存储。 行存储适合于OLTP业务,此类型的表上交互事务比较多,一次交互会涉及表中的多个列,用行存查询效率较高。 COLUMN,表示表的数据将以列式存储。 列存储适合于数据仓库业务,此类型的表上会做大量的汇聚计算,且涉及的列操作较少。
从MRS Hive导入表数据到GaussDB(DWS)集群 本教程通过建立HDFS外表实现GaussDB(DWS)远端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下:
2集群版本场景该参数的默认值为hash。 feature_support_options 参数说明:控制数据脱敏功能与PostGIS功能开关,该参数的值由若干个配置项用逗号隔开构成。 参数类型:SIGHUP 取值范围:字符串 空,表示禁止数据脱敏功能和PostGIS的使用。 enable_postgis_e
HStore/HStore Opt共同点: update入库性能差,建议修改为upsert。 delete入库,确定计划走索引扫描即可,用JDBC batch方式入库最佳。 merge into入库建议在单次入库数据量超过100W/dn,且无并发数据保证无重复的情况下使用。 尽量避免对冷分区的数据进行修改和新增。
至少包含以下字符中的3种:大写字母、小写字母、数字和特殊字符(~!?,.:;_(){}[]/<>@#%^&*+|\=-)。 不能与用户名或倒序的用户名相同。 说明: 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 db_port 是 Integer
index_name 要创建的索引名,索引的模式与表相同。 取值范围:字符串,要符合标识符的命名规范。 table_name 需要为其创建索引的表的名字,可以用模式修饰。 取值范围:已存在的表名。 USING method 指定创建索引的方法。 取值范围: btree:B-tree索引使用一种类似于
index_name 要创建的索引名,索引的模式与表相同。 取值范围:字符串,要符合标识符的命名规范。 table_name 需要为其创建索引的表的名字,可以用模式修饰。 取值范围:已存在的表名。 USING method 指定创建索引的方法。 取值范围: btree:B-tree索引使用一种类似于
autovacuum_analyze_threshold autovacuum_analyze_scale_factor 异步轮询触发 动态采样 查询解析时,根据阈值,用几十秒的代价 实时维护统计信息 normal模式,统计信息存系统表,全局共享。四级锁,同一张表不能并发 light模式,统计信息存内存,全局共享。一级锁,同一张表可以并发
GDS-Kafka支持的消息格式 表2 GDS-Kafka支持的消息格式 kafka.source.event.type 格式示例 格式说明 cdc.drs.avro 华为云DRS的内部格式,DRS生产至Kafka的avro格式,GDS-Kafka可直接对接进行解析入库。 无 drs.cdc 使用drs.cdc
集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<Secret_Access_Key>替换为实际值,在准备工作获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 创建外表如果提示“ERROR:
mem: 1024KB (24 rows) 优化方法:索引条件上的常量尽可能使用和索引列相同类型的常量,避免发生隐式类型转化。 场景四:用nestloop + indexscan代替hashjoin 此类语句的特征是两个表关联的时候,其中一个表上where条件过滤之后的结果集行
reject_limit 指定本次数据导入允许出现的数据格式错误个数,当导入过程中出现的数据格式错误未达到限定值时,本次数据导入可以成功。 此语法建议用PER NODE REJECT LIMIT 'value'替代。 数据格式错误是指缺少或者多出字段值,数据类型错误或者编码错误。对于非数据格
reject_limit 指定本次数据导入允许出现的数据格式错误个数,当导入过程中出现的数据格式错误未达到限定值时,本次数据导入可以成功。 此语法建议用PER NODE REJECT LIMIT 'value'替代。 数据格式错误是指缺少或者多出字段值,数据类型错误或者编码错误。对于非数据格
修改。 取值范围: ROW,表示表的数据将以行式存储。 行存储适合于OLTP业务,此类型的表上交互事务比较多,一次交互会涉及表中的多个列,用行存查询效率较高。 COLUMN,表示表的数据将以列式存储。 列存储适合于数据仓库业务,此类型的表上会做大量的汇聚计算,且涉及的列操作较少。
景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2 3 4 5 6