检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
generate stream element due to out of memory" SQLSTATE: 53200 错误原因:无法创建分布式内部对象。 解决办法:内存不够用,检查内存使用情况,清理缓存。 GAUSS-02262: "Distribute query fail due
text)查询出表在各个DN占用的存储空间。 1 SELECT table_distribution(schemaname,relname) FROM get_last_changed_table(); 场景二:常规数据倾斜巡检 在库中表个数少于1W的场景,直接使用倾斜视图查询当前数据库内所有表的数据倾斜情况。
O均充足的情况下,压缩级别对加载效率影响不大。通常,列存表的加载效率比行存要高。 存储占用减少了64.3%。 压缩级别、列存和Hash分布均能够节省存储空间。Replication表会明显加大存储占用,但是可以减小网络开销。通过对小表采用Replication方式,是使用小量空间换取性能的正向做法。
使用COPY命令导入数据 COPY命令用于从本地或其它数据库的多个数据源并行导入数据。COPY导入大量数据的效率要比INSERT语句高很多,而且存储数据也更有效率。 有关如何使用COPY命令的更多信息,请参考使用COPY FROM STDIN导入数据 。 使用gsql元命令导入数据 \cop
新升为主的DN同步到从备DN的Xlog数据和数据通道复制产生的数据。因此从备DN不额外占用存储资源,相比传统三副本节约了三分之一的存储空间。 Storage 服务器的本地存储资源,持久化存储数据。 - 集群的每个DN上负责存储数据,其存储介质也是磁盘。图2从逻辑上介绍了每个DN
发布区域:全部 从OBS导入数据 从GDS导入数据 从MRS导入数据 从CDM导入数据 适用gs_restore导入元数据 导出数据 DWS支持三种方式导出数据: • 使用OBS外表导出:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,DWS推荐此方法。 •
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。 假设有2个ORC数据文件“product_info.0”和“product_info
DB(DWS)分布式集群中多个节点可能部署在同一个机器上,其MAC地址相同,UUID存在冲突的风险。因此GaussDB(DWS)将最后48位为的MAC地址替换为生成UUID的CN或DN的序号和当前的线程ID,确保UUID在分布式集群内部做到全局唯一。 父主题: 数据类型
如何查看GaussDB(DWS)表是行存还是列存? 表的存储方式由建表语句中的ORIENTATION参数控制,row表示行存,column表示列存。 不指定ORIENTATION参数,默认为row行存。 查看已创建的表是行存还是列存,可通过表定义函数PG_GET_TABLEDEF查询。
DB(DWS)分布式集群中多个节点可能部署在同一个机器上,其MAC地址相同,UUID存在冲突的风险。因此GaussDB(DWS)将最后48位为的MAC地址替换为生成UUID的CN或DN的序号和当前的线程ID,确保UUID在分布式集群内部做到全局唯一。 父主题: 数据类型
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海
ame。 ORA TD MySQL bind_procedure_searchpath 未指定模式名的数据库对象的搜索路径配置项。 在存储过程中如果不显示指定模式名,会优先在存储过程所属的模式下搜索。 如果找不到,则有两种情况: 若不设置此参数,报错退出。 若设置此参数,按照se
0 (8 rows) 插入数据不满足hll数据结构要求时报错场景 当用户给hll类型的字段插入数据的时候,必须保证插入的数据满足hll数据结构要求,如果解析后不满足就会报错。 例如: 插入数据'E\\1234'时,该数据不满足hll数据结构,不能解析成功因此失败报错。 1
0 (8 rows) 插入数据不满足hll数据结构要求时报错场景 当用户给hll类型的字段插入数据的时候,必须保证插入的数据满足hll数据结构要求,如果解析后不满足就会报错。 例如: 插入数据'E\\1234'时,该数据不满足hll数据结构,不能解析成功因此失败报错。 1
线扩容和自动重分布。 管理重分布 默认情况下,在扩容之后将自动调起重分布任务,为了增强扩容重分布整个流程的可靠性,可以选择在扩容时关闭自动重分布功能,在扩容成功之后再手动使用重分布功能执行重分布任务,数据重分布后将大大提升业务响应速率。当前重分布支持离线重分布、在线重分布两种模式
有意义。 取值范围:10~100 ORIENTATION 决定了表的数据的存储方式。 取值范围: COLUMN:表的数据将以列式存储。 ROW(缺省值):表的数据将以行式存储。 ORC:表的数据将以ORC格式存储(仅HDFS表)。 orientation不支持修改。 COMPRESSION
0rc1/tools目录后,执行以下命令生成数据。 因为tpcds 1000X的数据,单个表的数据文件较大,我们采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议均分两个数据盘来生成数据,如下示例,1
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive
script outside of limit. 在存储过程中定义的数组类型,其作用域仅在该存储过程中。 建议选择上述定义方法的一种来自定义数组类型,当同时使用两种方法定义同名的数组类型时,GaussDB(DWS)会优先选择存储过程中定义的数组类型来声明数组变量。 GaussDB(DWS)
GaussDB(DWS)支持数据加密,同时可与数据库安全服务对接,保证云上数据安全。同时GaussDB(DWS)支持数据自动全量、增量备份,提升数据可靠性。 大数据融合分析 随着信息技术的发展和进步,数据资源已经成为企业的核心资源。整合数据资源,构建大数据平台,发现数据价值,成为企业经营的