检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不支持COPY FROM STDIN语句。 不支持gsql \copy from元命令。 不支持JDBC CopyManager copyIn导入数据。 GUC参数 表7 GUC参数 变更类型 序号 名称 变更描述 新增 1 sql_use_spacelimit 设置单SQL语句在单个DN上最大存储空间限额。
待lockwait_timeout时间然后报错。通过减小此参数的数值,降低死锁造成的业务等待时间。 保证主键相同的数据从只从一个数据库连接导入数据库。可以并发执行UPSERT语句。 每个事务中只执行一条UPSERT语句。可以并发执行UPSERT语句。 单线程执行多条UPSERT语句,不能并发执行UPSERT语句。
CopyManager CopyManager是GaussDB(DWS) JDBC驱动中提供的一个API接口类,用于批量向GaussDB(DWS)集群中导入数据。 CopyManager的继承关系 CopyManager类位于org.postgresql.copy Package中,继承自java
GAUSS-04061 -- GAUSS-04070 GAUSS-04061: "could not load the ca certificate file" SQLSTATE: XX000 错误原因:系统内部错误。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-04062:
步骤三:创建DLI队列 步骤四:创建增强型跨源连接 步骤五:创建DLI Flink作业 步骤六:验证数据同步 更多信息 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。
高的性价比,进一步助力企业降本增效。 存算分离集群具有以下优势: 湖仓一体:提供简单、易维护的湖仓一体体验,无缝对接DLI,支持元数据自动导入、外部表查询加速、内外表关联查询,支持数据湖格式读写,简化数据入湖入仓。 实时写入:提供H-Store存储引擎,对实时写入场景进行了设计优
OVERWRITE不要和INSERT INTO这类实时写入的操作并发,否则实时写入数据有被意外清理的风险。 OVERWRITE适用于大批量数据导入场景,不建议用于少量数据的插入场景。 避免对同一张表执行并发insert overwrite操作,否则会出现类似报错“tuple concurrently
服务韧性 管理面安全加固 Tomcat加固:在DWS管理面容器镜像中,针对Tomcat基于开源做了功能增强。 JRE加固: 升级HuaweiJre8内核版本为1.8.0_262(这里可能比真实版本低,以实际版本号为准)。 将JRE的PATH设置在原来的PATH后面,规避本地越权问
询操作。 ETCD Editable Text Configuration Daemon,分布式键值存储系统,用于共享配置和服务发现(服务注册和查找)。 ETL Extract-Transform-Load,描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
询操作。 ETCD Editable Text Configuration Daemon,分布式键值存储系统,用于共享配置和服务发现(服务注册和查找)。 ETL Extract-Transform-Load,描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
连接数据库 在创建数据库连接之后,才能使用它来执行SQL语句操作数据。 如果您使用的是开源的JDBC驱动程序,应确保数据库参数password_encryption_type取值设置为1,如果参数值不为1,可能会出现连接失败,典型的报错信息比如:“none of the server's
读写。 支持hudi格式读。 外表Analyze支持并行执行,显著提升统计信息收集的精度和速度;外表不具备AutoAnalyze能力,建议导入数据之后手动做Analyze收集统计信息。 外表支持使用本地disk cache进行读加速。 外表支持in/not in等谓词下推,增强分区剪枝能力。
这意味着文件的可访问性和权限是本地用户的权限,而不是服务器的权限,并且不需要数据库初始化用户权限。 说明: \COPY只适合小批量,格式良好的数据导入,容错能力较差。导入数据应优先选择GDS或COPY。 \echo [STRING] 把字符串写到标准输出。 \i FILE 从文件FILE中读取内容,并将其当作输入,执行查询。
连接数据库 在创建数据库连接之后,才能使用它来执行SQL语句操作数据。 如果您使用的是开源的JDBC驱动程序,应确保数据库参数password_encryption_type取值设置为1,如果参数值不为1,可能会出现连接失败,典型的报错信息比如:“none of the server's
enable_delta 指定了在列存表是否开启delta表。该参数只对列存表有效。 默认值:off DELTAROW_THRESHOLD 指定列存表导入时小于多少行的数据进入delta表,只在表级参数enable_delta开启时生效。该参数只对列存表有效。 取值范围:0~60000,默认值为6000
列所在网段,确保网络互通。 为确保DLI到DWS的连接链路稳定,请创建完DWS集群后为集群绑定ELB服务。 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。
取值范围: primary,表示细粒度容灾主表。 standby,表示细粒度容灾备表。 DELTAROW_THRESHOLD 指定列存表导入时小于多少行的数据进入delta表,只在表级参数enable_delta开启时生效。该参数只对列存表有效。 取值范围:0~60000 默认值:6000
在保证资源隔离的基础上也可以保证功能不受影响。 T1和T2表主要用于大批量数据计算,并生成报表数据(比如银行跑批)。这个过程由于需要大批量导入和大数据查询,所以对节点的内存和IO资源消耗比较高,且耗时比较长,但这类查询对实时性要求不高,因此可以将这些数据划分到一个独立的逻辑集群中。
进行加锁。 DfsUserLoginLock 用于保护HDFS用户信息的全局链表。 DfsSpaceCacheLock 用于控制HDFS表导入时文件ID单调递增。 LsnXlogChkFileLock 用于串行更新特定结构中记录的主备机的xlog flush位置点。 GTMHostInfoLock
GUC参数behavior_compat_options新增选项enable_full_string_agg。 开发指南>GUC参数>其他参数 导入导出 ORC三方库升级及性能优化 新增GUC参数dfs_max_memory,用于设置orc导出时能占用的最大内存。 开发指南>GUC参数>资源消耗>内存