检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用GDS从远端服务器上导入表数据到GaussDB(DWS)集群 从MRS Hive导入表数据到GaussDB(DWS)集群 使用EXTERNAL SCHEMA跨集群访问HiveMetaStore元数据 从DLI导入表数据到GaussDB(DWS)集群 使用外表功能实现GaussDB(DWS)集群间数据迁移
事务ID和快照 以下的函数在输出形式中提供服务器事务信息。这些函数的主要用途是为了确定在两个快照之间有哪个事务提交。 pgxc_is_committed(transaction_id) 描述:如果提交或忽略给定的XID(gxid)。NULL表示的状态是未知的(运行,准备,冻结等)。
事务ID和快照 以下的函数在输出形式中提供服务器事务信息。这些函数的主要用途是为了确定在两个快照之间有哪个事务提交。 pgxc_is_committed(transaction_id) 描述:如果提交或忽略给定的XID(gxid)。NULL表示的状态是未知的(运行,准备,冻结等)。
时写入GaussDB(DWS)。 实时监控与预测 围绕数据进行分析和预测,对设备进行监控,对行为进行预测,实现控制和优化。 AI融合分析 AI服务对图像、文本等数据的分析结果可在GaussDB(DWS)中与其他业务数据进行关联分析,实现融合数据分析。 湖仓一体 无缝访问数据湖 对接Hive
使用gsql连接DWS 使用gsql连接DWS集群 进入到ECS的/opt目录下,并执行环境变量。 1 2 cd /opt source gsql_env.sh 执行以下命令连接GaussDB(DWS)数据库。其中,<DWS的内网IP>、<用户dbadmin密码>从创建数据仓库GaussDB(DWS)获取。
GDS管道文件常见问题 注意事项 GDS支持并发导入导出,gds -t参数用于设置GDS的工作线程池大小,控制并发场景下同时工作的工作线程数且不会加速单个SQL任务。gds -t缺省值为8,上限值为200。在使用管道功能进行导入导出时,-t参数应不低于业务并发数。如果是双集群互联
从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题: 导入数据
使用COPY FROM STDIN导入数据 关于COPY FROM STDIN导入数据 CopyManager类简介 父主题: 导入数据
SQL被大多数数据库用作查询语言。它是可移植的并且容易学习。但是每一个SQL语句必须由数据库服务器单独执行。 这意味着客户端应用必须发送每一个查询到数据库服务器、等待它被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。
GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题: 建表与数据导入
SQL被大多数数据库用作查询语言。它是可移植的并且容易学习。但是每一个SQL语句必须由数据库服务器单独执行。 这意味着客户端应用必须发送每一个查询到数据库服务器、等待它被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。
200及以上集群版本支持。 若快照即将完成,停止快照命令将不再生效,快照会正常结束。 前提条件 停止快照仅支持快照状态显示为“创建中”的快照。在快照创建启动时与快照即将创建完成时无法进行停止快照操作。 操作步骤 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,选择“管理 > 快照管理”(或
规划导出数据 MRS导出支持的数据类型请参见表2。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型 1字节整数 TINYINT TINYINT(不推荐)
存算分离:采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。 GaussDB(DWS)数仓之间暂不支持互相访问,用户可通过创建的OBS外表,将两
因素有关? GaussDB(DWS)采用Shared-nothing架构,数据是被分布式存储,因此分布键设计、单表存储数据量、分区数量都会影响单表的整体查询性能。 分布键设计 DWS默认会选择主键的第一列作为分布键。如果同时设置主键和分布键,则主键必须包含分布键。分布键决定了数据
每个DN都参与数据导出,使各个设备的计算能力及网络带宽得到充分利用。 支持多个hdfs server并发导出,导出的路径可以为空,命名规则需与导出文件一致。 选择MRS服务与集群节点处于联网状态,导出速率会受网络带宽影响。 支持数据文件格式:ORC。 导出文件命名规则 GaussDB(DWS)导出ORC数据的文件命名规则如下:
容错性 当数据库系统发生错误时,以下参数控制服务器处理错误的方式。 exit_on_error 参数说明:控制终止会话。 参数类型:SUSET 取值范围:布尔型 on表示任何错误都会终止当前的会话。 off表示只有FATAL级别的错误才会终止会话。 默认值:off omit_encoding_error
jar为例,如果要使用gsjdbc200.jar,请替换驱动类名(将代码中的“org.postgresql”替换成“com.huawei.gauss200.jdbc”)与连接URL串前缀(将“jdbc:postgresql”替换为“jdbc:gaussdb”)。 //演示基于JDBC开发的主要步骤,会涉及创建数据库、创建表、插入数据等。
DB(DWS)数据库中的数据。 pgcrypto函数在数据库服务器内部运行,这意味着所有数据和密码都以明文形式在pgcrypto和客户端应用程序之间传输。为了获得最佳安全性,建议在客户端和GaussDB(DWS)服务器之间使用SSL连接。 有关pgcrypto模块中各个函数的详细信息如下:
通用文件访问函数 通用文件访问函数提供了对数据库服务器上的文件的本地访问接口。只有数据库集群目录和log_directory目录里面的文件可以访问。使用相对路径访问集群目录里面的文件,以及匹配log_directory配置而设置的路径访问日志文件。只有数据库系统管理员才能使用这些函数。