检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
外表的字段个数和字段类型,需要与OBS上保存的数据完全一致。 SERVER dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS读取数据。 此处应填写为参照创建外部服务器创建的外部服务器名称。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。
Flink SQL概述 DWS-connector主要实现了DynamicTableSourceFactory和DynamicTableSinkFactory接口,可用于对接GaussDB(DWS)表作为Flink作业的源表、结果表和维表。 使用DWS-Connector做源表时
连接设置 介绍设置客户端和服务器连接方式相关的参数。 max_connections 参数说明:允许和数据库连接的最大并发连接数。此参数会影响集群的并发能力。 参数类型:POSTMASTER 取值范围:整型。CN最小值为1,最大值为16384;DN最小值为1, 最大值为26214
连接设置 介绍设置客户端和服务器连接方式相关的参数。 max_connections 参数说明:允许和数据库连接的最大并发连接数。此参数会影响集群的并发能力。 参数类型:POSTMASTER 取值范围:整型。CN最小值为100,最大值为16384;DN最小值为100, 最大值为2
使用SQL编辑器连接GaussDB(DWS)集群 概述 使用SQL编辑器连接集群 数据开发操作 数据开发设置 父主题: 使用可视化工具连接GaussDB(DWS)集群
区时,都预留了足够的分区,所以不影响使用。 创建ECS 参见自定义购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。 创建ECS过程中,注意选择与后续的IoT数仓在同一个区域、可用区和同一个VPC子网下,ECS的操作系统选择与gsql客户端(本例以CentOS
256 ARM ECS/存算分离EVS dws2.olap.12xlarge.km1 48 384 ARM ECS/存算分离EVS dws2.m6.4xlarge.8 16 128 X86 ECS/EVS dws2.m6.8xlarge.8 32 256 X86 ECS/EVS dws2
会更新您的配额并进行通知。关于配额的具体操作说明,请参见关于配额。 购买周期,如果是包年/包月计费模式,用户可根据需求选择购买时长。 表7 购买周期 参数 描述 购买时长(包年/包月) 确定购买时长。若用户购买时长越长,则相应的折扣力度越大。在页面底部,将显示“参考价格”,用户可
“jdbc:gaussdb” database为要连接的数据库名称。 host为数据库服务器名称或IP地址,当集群绑定弹性负载均衡(ELB)时,应设置为ELB的IP地址。 port为数据库服务器端口。缺省情况下,会尝试连接到localhost的8000端口的database。 支
不能包含“*”,“<”,“>”,“\”,“,”,“|”,“/”。 value01 购买周期,如果是包年/包月计费模式,用户可根据需求选择购买时长。 表6 购买周期 参数 描述 购买时长(包年/包月) 确定购买时长。若用户购买时长较长,则相应的折扣力度越大。在页面底部,将显示“参考价格”,可以单
SQL被大多数数据库用作查询语言。它是可移植的并且容易学习。但是每一个SQL语句必须由数据库服务器单独执行。 这意味着客户端应用必须发送每一个查询到数据库服务器、等待它被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。
存算一体(单机部署)暂不支持从MRS导入数据。 使用流程 从MRS导入数据到集群流程如下: 前提条件 创建一个MRS集群,具体操作步骤请参见购买自定义集群。 创建一个HDFS外表,外表通过外部服务器的接口,从MRS集群查询数据。 具体操作步骤请参见《数据仓库服务数据迁移与同步》中从MRS导入数据到集群章节。 同一个网络下可以有多个MRS数据源,
页面右上方可选择“IP地址”或“节点名称”,在搜索框完成输入后可查看该“IP地址”或“节点名称”在集群拓扑图中的位置。 拓扑展示逻辑 节点拓扑整体示意图如上所示,其中按照图中标注的顺序解释如下 : 集群所绑定的ELB的公网IP地址(若绑定的ELB没有绑定弹性IP则显示为服务地址)。 集群所绑定的EIP的IP地址。
SQL被大多数数据库用作查询语言。它是可移植的并且容易学习。但是每一个SQL语句必须由数据库服务器单独执行。 这意味着客户端应用必须发送每一个查询到数据库服务器、等待它被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。
创建MRS数据源连接。 创建外部服务器。 创建EXTERNAL SCHEMA。 通过EXTERNAL SCHEMA对Hive表进行导入或者读取操作。 创建MRS集群 登录华为云控制台,选择“大数据 > MapReduce服务”。 单击“购买集群”,选择“自定义购买”。 填写软件配置参数,单击“下一步”。
方法进行合理的设计部署,最大化的使用系统资源,以提高数据导入性能。 OBS的数据导入性能,多数场景受限于网络的并发访问速率,因此在OBS服务器上最好部署多个桶,使用多桶并发导入,提高DN数据传输利用率。 并发导入场景,与单表导入相似,至少应保证I/O性能大于网络最大速率。 配置G
通用文件访问函数 通用文件访问函数提供了对数据库服务器上的文件的本地访问接口。只有数据库集群目录和log_directory目录里面的文件可以访问。使用相对路径访问集群目录里面的文件,以及匹配log_directory配置而设置的路径访问日志文件。只有数据库系统管理员才能使用这些函数。
容错性 当数据库系统发生错误时,以下参数控制服务器处理错误的方式。 exit_on_error 参数说明:控制终止会话。 参数类型:SUSET 取值范围:布尔型 on表示任何错误都会终止当前的会话。 off表示只有FATAL级别的错误才会终止会话。 默认值:off omit_encoding_error
} } 示例2 客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。 1 2 3 4 5 6 7 8
DB(DWS)数据库中的数据。 pgcrypto函数在数据库服务器内部运行,这意味着所有数据和密码都以明文形式在pgcrypto和客户端应用程序之间传输。为了获得最佳安全性,建议在客户端和GaussDB(DWS)服务器之间使用SSL连接。 有关pgcrypto模块中各个函数的详细信息如下: