检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 ECS、对象存储服务 OBS、分布式消息服务 Kafka、数据湖探索 DLI和数据仓库服务 GaussDB(DWS),基本流程如下:
通用文件访问函数 通用文件访问函数提供了对数据库服务器上的文件的本地访问接口。只有数据库集群目录和log_directory目录里面的文件可以访问。使用相对路径访问集群目录里面的文件,以及匹配log_directory配置而设置的路径访问日志文件。只有数据库系统管理员才能使用这些函数。
通用文件访问函数 通用文件访问函数提供了对数据库服务器上的文件的本地访问接口。只有数据库集群目录和log_directory目录里面的文件可以访问。使用相对路径访问集群目录里面的文件,以及匹配log_directory配置而设置的路径访问日志文件。只有数据库系统管理员才能使用这些函数。
SQLSTATE: XX000 错误原因:修改服务器文件权限失败。 解决办法:禁止使用不支持的函数。 GAUSS-04034: "could not write server file '%s': %m" SQLSTATE: XX000 错误原因:写入服务器文件失败。 解决办法:禁止使用不支持的函数。
存算一体 存算一体:数据存储在计算节点的本地磁盘。 存算分离:计算节点本地盘仅做数据缓存和存储元数据,用户数据存储在OBS对象存储上。 存储类型 SSD云盘 SSD云盘:使用SSD类型的EVS作为数据存储介质,存储容量更加灵活,支持磁盘扩容。 SSD本地盘:使用ECS规格自带的本地磁盘
VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 GaussDB(DWS)集群创建成功后,其虚拟私有云将不能更改为其他的虚拟私有云,但是您可以编辑和修改当前的虚拟私有云。单击此处的虚拟私有云名称,进入虚拟私有云详情页面,您可以对虚拟私有进行设置。
dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应填写为参照创建外部服务器创建的外部服务器名称。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示导出的数据文件格式,支持“orc”格式。
dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示导出的数据文件格式,支持“orc”格式。
进行计费。 数据仓库服务磁盘存储 删除集群时,集群相关的存储资源会一并被自动删除。 冷分区数据存储 删除集群时,集群相关的存储资源会一并被自动删除。 公网IP及带宽(可选) 如果集群绑定了弹性IP,在删除集群时请勾选“释放与集群绑定的弹性IP”释放弹性IP,释放后公网IP即可停止
使用开源客户端碰到此问题,可能原因: 数据库中存储的口令校验只存储了SHA256格式哈希,而开源客户端只识别MD5校验,双方校验方法不匹配报错。 数据库并不存储用户口令,只存储用户口令的哈希码。 早期版本(V100R002C80SPC300之前的版本)的数据库只存储了SHA256格式的哈希,并未存储MD5的哈希,所以无法使用MD5做用户口令校验。
STDIN方式导入数据。 通过COPY FROM STDIN命令写数据到一个表。 使用GDS从远端服务器导入数据到GaussDB(DWS)。 当用户需要将普通文件系统(例如,弹性云服务器)中的数据文件导入到GaussDB(DWS)时,可以使用GaussDB(DWS)提供的GDS导入数据的功能。
参数说明:对每条查询,以下4个选项控制在服务器日志里记录相应模块的性能统计数据,具体含义如下: log_parser_stats控制在服务器日志里记录解析器的性能统计数据。 log_planner_stats控制在服务器日志里记录查询优化器的性能统计数据。 log_executor_stats控制在服务器日志里记录执行器的性能统计数据。
参数说明:对每条查询,以下4个选项控制在服务器日志里记录相应模块的性能统计数据,具体含义如下: log_parser_stats控制在服务器日志里记录解析器的性能统计数据。 log_planner_stats控制在服务器日志里记录查询优化器的性能统计数据。 log_executor_stats控制在服务器日志里记录执行器的性能统计数据。
Studio.log中的日志将存储在Data Studio.log.1文件中。当Data Studio.log文件再次达到最大值,系统继续自动创建一个文件并另存为Data Studio.log.2。最新日志持续写入Data Studio.log文件。以此类推,此过程将一直持续,直到Data
使用multi-host方式连接集群:使用JDBC配置多个节点的方式,也能实现类似ELB的效果。 方式一:使用ELB连接集群(推荐) 获取弹性负载均衡地址。在控制台打开指定集群详情页面,获取弹性负载均衡IP,绑定弹性负载均衡请参考集群绑定和解绑ELB。 配置驱动。请参见下载JDBC或ODBC驱动。 1 2 3 4 5
此时unixODBC编译安装完成后,安装目录下会有*.so.2的库文件,如果需要编译出*.so.1的库文件,需要将configure文件中的LIB_VERSION修改为:LIB_VERSION="1:0:0"。 1 LIB_VERSION="1:0:0" 在本驱动中,会动态的加载库文件libodbcinst.so.
式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群
使用开源客户端碰到此问题,可能原因: 数据库中存储的口令校验只存储了SHA256格式哈希,而开源客户端只识别MD5校验,双方校验方法不匹配报错。 数据库并不存储用户口令,只存储用户口令的哈希码。 早期版本(V100R002C80SPC300之前的版本)的数据库只存储了SHA256格式的哈希,并未存储MD5的哈希,所以无法使用MD5做用户口令校验。
间。 - 单击“下一步:网络配置”。 配置网络。 表2 网络参数说明 参数名 参数解释 样例值 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。
GAUSS-03396: "must be system admin to rotate log files" SQLSTATE: 42501 错误原因:只有系统管理员才能轮换日志文件。 解决办法:先获取系统管理员权限,再执行日志文件轮换。 GAUSS-03397: "fail to