检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其中DN0和DN1上分配了两个文件,其他DN分配了1个文件。 如果OBS上文件大小都相同时,OBS上的文件数与DN节点数的比例为1:1时导入性能为最好,因为每个DN分配的任务都相同。因此建议将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量以DN的整数倍更适合。 图1
参数说明:对每条查询,以下4个选项控制在服务器日志里记录相应模块的性能统计数据,具体含义如下: log_parser_stats控制在服务器日志里记录解析器的性能统计数据。 log_planner_stats控制在服务器日志里记录查询优化器的性能统计数据。 log_executor_stats控制在服务器日志里记录执行器的性能统计数据。
参数说明:对每条查询,以下4个选项控制在服务器日志里记录相应模块的性能统计数据,具体含义如下: log_parser_stats控制在服务器日志里记录解析器的性能统计数据。 log_planner_stats控制在服务器日志里记录查询优化器的性能统计数据。 log_executor_stats控制在服务器日志里记录执行器的性能统计数据。
Studio将脚本保存为SQL文件,并为该文件设置读/写权限。为了保证文件安全,用户必须获取SQL文件所在文件夹的读写权限。 如果文件有修改或关联的文件不存在,将触发“另存为”操作。 在任何情况下,如果源文件保存失败,系统向用户提供“另存为”选项。如果用户选择不另存,则文件终端退回为SQL终端。
dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS读取数据。 此处应填写为参照创建外部服务器创建的外部服务器名称。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示对应的OBS服务上的文件格式,支持“orc”、“carbondata”格式。
为了使GaussDB(DWS)客户端可以连接集群,用户需要在新建的安全组中添加一条入规则,开放GaussDB(DWS)集群的数据库端口的访问权限。 协议:TCP。 端口范围:8000。指定为创建GaussDB(DWS)集群时设置的数据库端口,这个端口是GaussDB(DWS)用于接收客户端连接的端口。
Retry会造成数据不一致。 在使用gds进行数据导出时,支持CN Retry。现有机制导出时会对重复文件进行检测并删除相同的文件,因此建议不要对相同的外表重复导出数据,除非确定数据目录中相同文件名的文件需要删除。 错误类型约束: SQL语句出错时能够被识别和重试的错误,仅限在错误类型列表(请参考表1)中定义的错误。
core文件 当程序出现内存越界、断言失败或者访问非法内存时,操作系统会中止进程,并将当前内存状态导出到core文件中,以便进一步分析。 core文件包含内存转储,支持全二进制和指定端口格式。core文件名称由字符串core以及操作系统进程ID组成。 core文件不依赖于任何平台。
某一多处理器的服务器上。 每个任务可能是一个进程或一个线程,这由操作系统决定;每个任务与服务器进行单独连接。 该选项的最优值取决于服务器的硬件设置、客户端、以及网络。还包括这些因素,如CPU核数量、硬盘设置。建议是从增加服务器上的CPU核数量入手,更大的值(服务器上CPU核数量)
为确保安全性,DSC会对其创建的文件和文件夹进行访问控制。要访问这些文件和文件夹,用户必须拥有所需权限。例如,用户需要权限600/400访问目标文件和日志文件,需要权限700访问目标文件夹和日志文件夹。此外,该工具不在日志中保存敏感数据,以确保数据安全。 --input-folder中指定的文件或文件夹
事务管理 GaussDB(DWS)支持数据库事务ACID属性,提供了事务的读已提交隔离级别和可重复读隔离级别。 客户端显式开启事务或手动关闭Autocommit场景,业务最后必须手动执行Commit提交事务。 针对执行时长超过30分钟的语句,建议进行优化。 尽量避免出现执行时长超
Retry会造成数据不一致。 在使用gds进行数据导出时,支持CN Retry。现有机制导出时会对重复文件进行检测并删除相同的文件,因此建议不要对相同的外表重复导出数据,除非确定数据目录中相同文件名的文件需要删除。 错误类型约束: SQL语句出错时能够被识别和重试的错误,仅限在错误类型列表(请参考表1)中定义的错误。
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB(
region=[region] libraryname=[libraryname] bucket: OBS文件所属桶名,不可缺省。 source_filepath: OBS服务器上的文件路径,仅支持jar文件。 accesskey: obs服务获得的accesskey,不可缺省。 secret_key:
SQL语法。这是操作数据库的必备能力。 前置条件 使用本指南前,需要完成以下任务。 创建GaussDB(DWS)集群。 安装SQL客户端。 将SQL客户端连接到集群的默认数据库。 关于上述任务的详细指导,请参见《数据仓库服务快速入门》。 阅读指引 对于首次接触 GaussDB(DWS)的用户,建议先阅读以下部分:
Postmaster GS_154040729 错误码: data directory %s has wrong ownership. 解决方案:服务器必须由拥有数据目录权限的用户启动。 level: FATAL GS_154110703 错误码: could not open directory
x及之后版本下载路径:系统>权限>用户>更多>下载认证凭据 客户端配置文件 包含HDFS、Hive、hosts的客户端配置文件,下载客户端时“客户端类型”需选择“仅配置文件”: MRS 2.x及之前版本下载路径:服务管理>下载客户端 MRS 3.x及之后版本下载路径:主页>更多>下载客户端 单击“提交”保存连接。
X版本整理,具体差异如下: 客户端差异 GaussDB(DWS) gsql相较于PostgreSQL psql做了如下安全加固变更: 取消通过元命令\password设置用户密码。 新增元命令\i+、 \ir+、\include_relative+和输入输出参数-k,以支持给导入导出的文件加密。 取消打印命令行历史到文件的元命令\s。
wrong ownership. 解决方案:服务器必须由数据目录的owner启动。 level: FATAL GS_112040704 错误码: could not remove old lock file %s: %s. 解决方案:文件意外遗留。 level: FATAL GS_112150010
0x00.”。 原因分析 业务数据文件从Oracle导入,文件编码为utf-8。该报错还会提示行数,由于文件特别大,vim命令打不开文件,于是用sed命令把报错行数提出来,再用vim命令打开,发现并没有什么异常。用split命令按行数切割后,部分文件也可以导入。 经分析GaussD