检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gsfs://192.168.0.90:500x/xxx”中的IP地址和端口,请替换成安装和启动GDS中的对应的GDS的监听IP和端口。如启动两个GDS,则使用“|”区分。如果启动多个GDS,需要将所有GDS的监听IP和端口配置到外表中。 1 2 3 4 5 6 7 8 9 10
执行导入数据 完成GDS的安装部署及外表创建后,本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件
故障处理 本章介绍使用DSC时可能遇到的问题,并提供故障处理步骤。 下表列举了常见故障的问题现象、原因、解决方案。 表1 错误消息参考 问题现象 原因及解决方案 Error occurred while formatting! Returning unformatted SQL:
gsfs://192.168.0.90:500x/xxx”中的IP地址和端口,请替换成安装和启动GDS中的对应的GDS的监听IP和端口。如启动两个GDS,则使用“|”区分。如果启动多个GDS,需要将所有GDS的监听IP和端口配置到外表中。 1 2 3 4 5 6 7
SQLSTATE: XX000 错误原因:操作系统函数io_getevents()执行失败。 解决办法:检测操作系统内核函数是否大于Linux 2.6.23,确认操作系统安装了libaio库。 GAUSS-04434: "parent of GROUPING is not VecAgg node"
该用户组不能是root用户组。 -V 显示版本信息。 -h, --help 显示帮助信息。 示例 卸载安装部署在节点192.168.1.100、192.168.1.101上,安装用户为gds_test的,GDS文件夹及环境变量。 gds_uninstall -U gds_test
、PL/SQL等。 执行Oracle SQL迁移 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言和迁移类型: Linux操作系统: ./runDSC.sh --source-db Oracle [--input-folder <input-script-path>]
GaussDB(DWS) 数据校验流程 DataCheck流程如下: 下载DataCheck的工具包到Linux或Windows服务器并解压。 执行加密命令对源端/目标端数据库登录密码进行加密。 配置dbinfo.properties文件,包含源数据库和目标数据库的相关连接信息以及函数开关信息。
当管道文件导入导出场景并发较大时,该值应不低于业务并发数。 -s status_file 设置状态文件,仅支持linux系统。 -D 后台运行gds,仅支持linux系统。 -r 递归遍历目录(外表目录下的子目录)下文件,仅支持linux系统。 -h 显示帮助信息。 --enable-ssl 使用SSL认证的方式与集群通信。
导出表全量信息,包含表数据和表定义。 仅导出数据,不包含表定义。 仅导出表定义。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),将客户端工具上传到一个待安装gsql的Linux主机上。 执行上传gsql操作的用户需要对客户端主机的目标存放目录有完全控制权限。
执行。 查询当前集群的内存使用情况,找到内存使用过高的语句并及时终止,释放资源之后集群内存就会恢复。具体的操作步骤如下: 8.1.1及之前集群版本连接数据库后执行以下步骤: 执行以下语句查询当前集群的内存使用情况,观察是否有实例的dynamic_used_memory已经大于或者
器,可以使用ALTER DATABASE ... SET在任一数据库进行配置。用户也可以在每个会话中设置default_text_search_config。 每个依赖于分词器的文本搜索函数有一个可选的配置参数,用来明确声明所使用的分词器。仅当忽略这个参数的时候,才使用defau
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
程中,下表将帮您找到对应的信息。 如果要.. 查阅建议 快速开始使用GaussDB(DWS)。 首先,按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后,将数据加载到表中并编写查询内容以操作数据仓库中的数据后,可以回到《数据仓库服务数据库开发指南》。
器,可以使用ALTER DATABASE ... SET在任一数据库进行配置。用户也可以在每个会话中设置default_text_search_config。 每个依赖于分词器的文本搜索函数有一个可选的配置参数,用以明确声明所使用的分词器。仅当忽略这个参数的时候,才使用defau
能保证单文件导入速率最大化。 提前做好服务部署规划,数据服务器上,建议一个Raid只布1~2个GDS。GDS跟DN的数据比例建议在1:3至1:6之间。一台加载机的GDS进程不宜部署太多,千兆网卡部署1个GDS进程即可,万兆网卡机器建议部署不大于4个进程。 提前对GDS导入导出的数
程中,下表将帮您找到对应的信息。 如果要.. 查阅建议 快速开始使用GaussDB(DWS)。 首先,按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后,将数据加载到表中并编写查询内容以操作数据仓库中的数据后,可以回到《数据仓库服务数据库开发指南》。
准备源数据。 准备需要导入数据库的源数据文件,并上传至数据服务器。 详细内容请参见准备源数据。 启动GDS。 在数据服务器上安装配置并启动GDS。 详细内容请参见安装配置和启动GDS。 创建外表。 创建外表用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。
尽量避免所有业务使用同一个数据库用户运行,按业务模块规划不同数据库用户。 不建议使用系统管理员用户跑业务,不同模块业务请通过多用户和权限进行访问控制。 不建议业务直连单CN,需配置负载均衡保证各CN连接均衡。 连接数据库完成所需操作后,要及时关闭数据库连接,避免空闲连接持续占位,消耗连接和公共资源。 使用数据库连接池
SQL迁移 工具支持从MySQL到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。 在LINUX中执行MySQL迁移 在Linux中执行以下命令开始迁移。用户需指定源数据库、输入和输出文件夹路径和日志路径;应用程序语言类型是SQL。 ./runDSC