检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载并安装DSC 在使用DSC工具之前,必须在Linux或Windows服务器中安装工具,DSC支持Linux 64位操作系统。DSC支持其它操作系统的详情请见表4。 前提条件 在Linux系统中请勿使用具有root权限的用户安装和操作DSC。且该用户必须具有创建文件夹的权限,否则install
数据库模式迁移 功能 runDSC.sh和runDSC.bat分别用于将Teradata、MySQL的schema和query迁移到GaussDB (DWS)上。 迁移参数指导 Teradata SQL迁移 Teradata Perl迁移 MySQL SQL迁移 Oracle SQL迁移
获取残留文件列表函数 pg_get_residualfiles() 描述:用于获取当前节点的所有残留文件记录。该函数为实例级函数,与当前所在的数据库无关,可以在任意实例上运行。 返回值类型:record 返回信息如下: 表1 pg_get_residualfiles()返回字段 名称
获取残留文件列表函数 pg_get_residualfiles() 描述:用于获取当前节点的所有残留文件记录。该函数为实例级函数,与当前所在的数据库无关,可以在任意实例上运行。 参数类型:无 返回值类型:record 函数返回字段如下: 表1 pg_get_residualfiles()返回字段
用户使用客户端连接DWS集群时,如果用户仅连接一个CN节点地址,通过该CN节点内网IP或弹性公网IP连接时,只能连接到固定的CN节点上,存在CN单点问题。 利用ELB健康检查机制可将集群的CN请求快速转发到正常工作的CN节点上,当有CN故障节点时,也能第一时间切换流量到健康节点上,最大化降低集群访问故障。 更多信息,请参见集群绑定和解绑ELB。
直接使用会有错误信息提示)。 返回值类型:integer copy_error_log_create() 描述:创建COPY FROM容错机制所需要的错误表(public.pgxc_copy_error_log)。 返回值类型:boolean 此函数会尝试创建public.pgx
删除残留文件函数 pg_rm_residualfiles(filepath) 描述:用于删除当前实例中指定残留文件列表中的文件。该函数为实例级函数,与当前所在的数据库无关,可以在任意实例上运行。 参数类型:text 返回值类型:record 函数返回字段如下: 表1 pg_rm_
存算一体(单机形态)规格,此时存算一体只支持单机部署,单机形态不提供高可用服务,因此存储成本可减半,单机模式服务可用性通过ECS自动重建实现,数据可靠性通过EVS多副本机制保证。单机形态性价比更高,建议用于轻量化业务,创建集群时可选择带有h1的节点规格,规格详情请参见表3。 存算一体本地盘规格,该规格存储容量
转加密集群 GaussDB(DWS)支持在控制台对未加密的集群,在集群状态为“可用”的情况下转为加密集群。为了保障数据的安全,由于转加密集群是不可逆的高危操作,会重启集群,可能会导致有业务短暂不可用,用户请谨慎操作。 如果当前控制台界面不支持该功能,请联系技术支持人员。 创建KMS委托
导入数据最佳实践 从OBS并行导入数据 将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件
配置SSL连接 Data Studio可以使用安全套接字层[SSL]选项连接到数据库。使用SSL连接方式,用户必须在客户端或应用程序代码中配置相关的SSL连接参数。GaussDB(DWS)管理控制台提供了客户端所需的SSL证书,该SSL证书包含了客户端所需的默认证书、私钥、根证书以及私钥密码加密文件。
使用开源Kettle导入数据 Kettle是一款开源的ETL工具,通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下,使用Kettle自身提供的数据入库插件,入库速度在1500条/秒左右,数据搬迁耗时较高。而相同运行环境下,使用集成dws-client
Linux下配置数据源 将GaussDB(DWS)提供的ODBC DRIVER(psqlodbcw.so)配置到数据源中便可使用。配置数据源需要配置“odbc.ini”和“odbcinst.ini”两个文件(在编译安装unixODBC过程中生成且默认放在“/usr/local/etc”目录下),并在服务器端进行配置。
配置JDBC连接(使用IAM认证方式) 概述 GaussDB(DWS)提供了使用IAM认证方式访问数据库的功能。当使用JDBC应用程序连接集群时,您可以在JDBC连接中配置IAM用户名及其用户凭证等信息,在连接数据库时系统就会自动生成临时数据库凭证,从而成功连接到数据库。 当前仅支持1
Linux下配置数据源 将GaussDB(DWS)提供的ODBC DRIVER(psqlodbcw.so)配置到数据源中便可使用。配置数据源需要配置“odbc.ini”和“odbcinst.ini”两个文件(在编译安装unixODBC过程中生成且默认放在etc目录下),并在服务器端进行配置。
使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库
gs_dumpall 背景信息 gs_dumpall是GaussDB(DWS)用于导出所有数据库相关信息工具,它可以导出集群数据库的所有数据,包括默认数据库postgres的数据、自定义数据库的数据、以及集群所有数据库公共的全局对象。 gs_dumpall工具在进行数据导出时,其他用户可以访问集群数据库(读或写)。
使用GDS传输数据的过程中,报错:connection failure error 问题现象 在使用GDS传输数据的过程中,报错“connection failure error”。 原因分析 GDS进程崩溃。执行命令检查GDS进程是否崩溃: ps ux|grep gds 如果返回结果如下,则说明GDS进程启动成功:
主期间正在运行的作业会失败;备升主后启动的作业不会再受影响。如果要做到DN主备切换过程中,上层业务不感知,可参考此示例构建业务层SQL重试机制。 以下用例以gsjdbc4.jar为例,如果要使用gsjdbc200.jar,请替换驱动类名(将代码中的“org.postgresql”替换成“com
分区执行包含INSERT OVERWRITE相关的并发操作无法保证预期结果,请不要执行此类操作。 HiveMetaStore特性不支持联邦机制。 基本流程 本实践预计时长:1小时,基本流程如下: 创建MRS分析集群(使用此特性必须选择Hive组件)。 在Hive端创建表。 在Hi