检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用开源Kettle导入数据 Kettle是一款开源的ETL工具,通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下,使用Kettle自身提供的数据入库插件,入库速度在1500条/秒左右,数据搬迁耗时较高。
管理企业项目 企业项目是一种云资源管理方式。企业管理(Enterprise Management)提供面向企业客户的云上财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的财务管理
使用Kettle迁移AWS Redshift小表到GaussDB(DWS)集群 本实践演示如何使用开源工具Kettle将Redshift数据迁移到GaussDB(DWS)。
表3 DSC下载地址 适用操作系统 下载地址 校验文件 请参见运行环境 DSC_8.3.1.111.zip DSC_8.3.1.111.zip.sha256 JDBC驱动 GaussDB(DWS) 支持开源的JDBC驱动程序:PostgreSQL JDBC驱动程序9.3-1103或更高版本
支持的开源JDBC或ODBC驱动程序 GaussDB(DWS)也支持开源的JDBC驱动程序:PostgreSQL JDBC驱动程序9.3-1103或更高版本。 GaussDB(DWS)也支持开源的ODBC驱动程序:PostgreSQL ODBC 09.01.0200或更高版本。
dict文件和affix文件支持多种开源词典格式,包括Ispell、MySpell和Hunspell等。 操作步骤 获取词典定义文件和词缀文件。 用户可以使用开源词典,直接获取的开源词典后缀名可能为.aff和.dic,此时需要将扩展名改为.affix和.dict。
GaussDB(DWS)中PostGIS Extension依赖第三方开源软件如下。
dict文件和affix文件支持多种开源词典格式,包括Ispell、MySpell和Hunspell等。 操作步骤 获取词典定义文件和词缀文件。 用户可以使用开源词典,直接获取的开源词典后缀名可能为.aff和.dic,此时需要将扩展名改为.affix和.dict。
GaussDB(DWS)支持开源PostgreSQL客户端和JDBC和ODBC驱动程序。
GaussDB(DWS) 采用默认安全设计,默认禁止MD5算法的密码校验,而PostgreSQL的开源libpq通信协议恰恰使用的是MD5算法。所以需要调整密码算法参数password_encryption_type,打开MD5算法。
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据
GaussDB(DWS) 采用默认安全设计,默认禁止MD5算法的密码校验,而PostgreSQL的开源libpq通信协议恰好使用的是MD5算法。所以需要调整一下密码算法参数password_encryption_type,打开MD5算法。
SSB测试结果 经过针对SSB宽表场景对DWS和开源OLAP产品ClickHouse的对比测试发现:使用hstore_opt表,配合turbo存储、turbo引擎, DWS查询性能整体优于开源产品ClickHouse 2倍。
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。
MRS数据源使用概述 MRS集群简介 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。
connectionExtraInfo=false 使用开源JDBC SSL方式连接DWS报错 问题分析:使用开源JDBC会进行SSL全校验,校验url是否完全匹配。 处理方法:在开源连接时可设置连接参数“sslmode=require”。
GaussDB(DWS) PL/Java基于开源PL/Java 1.5.5开发,所使用的JRE版本为1.8.0_322。
服务韧性 管理面安全加固 Tomcat加固:在DWS管理面容器镜像中,针对Tomcat基于开源做了功能增强。 JRE加固: 升级HuaweiJre8内核版本为1.8.0_262(这里可能比真实版本低,以实际版本号为准)。
GaussDB(DWS) PL/Java基于开源PL/Java 1.5.5开发,所使用的JRE版本为1.8.0_322。
快速创建GaussDB(DWS)集群并导入数据进行查询 操作场景 数据仓库服务GaussDB(DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。 本文以创建