检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据价值。 数据湖的本质,是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构:要有足够的扩展性和可靠性,可以存储海量的任意类型的数据,包括结构化、半结构化和非结构化数据。 数据处理工具,则分为两大类: 第一类工具,聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。
据库的网络互通。 表1 迁移Hologres准备工具 工具名 描述 工具获取 DSC 配套DWS的语法迁移工具。 获取地址 DataCheck 数据校验工具。 请联系技术支持工程师。 步骤一:元数据迁移 在Hologres中,使用以下SQL命令进行用户的角色和权限查询。 1 2 SELECT
COPY方式和GDS并行导入方式。 数据源丰富,操作简单。 使用DSC工具迁移SQL脚本 数据库、NoSQL、文件系统、大数据平台 请参考第三方ETL工具的相关文档。 GaussDB(DWS)提供了DSC工具,可以将Teradata/Oracle脚本迁移到GaussDB(DWS)。
据库的网络互通。 表1 迁移ADB准备工具 工具名 描述 工具获取 DSC 配套DWS的语法迁移工具。 获取地址 DataCheck 数据校验工具。 请联系技术支持工程师。 步骤一:元数据迁移 导出源语法。源语法是客户业务的实现逻辑,从ADB导出源语法,再修改为适用于GaussD
连接GaussDB(DWS)集群 连接GaussDB(DWS)集群方式介绍 获取GaussDB(DWS)集群连接地址 使用可视化工具连接GaussDB(DWS)集群 使用命令行工具连接GaussDB(DWS)集群 使用第三方库连接GaussDB(DWS)集群
Oracle迁移到DWS基本流程 流程 描述 准备工具 迁移前需准备的软件工具。 迁移表定义 使用PL/SQL Developer工具进行表定义迁移。 迁移表全量数据 使用华为云迁移服务CDM完成进行数据迁移。 迁移业务SQL 使用DSC语法迁移工具进行语法改写,使Oracle的业务SQL转换成适配DWS的SQL。
客户端CPU架构要和集群一致,如果集群是X86规格,则也应该选择X86客户端。 单击“下载”。 将GDS工具包上传至ECS的/opt目录中,本例以上传Euler Kunpeng版本的工具包为例。 在工具包所在目录下,解压工具包。 1 2 cd /opt/ unzip dws_client_8.1.x_euler_kunpeng_x64
完成导出动作。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),将客户端工具上传到一个待安装gsql的Linux主机上。 执行上传gsql操作的用户需要对客户端主机的目标存放目录有完全控制权限。
it/tpcds1000X 从官网获取TPC-DS数据构建工具dsdgen最新版本,并通过SFTP工具上传到ECS的/data1/script/tpcds-kit目录。 执行如下命令解压tpcds的包并编译生成数据构建工具dsdgen。 “tpcds_3.2.0.zip”替换为实际的软件包名。
从官网获取TPC-H工具。 登录ECS云服务器,执行如下命令创建TPC-H存放目录。 1 2 mkdir -p /data1/script/tpch-kit/tpch1000X mkdir -p /data2/script/tpch-kit/tpch1000X 将获取的TPC-H工具通过SF
整库迁移 使用CDM迁移数据到GaussDB(DWS) 使用DSC工具迁移SQL脚本
使用CDM迁移Oracle数据至GaussDB(DWS)集群 迁移流程 准备工具 迁移表定义 迁移表全量数据 迁移业务SQL 父主题: 数据迁移
迁移业务数据至GaussDB(DWS)集群 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群 管理数据源
构建TPC-H&TPC-DS使用数据 准备数据构建工具编译环境 TPC-H数据构建 TPC-DS数据构建 父主题: 测试方法
迁移表定义 本地安装PLSQL工具 导出表定义、语法转换迁移 父主题: 使用CDM迁移Oracle数据至GaussDB(DWS)集群
在监控面板(DMS)查看GaussDB(DWS)集群监控 数据库监控简介 监控项列表 集群概览 监控 工具 负荷分析 监控设置 任务详情 典型场景 父主题: GaussDB(DWS)集群运维
回给研发工程师,进行分析。 分析trace文件,需要使用jeprof工具,该工具由Jemalloc生成。在常规使用中,需要依赖perl环境,如果需要生成pdf调用图,需要安装与操作系统匹配的GraphViz工具。 示例 系统管理员用户登录,设置环境变量,启动数据库: 1 export
t/tpcds1000X 从官网获取TPC-DS数据构建工具dsdgen最新版本,并通过SFTP工具上传到ECS的/data1/script/tpcds-kit目录。 执行如下命令解压tpcds的包并编译生成数据构建工具dsdgen。 “tpcds_3.2.0.zip”替换为实际的软件包名。
回给研发工程师,进行分析。 分析trace文件,需要使用jeprof工具,该工具由Jemalloc生成。在常规使用中,需要依赖perl环境,如果需要生成pdf调用图,需要安装与操作系统匹配的GraphViz工具。 示例 1 2 3 4 5 6 7 8 9 10 11
回给研发工程师,进行分析。 分析trace文件,需要使用jeprof工具,该工具由Jemalloc生成。在常规使用中,需要依赖perl环境,如果需要生成pdf调用图,需要安装与操作系统匹配的GraphViz工具。 示例 系统管理员用户登录,设置环境变量,启动数据库: 1 export