检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用开源Kettle导入数据 Kettle是一款开源的ETL工具,通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下,使用Kettle自身提供的数据入库插件,入库速度在1500条/秒左右,数据搬迁耗时较高。
支持查看并获取华为云平台环境的内网连接地址、互联网环境的公网连接地址和JDBC连接字符串。 获取集群连接地址有以下两种方式: 在连接客户端页面获取集群连接地址 在“集群详情”页面获取集群连接地址 在“连接客户端”页面获取集群连接地址 登录GaussDB(DWS)管理控制台。
连接GaussDB(DWS)数据库时,提示客户端连接数太多 问题现象 连接GaussDB(DWS) 数据库时报错,提示客户端连接数太多。
数据膨胀磁盘空间不足,导致性能降低 问题现象 用户数据膨胀严重,磁盘空间不足,性能低。 原因分析 用户可在管控面执行全库Vacuum/Vacuum Full,以定期进行空间回收: 用户频繁创建、删除表,导致系统表膨胀严重,需要对系统表执行Vacuum。
数据如何存储到GaussDB(DWS)? GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS对象存储服务中,再从OBS中导入,支持CSV,TEXT格式数据。 通过INSERT语句直接插入数据。
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时,可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。
使用导出的全量信息可以创建与当前集群相同的一个集群,拥有相同数据库和公共全局对象,且库中数据也与当前各库相同。 仅导出数据,即导出每个数据库中的数据,且不包含所有对象定义和公共的全局对象信息。
创建MRS数据源连接 操作场景 GaussDB(DWS)从MRS的HDFS读取数据前,需要先创建一个MRS数据源连接,作为GaussDB(DWS)集群与MRS集群的数据通道。 对系统的影响 一个GaussDB(DWS)集群在创建MRS数据源连接时,不能同时创建两个连接。
查询历史监控数据 功能介绍 该接口用于查询历史监控数据。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/dms/metric-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
同一个网络下可以有多个MRS数据源, 但是GaussDB(DWS)集群每次只能和一个MRS集群建立连接。 在GaussDB(DWS) 集群创建一个MRS数据源连接,具体操作步骤请参见创建MRS数据源连接。 使用MRS数据源导入数据到集群,具体操作请参见使用MRS数据源。
本示例分两个数据盘同步生成tpch 1000x数据。
数据库连接 如何与GaussDB(DWS)进行通信? GaussDB(DWS)是否支持第三方客户端以及JDBC和ODBC驱动程序? 无法连接GaussDB(DWS)集群时怎么处理? 为什么在互联网环境连接GaussDB(DWS)后,解绑了EIP不会立即返回失败消息?
配置Oracle数据源连接 数据从Oracle迁移到GaussDB(DWS),首先要配置Oracle数据源连接。 操作步骤 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 驱动管理”。
通过视图管控数据权限 本章节介绍如何通过视图实现给不同的用户授予查询同一表中不同数据的权限,提供数据的权限管理和安全性。
数据库权限管理 同步IAM用户到数据库 查询所有数据库用户/角色 查询指定用户信息 修改指定用户信息 修改数据库对象权限 查询数据库对象权限 获得集群运维账户状态 执行运维用户操作 父主题: API说明
导出监控数据 性能监控支持数据导出,用户可通过单击“导出监控数据”按钮导出数据做二次加工。目前默认导出用户当前页面上的所有监控视图中的数据,导出时间区间以用户选择的为准。
使用LakeFormation数据源 使用LakeFormation数据源操作详情请参见《数据仓库服务开发指南》中的“数据迁移 > 导入数据 > 使用LakeFormation数据源导入数据”章节。 父主题: 管理数据源
执行以下命令,判断数据文件的生成进度。也可以通过ps ux|grep dsdgen,查看生成数据文件的进程是否退出。
数据库模式迁移 功能 runDSC.sh和runDSC.bat分别用于将Teradata、MySQL的schema和query迁移到GaussDB (DWS)上。
JSON类型 JSON数据类型可以用来存储JSON(JavaScript Object Notation)数据。