检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用开源Kettle导入数据 Kettle是一款开源的ETL工具,通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下,使用Kettle自身提供的数据入库插件,入库速度在1500条/秒左右,数据搬迁耗时较高。
本示例分两个数据盘同步生成tpch 1000x数据。
数据库对象尺寸函数 数据库对象尺寸函数计算数据库对象使用的实际磁盘空间。 pg_column_size(any) 描述:存储一个指定的数值需要的字节数(可能压缩过)。 返回值类型:integer 备注:pg_column_size显示用于存储某个独立数据值的空间。
数据库将进行大量读写操作,可能影响正常使用,建议选择空闲时间执行。 数据库的存储空间越大,即数据可能越多,清理的时间越长。 清理与回收存储空间操作步骤如下: 连接数据库。具体操作步骤请参见连接集群。 执行以下命令,清理与回收存储空间。
使用LakeFormation数据源 使用LakeFormation数据源操作详情请参见《数据仓库服务开发指南》中的“数据迁移 > 导入数据 > 使用LakeFormation数据源导入数据”章节。 父主题: 管理数据源
配置Oracle数据源连接 数据从Oracle迁移到GaussDB(DWS),首先要配置Oracle数据源连接。 操作步骤 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 驱动管理”。
dfs.client.block.write.replace-datanode-on-failure.enable 向HDFS写数据块发生失败时,是否替换新的节点作为副本存储位置。 dfs.encrypt.data.transfer 是否开启数据加密。
表1 数据导入方式说明 数据导入方式 数据源 说明 优势 从OBS并行导入数据 OBS 支持将存储在OBS上的TXT、CSV、ORC及CARBONDATA格式的数据并行导入到GaussDB(DWS),支持导入后查询数据,也支持远程读OBS上的数据。
查询历史监控数据 功能介绍 该接口用于查询历史监控数据。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/dms/metric-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
数据库模式迁移 功能 runDSC.sh和runDSC.bat分别用于将Teradata、MySQL的schema和query迁移到GaussDB (DWS)上。
GAUSS-53202: "The AZ information is incorrect. Please set it." SQLSTATE:无 错误原因:AZ信息错误。 解决办法:请联系技术支持工程师提供技术支持。
数据库对象函数 数据库对象尺寸函数 数据库对象位置函数 分区管理函数 排序规则版本函数 冷热表用户函数 父主题: 函数和操作符
数据库连接 如何与GaussDB(DWS)进行通信? GaussDB(DWS)是否支持第三方客户端以及JDBC和ODBC驱动程序? 无法连接GaussDB(DWS)集群时怎么处理? 为什么在互联网环境连接GaussDB(DWS)后,解绑了EIP不会立即返回失败消息?
通过视图管控数据权限 本章节介绍如何通过视图实现给不同的用户授予查询同一表中不同数据的权限,提供数据的权限管理和安全性。
使用pgcrypto加密GaussDB(DWS)数据 GaussDB(DWS)数据库自8.2.0集群版本开始内置加密解密模块pgcrypto。pgcrypto模块允许数据库用户以加密形式存储数据的某些列,为敏感数据增加了一层额外的保护。
数据库权限管理 同步IAM用户到数据库 查询所有数据库用户/角色 查询指定用户信息 修改指定用户信息 修改数据库对象权限 查询数据库对象权限 获得集群运维账户状态 执行运维用户操作 父主题: API说明
表数据膨胀导致SQL查询慢,用户前台页面数据加载不出 问题现象 数据库中原先执行几秒钟的SQL语句,现在执行二十几秒未出结果,导致前台页面数据加载超时,无法对用户提供图表显示。 原因分析 大量表频繁增删改,未及时清理,导致脏数据过多、表数据膨胀、查询慢。 内存参数设置不合理。
查询数据库对象权限 功能介绍 该接口用于查询数据库对象权限。 调用方法 请参见如何调用API。
执行以下命令,判断数据文件的生成进度。也可以通过ps ux|grep dsdgen,查看生成数据文件的进程是否退出。
数据库对象函数 数据库对象尺寸函数 数据库对象位置函数 分区管理函数 排序规则版本函数 冷热表用户函数 父主题: 函数和操作符