检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库访问实现权限分层 GaussDB(DWS)中可以使用Database和Schema实现业务的隔离,区别在于: Database之间无法直接互访,通过连接隔离实现彻底的权限隔离。各个Database之间共享资源极少,可实现连接隔离、权限隔离等。 Schema隔离的方式共用资源
触发条件 触发频率 控制参数 备注 同步 统计信息完全缺失 查询时 autoanalyze truncate主表时会清空统计信息。 同步 数据修改量达到analyze阈值 查询时 autoanalyze 先触发analyze,后选择最优计划。 异步 数据修改量达到analyze阈值 autovacuum线程轮询检查
导出ORC数据概述 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS,通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。
对应关系及其它参数。“DWS表输出”控制对应的数据源只支持PostgreSQL。 保存转换任务,并启动任务。 查看运行结果,去目标数据表检查搬迁数据总数和明细数据是否与需要搬迁的数据一致。 父主题: 导入数据
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型
规划导出数据 操作场景 在OBS上规划导出数据存放的位置。 规划OBS存储位置和文件 导出数据需要指定数据在OBS中的存储路径(需指定到目录),导出的数据可以按CSV解析格式保存到文件中。系统还支持TEXT类型的解析格式,将数据导出保存便于导入不同的应用程序。 导出路径的目标目录中不能存在任何文件。
规划导出数据 操作场景 使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (
从GaussDB(DWS)集群导入数据到新集群 功能描述 通过在集群中创建Foreign Table的方式,实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项
Kafka实时入库到GaussDB(DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库,实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。
整库迁移 使用CDM迁移数据到GaussDB(DWS) 使用DSC工具迁移SQL脚本
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 导入数据
从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题: 导入数据
使用COPY FROM STDIN导入数据 关于COPY FROM STDIN导入数据 CopyManager类简介 父主题: 导入数据
准备源数据 操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。
流加密算法是指加密和解密双方使用相同伪随机加密数据流作为密钥,明文数据依次与密钥数据流顺次对应加密,得到密文数据流。实践中数据通常是一个位(bit)并用异或(xor)操作加密。流密码算法不需要填充,得到的密文长度等于明文长度。 图1 对称密码算法 技术实现 GaussDB(DWS)主要提供了
gs_restore具备如下两种功能。 导入至数据库 如果指定了数据库,则数据将被导入到指定的数据库中。其中,并行导入必须指定连接数据库的密码。 导入至脚本文件 如果未指定导入数据库,则创建包含重建数据库所需的SQL语句脚本,并将其写入至文件或者标准输出。该脚本文件等效于gs_dump导出的纯文本格式文件。
其他操作 GDS管道文件常见问题 查看数据倾斜状态 分析表
实时入库 Kafka实时入库到GaussDB(DWS)
进行资源管控,将报表分析和核心交易业务进行数据库用户分离,例如核心交易业务使用数据库用户budget_config_user,报表分析业务使用数据库用户report_user。针对交易用户和报表用户分别进行CPU资源和并发数控制以保障数据库稳定运行。 结合报表分析业务的负载调研、