检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
数据迁移 使用CDM迁移Oracle数据至GaussDB(DWS)集群 使用CDM迁移MySQL数据至GaussDB(DWS)集群 使用DRS实时同步MySQL表数据至GaussDB(DWS)集群 使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 使
数据开发 使用GaussDB(DWS)冷热数据切换功能降低业务成本 使用GaussDB(DWS)分区自动管理功能降低电商和物联网行业数据分区维护成本 使用GaussDB(DWS)视图重建功能实现视图解耦以提升开发效率 HStore表使用优秀实践 GIN索引使用实践 实现数据列的加解密
range. 解决方案:分析语句中数据类型是否超出范围,可考虑将类型转换为数值类型。 level: ERROR GS_216110197 错误码: %s is not a valid data directory. 解决方案:文件中未包含有效数据,可能需要初始化数据库。 level: FATAL
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型
资源主要是数据仓库服务GaussDB(DWS)、弹性云服务 ECS、虚拟私有云服务 VPC,基本流程如下: 准备工作 步骤一:创建两套DWS集群 步骤二:准备源端数据 步骤三:安装并启动GDS服务器 步骤四:实现跨DWS集群的数据互联互通 支持区域 当前已上传OBS数据的区域如表1所示。
云、子网和安全组。 安全组的出入规则是否正确。 如果是在互联网环境无法连接,还需要检查以下可能导致异常的原因: 用户网络是否与互联网可以正常连通。 用户网络防火墙策略是否限制了访问。 用户网络是否需要通过代理才能访问互联网。 联系服务人员 如果无法确定原因并解决问题,请提交工单反
规划导出数据 MRS导出支持的数据类型请参见表2。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型 1字节整数 TINYINT TINYINT(不推荐)
数据读取 单表查询 多表连接查询 WITH表达式 跨逻辑集群数据读写
规划导出数据 操作场景 使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (
规划导出数据 操作场景 在OBS上规划导出数据存放的位置。 规划OBS存储位置和文件 导出数据需要指定数据在OBS中的存储路径(需指定到目录),导出的数据可以按CSV解析格式保存到文件中。系统还支持TEXT类型的解析格式,将数据导出保存便于导入不同的应用程序。 导出路径的目标目录中不能存在任何文件。
准备源数据 操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。
数据库监控简介 概览 数据库智能运维(DMS)是一个为GaussDB(DWS)数据库提供多维度监控服务的系统,为用户数据库的快速、稳定运行提供保驾护航的能力。该功能对业务数据库所使用磁盘、网络、OS指标数据,集群运行关键性能指标数据进行收集、监控、分析。通过综合收集到的多种类型指
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 创建表的数据脱敏策略
建多个Project。 GaussDB(DWS)的数据库概念 数据库 数据库用于管理各类数据对象,与其他数据库隔离。创建数据库时可以指定对应的表空间,如果不指定相应的表空间,相关的对象会默认保存在PG_DEFAULT空间中。数据库管理的对象可分布在多个表空间上。 联机分析处理 联机分析处理(Online
元数据迁移 使用gs_dump和gs_dumpall命令导出元数据 使用gs_restore导入数据
基于GDS的跨集群互联互通 功能描述 在“基于Foreign Table的数据处理”的基础上,通过GDS进行数据中转,实现多个集群之间的数据同步。 使用场景 将数据从一个集群同步到另外一个集群,支持全量数据同步、过滤条件数据同步。 目前互联互通仅支持以下使用方式,除以下语句外,其他类型的语法均不支持。
数据库 在MySQL中,DATABASE 是一种模式对象,等同于Oracle、GaussDB(DWS)数据库的SCHEMA概念。DSC工具迁移时考虑了以下两个场景。 创建数据库 输入示例 create database IF NOT EXISTS dbname1 CHARACTER
数据类型 数值类型 货币类型 布尔类型 字符类型 二进制类型 日期/时间类型 几何类型 数组类型 枚举类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 RoaringBitmap类型 HLL数据类型 对象标识符类型 伪类型 范围类型 复合类型 列存表支持的数据类型
数据库连接管理 执行gsql连接数据库命令提示gsql:command not found 通过gsql客户端无法连接数据库 连接GaussDB(DWS)数据库时,提示客户端连接数太多 无法ping通集群访问地址 业务执行中报错:An I/O error occurred while