检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
VPC及子网、弹性公网EIP、云数据迁移 CDM和数据仓库服务 GaussDB(DWS),基本流程如下: 迁移前准备 步骤一:元数据迁移 步骤二:表数据迁移 步骤三:表数据校验 图1 迁移Hologres场景图 约束与限制 如果待迁移的表数量较多,建议分批次进行迁移。可以按业务分批,也可以按表的数据量分批。
负载管理 GS_261110006 错误码: The \priority\ of query_band action is invalid. 解决方案:优先级的有效值是Rush。 level: ERROR GS_261110007 错误码: The action %s of query_band
dws-demo 主机 所要连接的集群IP地址(IPv4)或域名。 - 端口号 数据库端口。 8000 数据库 数据库名称。 gaussdb 用户名 所要连接数据库的用户名。 - 密码 所要连接数据库的登录密码。 - 保存密码 在下拉列表中选择: “仅当前会话”:仅在当前会话中保存密码。
DWS)集群中的数据库。 仅8.1.3.101及以上集群版本支持在控制台下载。 GDS工具包 GDS工具包是数据服务工具。用户可以使用GDS工具将普通文件系统中的数据文件导入到GaussDB(DWS)数据库中,GDS工具包需要安装在数据源文件所在的服务器上。数据源文件所在的服务器称为数据服务器,也称为GDS服务器。
操作场景 当数据导入发生错误时,请根据本文指引信息进行处理,错误表只能记录数据格式错误。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,将数据导入过程中
本实践将演示交通卡口车辆通行分析,将加载8.9亿条交通卡口车辆通行模拟数据到数据仓库单个数据库表中,并进行车辆精确查询和车辆模糊查询,展示GaussDB(DWS)对于历史详单数据的高性能查询能力。 GaussDB(DWS)已预先将样例数据上传到OBS桶的“traffic-data”文件夹中,并
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型
GaussDB(DWS)的CPU资源隔离管控介绍 CPU资源管控概述 在不同的业务场景中,对数据库的系统资源(CPU资源、内存资源、IO资源和存储资源)进行合理的分配,保证执行查询时有充足的系统资源,确保查询性能,可以维持业务稳定性。 GaussDB(DWS)的资源管理功能支持用
存算一体(单机部署)暂不支持从MRS导入数据。 使用流程 从MRS导入数据到集群流程如下: 前提条件 创建一个MRS集群,具体操作步骤请参见购买自定义集群。 创建一个HDFS外表,外表通过外部服务器的接口,从MRS集群查询数据。 具体操作步骤请参见《数据仓库服务数据迁移与同步》中从MRS导入数据到集群章节。
GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 安装配置和启动GDS操作步骤如下,详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。
数据迁移 使用CDM迁移Oracle数据至GaussDB(DWS)集群 使用CDM迁移MySQL数据至GaussDB(DWS)集群 使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 使用CDM迁移Hologres至GaussDB(DWS)集群 使用Kettle迁移AWS
Retry开关,否则主备切换后再CN Retry会造成数据不一致。 在使用gds进行数据导出时,支持CN Retry。现有机制导出时会对重复文件进行检测并删除相同的文件,因此建议不要对相同的外表重复导出数据,除非确定数据目录中相同文件名的文件需要删除。 错误类型约束: SQL语
数据开发 使用GaussDB(DWS)冷热数据切换功能降低业务成本 使用GaussDB(DWS)分区自动管理功能降低电商和物联网行业数据分区维护成本 使用GaussDB(DWS)视图重建功能实现视图解耦以提升开发效率 HStore表使用优秀实践 GIN索引使用实践 实现数据列的加解密
导出所有数据库 GaussDB(DWS)支持使用gs_dumpall工具导出所有数据库的全量信息,包含集群中每个数据库信息和公共的全局对象信息。可根据需要自定义导出如下信息: 导出所有数据库全量信息,包含集群中每个数据库信息和公共的全局对象信息(包含角色和表空间信息)。 使用导出
上传数据到OBS 操作场景 从OBS导入数据到集群之前,需要提前准备数据源文件,并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了,则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。GaussDB(DWS)只支持CSV、TEXT、O
copy增加CSV格式,避免在数据复杂时受特殊字符干扰无法正常入库。 - 1.0.7 数据库重启中写入数据失败后支持重试。 增加as方式创建临时表,解决在有主键表无法使用copy merge/upsert的问题。 数据库字段适配为默认大小写不敏感。 Flink SQL增加打印主键参数,用于分析数据缺失时排查问题。
【建议】避免使用双引号括起来的字符串来定义数据库对象名称,GaussDB(DWS)中使用双引号将数据库对象名称括起来时表示对大小写敏感。数据库对象名称大小写敏感会使定位问题难度增加。 【建议】数据库对象命名风格务必保持统一。 增量开发的业务系统或进行业务迁移的系统,建议遵守历史的命名风格。 数据库对象名称由字
10秒钟左右。 使用LakeFormation数据源 使用LakeFormation数据源操作详情请参见《数据仓库服务开发指南》中的“数据迁移 > 导入数据 > 使用LakeFormation数据源导入数据”章节。 父主题: 管理数据源
【建议】避免使用双引号括起来的字符串来定义数据库对象名称,GaussDB(DWS)中使用双引号将数据库对象名称括起来时表示对大小写敏感。数据库对象名称大小写敏感会使定位问题难度增加。 【建议】数据库对象命名风格务必保持统一。 增量开发的业务系统或进行业务迁移的系统,建议遵守历史的命名风格。 数据库对象名称由字
relname) FROM get_last_changed_table(); 场景二:常规数据倾斜巡检 在库中表个数少于1W的场景,直接使用倾斜视图查询当前数据库内所有表的数据倾斜情况。 1 SELECT * FROM pgxc_get_table_skewness ORDER