检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用开源Kettle导入数据 Kettle是一款开源的ETL工具,通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下,使用Kettle自身提供的数据入库插件,入库速度在1500条/秒左右,数据搬迁耗时较高。而相同运行环境下,使用集成dws-client
查询结果显示与原始数据显示相同,则表示导入成功。查询结果的结尾将显示以下信息: 1 (10 rows) 通过外表查询到数据后,用户可以将数据插入数据库的普通表。 导入数据后查询数据 在GaussDB(DWS)数据库中,创建导入数据的目标表,用于存储导入的数据。 该表的表结构必须与创建
单次型任务:需要设置起止时间,智能运维将在设置的时间段内运行运维任务。 周期型任务:需要配置时间窗,时间窗配置提供每日、每周、每月三种类型供用户选择。智能运维将自动分析用户注册的时间段,在每个时间段内运行运维任务。 对于自动Vacuum运维任务,用户配置时间窗时,应避开业务高峰期。否则自动Vacuum将有可能与用户业务产生死锁冲突。
GDS导入失败后,磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败,触发作业重跑。重新开始数据导入,完成导入作业后查看磁盘空间,发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后,占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志,查看是否有执行失败的现象。
当完成本教程的示例后,如果您不再需要使用本示例中创建的资源,您可以删除这些资源,以免资源浪费或占用您的配额。 删除外表和目标表 (可选)如果执行了导入数据后查询数据,请执行以下命令,删除目标表。 1 DROP TABLE product_info; 执行以下命令,删除外表。 1 DROP
使用该命令进行数据的导入/导出。但是与SQL的COPY命令不同,该命令读取/写入的文件是本地文件,而非数据库服务器端文件;所以,要操作的文件的可访问性、权限等,都是受限于本地用户的权限。 说明: \COPY只适合小批量,格式良好的数据导入,容错能力较差。导入数据应优先选择GDS或COPY。
HDFS文件系统上的Hadoop结构化数据。Hadoop外表是只读的,只能用于查询操作,可直接使用SELECT查询其数据。 前提条件 已创建MRS集群,并将数据导入Hive/Spark数据库中的ORC表。 请参见MRS集群上的数据准备。 GaussDB(DWS)集群已创建MRS数据源连接。 具体操作请
询操作。 ETCD Editable Text Configuration Daemon,分布式键值存储系统,用于共享配置和服务发现(服务注册和查找)。 ETL Extract-Transform-Load,描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
从GaussDB(DWS)集群导入数据到新集群 功能描述 通过在集群中创建Foreign Table的方式,实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项
询操作。 ETCD Editable Text Configuration Daemon,分布式键值存储系统,用于共享配置和服务发现(服务注册和查找)。 ETL Extract-Transform-Load,描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
据库中的表导入数据。 SQLException,IOException long copyIn(String sql, InputStream from, int bufferSize) 使用COPY FROM STDIN从InputStream中快速向数据库中的表导入数据。 SQLException
GDS导入数据时,脚本执行报错:out of memory 问题现象 在使用GDS导入数据时,脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时,源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现,比如引号,文件格式异常导致系统识别的单行数据过大超过1GB。
用。 开启数据库加密功能后创建的快照不支持使用openAPI做恢复。 默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,此时需联系有权限的用户在当前页面完成对GaussDB(DWS)的委托授权。
中。 1 product_info2.csv 为导入用户设置OBS桶的读取权限。 在从OBS导入数据到集群时,执行导入操作的用户需要取得数据源文件所在OBS桶的读取权限。通过配置桶的ACL权限,可以将读取权限授予指定的用户账号。 具体请参见《对象存储服务控制台指南》中的配置桶ACL章节。
系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 欠费后影响 当您的账号因按需GaussDB(DWS)集群自动扣费导致欠费后,账号将变成欠费状态。欠费后,按需资源不会立即停止服务,资源进入宽限期。您需支付按需资源在宽限期内产生的费用,相关费用可在“管理控制台
mkdir -p /input_data 将数据源文件上传至上一步所创建的目录中。 GDS并行导入支持CSV、TEXT格式的数据导入。请确保数据源文件符合格式要求。 父主题: 使用GDS从远端服务器导入数据
行列存 行存 列存 GIN索引 Btree索引 行存vacuum SP-GiST索引 Hash索引
事务 锁 GTM xlog checkpoint
解析器 词法分析 语法分析 DDL DML 表达式 元数据
其他 逻辑复制 Postmaster IPC Tablespace port目录下的公共机制 Tsearch CN Retry 高级包 JSON format、java - UDF 功能特性