检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用GaussDB(DWS)提供的GDS工具,利用多DN并行的方式,将数据从远端服务器导入到GaussDB(DWS)。这种方式导入效率高,适用于大批量数据入库。 从MRS导入数据到集群 MRS(HDFS) 配置一个GaussDB(DWS)集群连接到一个MRS集群,然后将数据从MRS的HDFS中读取到GaussDB(DWS)。
步骤一:准备DLI源端数据 创建DLI弹性资源池及队列。 登录华为云控制台,服务列表选择“大数据 > 数据湖探索DLI”,进入DLI管理控制台。 左侧导航栏选择“资源管理 > 弹性资源池”,进入弹性资源池管理页面。 单击右上角“购买弹性资源池”,填写如下参数,其他参数项如表中未说明,默认即可。
DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。 CN只负责任务的规划及下发,数据导出工作由DN负责,并释放CN资源,使其有能力处理外部请求。 每个DN都参与数据导出,使各个设备的计算能力及网络带宽得到充分利用。 支持多个hdfs server并发导出,
S)数据库导出到外部,存放在OBS对象存储服务器上,从而提高整体导出性能。 CN只负责任务的规划及下发,数据导出工作由DN负责,并释放CN资源,使其有能力处理外部请求。 每个DN都参与数据导出,使各个设备的计算能力及网络带宽得到充分利用。 支持多个OBS服务并发导出,导出的桶和对象的路径必须不同并且不能为空。
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
STRING 货币类型 MONEY NUMERIC BIGINT HDFS导出数据准备:HDFS导出准备即配置MRS,具体信息可参考《MapReduce服务用户指南》。 父主题: 导出ORC数据到MRS
拟专用网络(VPN)”打通网络,请参见对应服务的用户指南。 从MRS导入数据到集群的流程 MRS集群上的数据准备 (可选)手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 从MRS导入数据到集群
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据
恢复单表到原集群 操作场景 集群粒度的快照和schema粒度的快照,可以指定快照备份集中的单表恢复到原集群。通常用户在业务操作中,对某个表中的数据进行了错误操作或者误删,需要对此表数据回滚到指定快照时,使用该功能。 如果当前控制台界面不支持该功能,请联系技术支持人员。 恢复单表到原集群的功能支持备份设备为OBS的快照。
安装配置和启动GDS GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 安装配置和启动GDS操作步骤如下,详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步
STDIN命令写数据到一个表。 使用GDS从远端服务器导入数据到GaussDB(DWS)。 当用户需要将普通文件系统(例如,弹性云服务器)中的数据文件导入到GaussDB(DWS)时,可以使用GaussDB(DWS)提供的GDS导入数据的功能。 使用CDM迁移数据到GaussDB(DWS)。
Kafka实时入库到GaussDB(DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库,实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。
都需要使用OPEN、FETCH和CLOSE语句。下面要介绍的一种循环不需要这些操作,可以简化游标循环的操作,这种循环方式适用于静态游标的循环,不用执行静态游标的四个步骤。 语法 FOR AS循环的语法请参见图1。 图1 FOR_AS_loop::= 注意事项 不能在该循环语句中对查询的表进行更新操作。
都需要使用OPEN、FETCH和CLOSE语句。下面要介绍的一种循环不需要这些操作,可以简化游标循环的操作,这种循环方式适用于静态游标的循环,不用执行静态游标的四个步骤。 语法 FOR AS循环的语法请参见图1。 图1 FOR_AS_loop::= 注意事项 不能在该循环语句中对查询的表进行更新操作。
ame字段的值,如'hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca'。 不同的数据库之间资源是隔离的,因此在不同的数据库中外部服务器名称可以相同。 FOREIGN DATA WRAPPER 只能指定为HDFS_FDW,它在数据库中已经存在。
roup和安装的nodegroup (group_version1)。 如果指定了is_foreign为true,则资源池不能再关联用户,即不允许通过CREATE USER ... RESOURCE POOL语句来将该资源池配置给用户。该资源池自动检查用户是否关联到资源池指定的逻
创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置 参数项 取值样例 区域 华北-北京四 集群名称 mrs_01 集群版本 MRS 1.9.2(主推) 说明: 8.1.1
创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置 参数项 取值 区域 华北-北京四 集群名称 mrs_01 版本类型 普通版 集群版本 MRS 1.9.2(主推) 说明:
表,可以通过资源管理功能创建多个资源池来实现不同业务的资源隔离。GaussDB(DWS)支持将不同业务用户分配给不同资源池,以便减少业务之间资源(CPU资源、内存资源、IO资源和存储资源)竞争。 但随着业务规模不断扩大,集群系统中的业务数目越来越多,通过划分多个资源池来管理越来越
称,缺省为utf8。 “filesize” 指定WRITE ONLY外表的文件大小。此选项为可选项,不指定该选项默认分布式文件系统配置中文件大小的配置值。此语法仅对WRITE ONLY的外表有效。 取值范围:[1, 1024]的整数。 filesize参数只对ORC格式的WRITE