检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用GaussDB(DWS)的\copy导入导出? 由于云上GaussDB(DWS)是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法: 将数据文件放到客户端的机器上。
GaussDB(DWS)集群不支持跨区域访问OBS桶数据,创GaussDB(DWS)集群前需规划好GaussDB(DWS)集群与OBS桶在同一个区域内,本文以“华北-北京四”为例。 计费方式:按需 版本选择:存算一体 集群节点:3 连接集群方式:SQL编辑器 存储容量:20G/节点 数据源:OBS桶的csv数据
集群规格:磁盘io、网络吞吐、内存、cpu规格等。 业务规划:表字段的类型、是否压缩、行存还是列存。 数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下:
外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示导出的数据文件格式,支持“orc”格式。 “foldernam
冷热表用户函数 pg_obs_cold_refresh_time(table_name, time) 描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表表名,类型为name,time为数据切换任务调度时间,类型为Time。 返回值:SUCCESS,任务时间修改成功。
、Tez组件)。 通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服
参数说明:控制是否打开文件缓存。该参数受enable_aio_scheduler和obs_worker_pool_size的前置控制;只有在enable_aio_scheduler=on以及obs_worker_pool_size>=4的前提下,此参数为on才会生效。 参数类型:USERSET
GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题: 建表与数据导入
支持访问MRS上的Hudi表 SQL on Hudi支持对存储在MRS上的hudi表进行访问。该功能仅9.1.0及以上集群版本支持。 前提条件 已完成创建MRS数据源,具体可参见管理MRS数据源。 SQL on Hudi支持读取存储在MRS上的hudi表,在使用上仅创建数据源与OBS不同,其他无差异。
推荐使用GaussDB(DWS)的智能机器人-小D助手,24小时在线为您服务,解决您的日常问题,当前小D助手能解决日常SQL语法咨询、功能介绍、故障案例、报错信息等Top问题。 如何使用 使用华为云账户登录GaussDB(DWS)管理控制台。 在页面右上角单击“小D助手”进入智能问答页面。
HASH(ID); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
standby_cluster_id 是 String 备集群ID。 primary_obs_bucket 否 String 主集群obs桶。 standby_obs_bucket 否 String 备集群obs桶。 响应参数 表4 响应Body参数 参数 参数类型 描述 disaster_recovery
数据迁移实战 使用华为云CDM服务将数据从MySQL迁移到DWS OBS数据存储 如何通过OBS控制台上传、下载数据 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自数据仓库服务的技术牛人,为您解决技术难题。
冷热表用户函数 pg_obs_cold_refresh_time(table_name, time) 描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表的表名,类型为name,time为数据切换任务调度时间,类型为Time。 返回值:SUCCESS,任务时间修改成功。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.getenv("CLOUD_SDK_AK") sk = os.getenv("CLOUD_SDK_SK")
DATABASE 指定外部SCHEMA所对应的要访问的数据库。 SERVER 取值范围:已存在的foreign server且type类型为lf、dli、obs或hdfs。 通过external schema关联foreign server以达到访问外部数据的目的。 CATALOG Lak
步骤四:通过外表导入DLI表数据 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 已获取华为账号的AK和SK,参见访问密钥。 步骤一:准备DLI源端数据
磁盘缓存主动预热调优 该功能仅9.1.0.200及以上版本支持。 背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,数据
FROM/TO适合低并发,本地小数据量导入导出。 支持使用COPY TO向OBS导出TEXT或CSV格式数据,但不支持使用COPY FROM从OBS导入数据。对于导出到OBS上的带utf8 BOM的CSV格式文件,如果有导入需求,建议使用OBS导入,否则可能无法正确识别BOM字段。 语法格式 从一个文件拷贝数据到一个表: