检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
描述 数据导入导出 从OBS导入数据到集群 本教程旨在通过演示将样例数据上传OBS,及将OBS的数据导入进GaussDB(DWS)上的目标表中,让您快速掌握如何从OBS导入数据到GaussDB(DWS)集群的完整过程。 GaussDB(DWS)支持通过外表将OBS上TXT、CSV、O
value ' } [, ...] ) 用于指定外部服务器的各类参数,详细的参数说明如下所示。 address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。 HDFS:HDFS集群的元数据节点(NameNode)所在的IP地址以及
ltarow_threshold控制进入delta表的阈值。 冷热表仅支持列存分区表,依赖于可用的OBS服务。 冷热表仅支持默认表空间为default_obs_tbs,如需新增obs表空间可联系技术支持。 不建议创建普通表时指定自定义TABLESPACE。 创建行存表时应避免指定COMPRESS压缩属性。
secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 type 表示dfs_fdw连接的类型。 取值范围: OBS表示连接的是OBS。 HDFS表示连接的是HDFS。
单击“下一步”,单击“确定”。队列创建成功。 上传源数据到OBS桶。 已创建OBS桶,桶名自定义,例如dli-obs01(如果桶名已被占用,可设为dli-obs02,依次叠加),区域选择华北-北京四。 下载数据样例文件。 在OBS桶中,新建文件夹dli_order,并将下载好的数据文件上传到dli_order目录下。
FilePath = 'obs://bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=cn-north-1' ); 其中,词典文件全名为nn_no.dict和nn_no.affix,所在目录为 'obs://bucket01/obs
TABLE obs_from_store_sales_001; DROP FOREIGN TABLE obs_from_date_dim_001; DROP FOREIGN TABLE obs_from_store_001; DROP FOREIGN TABLE obs_from_item_001;
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.getenv("CLOUD_SDK_AK") sk = os.getenv("CLOUD_SDK_SK")
CDM、OBS、MRS、DLI为云服务。 GDS、DSC、gs_restore、gs_dump为内部工具。 表1 数据导入方式说明 数据导入方式 数据源 说明 优势 从OBS并行导入数据 OBS 支持将存储在OBS上的TXT、CSV、ORC及CARBONDATA格式的数据并行导入到GaussDB(DW
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API
standby_cluster_id 是 String 备集群ID。 primary_obs_bucket 否 String 主集群obs桶。 standby_obs_bucket 否 String 备集群obs桶。 响应参数 表4 响应Body参数 参数 参数类型 描述 disaster_recovery
0表及外表生效。 obs_io_req_count bigint OBS IO请求的总数量。该字段仅对存算分离3.0表及外表生效。 obs_io_req_retry_count bigint OBS IO请求重试的总次数。该字段仅对存算分离3.0表及外表生效。 obs_io_req_rate_limit_count
热数据存储是直接将频繁被查询或更新,对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新,偶尔被查询,对访问的响应时间要求不高的冷数据存储在OBS中。 因为其存储介质的不同,决定了两者的成本、性能、以及适用场景,如表1所示: 表1 冷热数据存储区别 存储名称 读取、写入速度 成本 容量
账号被锁住了,如何解锁? 重置密码后再次登录仍提示用户被锁 将Schema中的表的查询权限赋给其他用户,赋权后仍无法查询Schema中的表 某张表执行过grant select on table t1 to public,如何针对某用户回收权限 普通用户创建或删除GDS/OBS外表语句时报错,提示没有权限或权限不足
存储在系统表PG_STATISTIC中。 分析表 ANALYZE支持的表类型有行/列存表、HDFS表、ORC/CARBONDATA格式的OBS外表。ANALYZE同时也支持对本地表的指定列进行信息统计。 以表product_info为例,ANALYZE命令如下: 1 ANALYZE
X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 父主题: 如何调用API
0表及外表生效。 obs_io_req_count bigint OBS IO请求的总数量。该字段仅对存算分离3.0表及外表生效。 obs_io_req_retry_count bigint OBS IO请求重试的总次数。该字段仅对存算分离3.0表及外表生效。 obs_io_req_rate_limit_count
refresh storage; ALTER TABLE 使用函数pg_refresh_storage()批量切换所有冷热表: 1 2 3 4 5 SELECT pg_catalog.pg_refresh_storage(); pg_refresh_storage --------------------
FOREIGN TABLE (GDS导入导出) CREATE FOREIGN TABLE (SQL on OBS or Hadoop) CREATE FOREIGN TABLE (OBS导入导出) CREATE FOREIGN TABLE (SQL on other GaussDB(DWS))
(GDS导入导出),ALTER FOREIGN TABLE (For HDFS or OBS),CREATE FOREIGN TABLE (GDS导入导出),CREATE FOREIGN TABLE (SQL on OBS or Hadoop) 父主题: DDL语法