检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据存储 如何通过OBS控制台上传、下载数据 智能客服 您好!
Hive对接OBS场景:回到OBS管理控制台,单击并行文件系统名称,选择“对象 > 上传对象”,将product_info.txt上传至OBS并行文件系统中product_info表路径下。
与对象存储服务的关系 数据仓库服务使用对象存储服务(Object Storage Service,简称OBS)作为集群数据与外部数据互相转化的一个方法,实现安全、高可靠和低成本的存储需求。
DWSAccessOBS OBS Administrator 审计日志转储,上报审计日志数据到OBS桶。 DWSAccessKMS KMS Administrator KMS加密集群,查询和轮转密钥。
仅支持在普通表和非EXTERNAL SCHEMA的外表(OBS、HDFS、GDS、协调分析外表)创建数据脱敏策略,不支持为系统表、EXTERNAL SCHEMA的外表、临时表、UNLOGGED表以及视图和函数对象创建脱敏策略。 不支持通过同义词向普通表对象创建脱敏策略。
access_key OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会保存到数据库的元数据表中。 FOREIGN DATA WRAPPER为dfs_fdw时,仅支持type为OBS时设置。
pgxc_group_add_subscription(src_vw_name, target_vw_name) 描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs
secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 dli_address DLI服务的终端节点,即endpoint。
冷热表仅支持列存分区表,依赖于可用的OBS服务。 冷热表仅支持默认表空间为default_obs_tbs,如需新增obs表空间可联系技术支持。 不建议创建普通表时指定自定义TABLESPACE。 创建行存表时应避免指定COMPRESS压缩属性。
迁移验证 迁移后验证 Database Schema Convertor转换完含有SQL语句的源文件后,在目标GaussDB(DWS)上执行转换后的文件,并生成文件执行成功和失败的明细报告。 Database Schema Convertor完成迁移后,会调用迁移后验证脚本(通过配置项控制
这些示例数据存储在OBS存储桶中,该存储桶向所有经过身份验证的云用户提供了读取权限。 注意,以下语句中的<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。
secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 type 表示dfs_fdw连接的类型。 取值范围: OBS表示连接的是OBS。
//bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=cn-north-1' ); 其中,词典文件全名为nn_no.dict和nn_no.affix,所在目录为 'obs://bucket01/obs.example.com
本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下: 准备工作 步骤一:准备DLI源端数据 步骤二:创建GaussDB(DWS)集群 步骤三:获取GaussDB(DWS
_001; DROP FOREIGN TABLE obs_from_date_dim_001; DROP FOREIGN TABLE obs_from_store_001; DROP FOREIGN TABLE obs_from_item_001; DROP FOREIGN TABLE
手动创建外部服务器 创建外表语法(CREATE FOREIGN TABLE (SQL on Hadoop or OBS))中,需指定一个与MRS数据源连接相关联的外部服务器。
图1 数据迁移示意图 CDM、OBS、MRS、DLI为云服务。 GDS、DSC、gs_restore、gs_dump为内部工具。
冷数据存储将不更新,偶尔被查询,对访问的响应时间要求不高的冷数据存储在OBS中。
分析表 ANALYZE支持的表类型有行/列存表、HDFS表、ORC/CARBONDATA格式的OBS外表。ANALYZE同时也支持对本地表的指定列进行信息统计。
语法一览表 ALTER BLOCK RULE ALTER DATABASE ALTER EXCEPT RULE ALTER EXTERNAL SCHEMA ALTER FOREIGN TABLE (GDS导入导出) ALTER FOREIGN TABLE (For HDFS or OBS