检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio服务创建GaussDB(DWS)外表时不支持中文,如何处理 问题现象 使用DataArts Studio服务创建GaussDB(DWS)的OBS外表,并且在创建外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。
热数据存储是直接将频繁被查询或更新,对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新,偶尔被查询,对访问的响应时间要求不高的冷数据存储在OBS中。 因为其存储介质的不同,决定了两者的成本、性能、以及适用场景,如表1所示: 表1 冷热数据存储区别 存储名称 读取、写入速度 成本 容量
是否对数据进行加密,该参数仅支持在type为OBS时设置。默认值为off。 取值范围: on表示对数据进行加密。 off表示不对数据进行加密。 access_key OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 secret_access_key
PG_JOB视图用于代替历史版本的PG_JOB系统表,提供对之前版本的前向兼容。原PG_JOB系统表已经变更为PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB字段 名字 类型 描述 job_id bigint 作业ID。 current_postgres_pid
PG_JOB视图用于代替历史版本的PG_JOB系统表,提供对之前版本的前向兼容。原PG_JOB系统表已经变更为PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB字段 名字 类型 描述 job_id bigint 作业ID。 current_postgres_pid
数据存储空间超过免费空间大小时,超出部分按照对象存储服务(OBS)的计费规则进行计费,参见OBS价格详情。 免费空间大小是您的集群的总存储空间大小,即单节点存储空间大小 * 节点数。 按需计费 存储单价*存储量*计费时长 数据仓库服务磁盘存储 用户在可选范围内自定义集群使用的存储
普通用户创建或删除GDS/OBS外表语句时报错,提示没有权限或权限不足 问题现象 创建GDS或OBS外表语句时,管理员用户可以执行成功,但普通用户执行时报错“ERROR: permission denied to create foreign table in security mode
hash(L_ORDERKEY); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
导入数据最佳实践 从OBS并行导入数据 将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件
-------------------------------------------- SET search_path = tpchobs; + CREATE TABLE
ssDB(DWS)集群数据库。 与弹性云服务器的关系 数据仓库服务使用弹性云服务器(Elastic Cloud Server,简称ECS)作为集群的节点,每个弹性云服务器是集群中的一个节点。 与裸金属服务器的关系 数据仓库服务使用裸金属服务器(Bare Metal Server,
secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 type 表示dfs_fdw连接的类型。 取值范围: OBS表示连接的是OBS。 HDFS表示连接的是HDFS。
通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选
照数据存储空间超过免费空间大小时,超出部分按照对象存储服务(OBS)的变更计费规则进行计费,参见OBS价格详情。 免费空间大小是您的集群的总存储空间大小,即单节点存储空间大小*节点数。 按需转包年/包月 包年/包月转按需 数据仓库服务磁盘存储 变更热数据存储的计费模式: 将Gau
option_name ' value ' } [, ...] ) 用于指定外部服务器的各类参数,详细的参数说明如下所示。 address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。 HDFS:HDFS集群的元数据节点(Nam
欠费说明 用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 未购买套餐包,在按需计费模式下账户的余额不足。 欠费影响 包年/包月 对于包年/包月GaussDB(DWS)资源,用户已经预先支付了资
使用Hudi前准备 前提条件 已完成创建OBS委托以及创建OBS数据源,具体可参见管理OBS数据源。 授权使用OBS数据源 执行GRANT命令给用户授予使用OBS数据源的权限: 1 GRANT USAGE ON FOREIGN SERVER server_name TO role_name;
内不计费。当快照数据存储空间超过免费空间大小时,超出部分按照对象存储服务(OBS)的计费规则进行计费,参见OBS价格详情。 免费空间大小是您的集群的总存储空间大小,即单节点存储空间大小 (副本)x 节点数。 数据仓库服务磁盘存储 按需计费集群在可选范围内自定义集群使用的存储类型与存储容量,采用存储资源独立计费的方式。
hash(hphm); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
是否对数据进行加密,该参数仅支持在type为OBS时设置。默认值为off。 取值范围: on表示对数据进行加密。 off表示不对数据进行加密。 access_key OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 secret_access_key