检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 type 表示dfs_fdw连接的类型。 取值范围: OBS表示连接的是OBS。 HDFS表示连接的是HDFS。
TEXTFILE; 将product_info.txt数据文件导入Hive。 Hive对接OBS场景:回到OBS管理控制台,单击并行文件系统名称,选择“对象 > 上传对象”,将product_info.txt上传至OBS并行文件系统中product_info表路径下。 Hive对接HDFS场景:将product_info
it_logs可以读取放在obs上的审计日志信息。该函数仅8.3.0及以上集群支持。 入参: obs_server:text类型,obs server名称 file_path:text类型,obs文件路径 返回值类型:record 示例: --创建obs server CREATE
外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示导出的数据文件格式,支持“orc”格式。 “foldernam
储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。 GaussDB(DWS)用户的业务数据是直接存放在集群的云主机当中,集群的云主机对GaussDB(DWS)用户本身不可见,只向用户提供数据仓库访问服务,用户以及公有云的运维管理员均无法登录
ltarow_threshold控制进入delta表的阈值。 冷热表仅支持列存分区表,依赖于可用的OBS服务。 冷热表仅支持默认表空间为default_obs_tbs,如需新增obs表空间可联系技术支持。 不建议创建普通表时指定自定义TABLESPACE。 创建行存表时应避免指定COMPRESS压缩属性。
--single-transaction 当gsql使用-f选项执行脚本时,会在脚本的开头和结尾分别加上START TRANSACTION/COMMIT用于把整个脚本当作一个事务执行。这将保证该脚本完全执行成功,或者脚本无效。 说明: 如果脚本中已经使用了START TRANSACTION,CO
只有表对象的属主和被授予gs_redaction_policy预置角色的用户具有创建脱敏策略的权限。 仅支持在普通表和非EXTERNAL SCHEMA的外表(OBS、HDFS、GDS、协调分析外表)创建数据脱敏策略,不支持为系统表、EXTERNAL SCHEMA的外表、临时表、UNLOGGED表以及视图和函数对象创建脱敏策略。
是否对数据进行加密,该参数仅支持在type为OBS时设置。默认值为off。 取值范围: on表示对数据进行加密。 off表示不对数据进行加密。 access_key OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 secret_access_key
描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs cudesc快照目录增量同步sst文件到本地,后续就可以支持在消费者VM中跨VW查询生产者VW中的表。 创建的订阅关系可以在pgxc_g
FilePath = 'obs://bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=cn-north-1' ); 其中,词典文件全名为nn_no.dict和nn_no.affix,所在目录为 'obs://bucket01/obs
基于Linux使用DataCheck 上传工具包到Linux服务器并解压: 生成数据库登录密码密文: 进入bin目录: 执行密文生成的脚本,密文会输出。对源端和目标端数据库登录密码分别执行此脚本生成密文。 sh encryption.sh [password] 配置conf/dbinfo.properties文件:
TABLE obs_from_store_sales_001; DROP FOREIGN TABLE obs_from_date_dim_001; DROP FOREIGN TABLE obs_from_store_001; DROP FOREIGN TABLE obs_from_item_001;
value ' } [, ...] ) 用于指定外部服务器的各类参数,详细的参数说明如下所示。 address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。 HDFS:HDFS集群的元数据节点(NameNode)所在的IP地址以及
单击“下一步”,单击“确定”。队列创建成功。 上传源数据到OBS桶。 已创建OBS桶,桶名自定义,例如dli-obs01(如果桶名已被占用,可设为dli-obs02,依次叠加),区域选择华北-北京四。 下载数据样例文件。 在OBS桶中,新建文件夹dli_order,并将下载好的数据文件上传到dli_order目录下。
手动创建外部服务器 创建外表语法(CREATE FOREIGN TABLE (SQL on Hadoop or OBS))中,需指定一个与MRS数据源连接相关联的外部服务器。 当您通过GaussDB(DWS)管理控制台创建MRS数据源连接时,数据库管理员dbadmin会在默认数据
gds_install gds_install是用于批量安装gds的脚本工具,可大大提高GDS部署效率。 gds_uninstall gds_uninstall是用于批量卸载GDS的脚本工具。 gds_ctl gds_ctl是一个批量控制GDS启停的脚本工具,一次执行可以在多个节点上启动/停止相同端口
SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang Perl 或 -A Perl --conversion-type -M 字符串 迁移类型。用户需根据输入脚本指定该参数: Bulk:迁移DML和DDL脚本。
FOREIGN_TABLE,表示OBS外表命名,带schema。 LATEST_COMMIT,表示已同步的Hudi数据时间截点。 示例:目标表public.in_rel,已经同步hudi的数据到20220913152131,切换到SQL on Hudi方式从OBS外表hudi_read1中继续导出数据。
数据库迁移包括用户数据迁移、sql脚本迁移以及迁移之后数据校对工作,其中,数据校对是保障数据库迁移完备的重要环节。 DataCheck是一款运行在Linux或Windows操作系统上的命令行工具,致力于向用户提供简单、快速、可靠的数据校对服务,通过连接源端数据库以及目标dws数