检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本次实践中的示例基于使用8节点的dws.d2.xlarge集群。因为系统性能受到许多因素的影响,即使您使用相同的集群配置,结果也会有所不同。 表1 集群规格 机器型号 dws.d2.xlarge VM CPU 4*CPU E5-2680 v2 @ 2.80GHZ 内存 32GB 网络 1GB 磁盘 1
SERVER中的password手动修改成明文密码进行配置。 syncsrv 仅用于跨集群互联互通,表示数据同步过程中使用到的GDS服务,设置方式与GDS外表的location属性相同。 示例 建立一个hdfs_server,其中hdfs_fdw为数据库中存在的foreign data wrapper:
customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示: 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/
customer_address_ext1和tpcds.customer_address_ext2用于OBS数据服务器接收数据库导出数据。 OBS与集群处于同一区域,需要导出的表为GaussDB(DWS)示例表tpcds.customer_address。 其中设置的导出信息如下所示:
name 登录该后端的用户名。 client_addr inet 连接到该后端的客户端的IP地址。 如果此字段是null,则表示通过服务器机器上UNIX套接字连接客户端或者这是内部进程,如autovacuum。 application_name text 连接到该后端的应用名。 state
数。 默认值:off codegen_cost_threshold 参数说明:由于LLVM编译生成最终的可执行机器码需要一定时间,因此只有当实际执行的代价大于编译生成机器码所需要的代码和优化后的执行代价之和时,利用代码生成才有收益。codegen_cost_threshold标识
无关性,当导入JSON格式数据时,需要通过字段名与name的自动对应来确定字段与value的对应关系。用户需要定义恰当的字段名,否则可能导致导入结果不符合预期。字段名与name的自动对应规则如下: 无嵌套无数组的情况下,字段名应当与name一致,不区分大小写。 字段名使用‘_’字符拼接两个name,标识嵌套关系。
type=hdfs} (3 rows) 查询结果中,每一行代表一个外部服务器的信息。与MRS数据源连接相关联的外部服务器包含以下信息: srvname值包含“hdfs_server”字样以及MRS集群的ID,此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字段中的
配置方式 数据库类型 GaussDB(DWS) 名称 dws-demo 主机 dws-demov.dws.huaweicloud.com 与步骤一:创建集群查询到的“公网访问地址”一致。 端口 8000 数据库 gaussdb 用户名 dbadmin 密码 - 启用SSL 不启用
PGXC_RESPOOL_RESOURCE_INFO视图新增了内存负反馈机制功能。 修改max_process_memory参数类型postmaster为sighup,一个机器部署单个DN情况下,max_process_memory计算公式如下:(物理内存大小 – vm.min_free_kbytes)* 0.6
RBONDATA以及JSON格式的数据导入到集群进行查询。 本教程中以CSV格式为例,进行如下操作: 生成CSV格式的数据文件。 创建一个与GaussDB(DWS)集群在同一区域的OBS存储桶,然后将数据文件上传到该存储桶。 创建外表,用于引流OBS存储桶中的数据到GaussDB(DWS)集群。
S桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见表1。GaussDB(DWS)集群不支持跨区域访问OBS桶数据。 外表字段需与即将注入数据的普通表字段保持一致。例如此处store_sales表及其对应的外表obs_from_store_sales_001,其字段是一致的。
无关性,当导入JSON格式数据时,需要通过字段名与name的自动对应来确定字段与value的对应关系。用户需要定义恰当的字段名,否则可能导致导入结果不符合预期。字段名与name的自动对应规则如下: 无嵌套无数组的情况下,字段名应当与name一致,不区分大小写。 字段名使用‘_’字符拼接两个name,标识嵌套关系。
继续执行以下SQL语句,创建OBS外表。 其中AK值、SK值替换成实际账号的AK、SK值。<obs_bucket_name>由支持区域获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2 3 4 5 6
orders; 导入数据需要约10分钟,请耐心等待。 步骤二:多表分析与主题分析 以下以TPC-H标准查询为例,演示在GaussDB(DWS) 中进行的基本数据查询。 在进行数据查询之前,请先执行“Analyze”命令生成与数据库表相关的统计信息。统计信息存储在系统表PG_STATIST
combined_pct text xlog总大小占比。 该函数只统计DN节点最近一次启动以来,不同类型的xlog数量与大小。 该函数统计的xlog的大小未考虑到其写盘时的对齐问题,与实际xlog段文件大小存在部分误差。 1 2 3 4 5 6 7 8 9
据表中。创建外表时不校验该正确性。 security_token 对应统一身份认证服务IAM中临时安全凭证的SecurityToken值,与临时AK、SK共同组成临时安全凭证,临时安全凭证有效期不超过24小时。该参数仅8.2.0及以上集群版本支持。 该参数仅8.2.0及以上集群版本支持。
推荐不可见字符作为quote,例如0x07,0x08,0x1b等。 escape CSV格式下,用来指定逃逸字符,逃逸字符只能指定为单字节字符。 缺省值为双引号。当与quote值相同时,会被替换为'\0'。 null 用来指定数据文件中空值的表示方式。 null的值不能是\r和\n,最大为100个字符。
集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<Secret_Access_Key>替换为实际值,在准备工作获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 创建外表如果提示“ERROR: schema
nice值为负进程的CPU时间%。 sys Float 内核态时间%。 iowait Float io等待时间%。 irq Float 硬中断时间%。 soft Float 软中断时间%。 steal Float 虚拟机管理器在服务另一个虚拟处理器时虚拟CPU处在非自愿等待下花费时间%。 guest