检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据集,已将数据集上传到了OBS桶的tpch文件夹中,并且已赋予所有华为云用户该OBS桶的只读访问权限,用户可以方便地进行导入。 操作流程 本实践预计时长60分钟,基本流程如下: 准备工作 步骤一:导入公司样例数据 步骤二:多表分析与主题分析 支持区域 当前已上传OBS数据的区域如表1所示。
QUET、CARBONDATA以及JSON格式的数据导入到集群进行查询。 使用GDS从远端服务器导入数据 本教程旨在演示使用GDS(General Data Service)工具将远端服务器上的数据导入GaussDB(DWS)中的办法,帮助您学习如何通过GDS进行数据导入的方法。
C开发、性能调优等场景。 表1 实验列表 场景 实验名称 实验描述 预计时长 导入分析 快速入门 一键式创建GaussDB(DWS)集群,上传csv本地数据到云存储OBS桶,通过创建OBS外表实现数据导入并简单分析。 1h 零售业经营多维度分析 环境已预置样例数据在OBS桶,通过
请参见运行环境。 执行以下步骤验证Java安装版本并设置Java路径。 验证Java安装是否符合要求。 java -version 验证java路径是否设置,如果不正确请按照步骤重新设置。 Linux 验证Java路径是否设置。 echo $JAVA_HOME 如果命令返回为空,请编辑当前用户的
TPC-DS数据生成 登录ECS云服务器,执行如下命令创建TPC-DS存放目录。 mkdir -p /data1/script/tpcds-kit/tpcds1000X mkdir -p /data2/script/tpcds-kit/tpcds1000X 从官网获取TPC-DS
0,同时其他开销参数以它为基准设置。也可以使用其他基准,比如以毫秒计的实际执行时间。 seq_page_cost 参数说明:设置优化器计算一次顺序磁盘页面抓取的开销。 参数类型:USERSET 取值范围:浮点型,0~10000。 默认值:1 random_page_cost 参数说明:设置优化器计算一次非顺序抓取磁盘页面的开销。
default_statistics_target 参数说明:为没有用ALTER TABLE SET STATISTICS设置字段目标的表设置缺省统计目标。此参数设置为正数是代表统计信息的样本数量,为负数时,代表使用百分比的形式设置统计目标,负数转换为对应的百分比,即-5代表5%。采样时,会将default_statistics_target
GDS实践指南 安装GDS前必须确认GDS所在服务器环境的系统参数是否和数据库集群的系统参数一致。 GDS与GaussDB(DWS)通信要求物理网络畅通,尽量使用万兆网。因为千兆网无法承载高速的数据传输压力,极易出现断连,使用千兆网时GaussDB(DWS)无法提供通信保障。满足
据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory max_process_memory设置单个CN/DN可用的最大物理内存。
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory max_process_memory设置单个CN/DN可用的最大物理内存。
0,同时其他开销参数以它为基准设置。也可以使用其他基准,比如以毫秒计的实际执行时间。 seq_page_cost 参数说明:设置优化器计算一次顺序磁盘页面抓取的开销。 参数类型:USERSET 取值范围:浮点型,0~DBL_MAX。 默认值:1 random_page_cost 参数说明:设置优化器计算一次非顺序抓取磁盘页面的开销。
DB(DWS)数据库中的数据。 pgcrypto函数在数据库服务器内部运行,这意味着所有数据和密码都以明文形式在pgcrypto和客户端应用程序之间传输。为了获得最佳安全性,建议在客户端和GaussDB(DWS)服务器之间使用SSL连接。 有关pgcrypto模块中各个函数的详细信息如下:
改,更改的方式是设置与区域分类同名的服务器配置参数。被initdb选中的值实际上只是被写入到配置文件postgresql.conf中作为服务器启动时的默认值。如果你将这些赋值从postgresql.conf中除去,那么服务器将会从其执行环境中继承该设置。 区域设置特别影响下面的SQL特性:
单击“下一步”,单击“确定”。队列创建成功。 上传源数据到OBS桶。 已创建OBS桶,桶名自定义,例如dli-obs01(如果桶名已被占用,可设为dli-obs02,依次叠加),区域选择华北-北京四。 下载数据样例文件。 在OBS桶中,新建文件夹dli_order,并将下载好的数据文件上传到dli_order目录下。
TPC-DS数据构建 登录ECS云服务器,执行如下命令创建TPC-DS存放目录。 1 2 mkdir -p /data1/script/tpcds-kit/tpcds1000X mkdir -p /data2/script/tpcds-kit/tpcds1000X 从官网获取T
GaussDB(DWS) 已预先将样例数据上传到OBS桶的“retail-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。 操作流程 本实践预计时长60分钟,基本流程如下: 准备工作 步骤一:导入零售业百货公司样例数据 步骤二:经营状况分析 支持区域 当前已上传OBS数据的区域如表1所示。
方法进行合理的设计部署,最大化的使用系统资源,以提高数据导入性能。 OBS的数据导入性能,多数场景受限于网络的并发访问速率,因此在OBS服务器上最好部署多个桶,使用多桶并发导入,提高DN数据传输利用率。 并发导入场景,与单表导入相似,至少应保证I/O性能大于网络最大速率。 配置G
事务ID和快照 以下的函数在输出形式中提供服务器事务信息。这些函数的主要用途是为了确定在两个快照之间有哪个事务提交。 pgxc_is_committed(transaction_id) 描述:如果提交或忽略给定的XID(gxid)。NULL表示的状态是未知的(运行,准备,冻结等)。
事务ID和快照 以下的函数在输出形式中提供服务器事务信息。这些函数的主要用途是为了确定在两个快照之间有哪个事务提交。 pgxc_is_committed(transaction_id) 描述:如果提交或忽略给定的XID(gxid)。NULL表示的状态是未知的(运行,准备,冻结等)。