华为云用户手册

支持区域 当前已上传OBS数据的区域如表1所示。 表1 区域和OBS桶名 区域 OBS桶名 华北-北京一 dws-demo-cn-north-1 华北-北京二 dws-demo-cn-north-2 华北-北京四 dws-demo-cn-north-4 华北-乌兰察布一 dws-demo-cn-north-9 华东-上海一 dws-demo-cn-east-3 华东-上海二 dws-demo-cn-east-2 华南-广州 dws-demo-cn-south-1 华南-广州友好 dws-demo-cn-south-4 中国-香港 dws-demo-ap-southeast-1 亚太-新加坡 dws-demo-ap-southeast-3 亚太-曼谷 dws-demo-ap-southeast-2 拉美-圣地亚哥 dws-demo-la-south-2 非洲-约翰内斯堡 dws-demo-af-south-1 拉美-墨西哥城一 dws-demo-na-mexico-1 拉美-墨西哥城二 dws-demo-la-north-2 莫斯科二 dws-demo-ru-northwest-2 拉美-圣保罗一 dws-demo-sa-brazil-1

创建外表 使用SQL客户端工具连接 GaussDB (DWS)数据库。 创建如下外表： LOCATION：请替换成实际的GDS地址和端口。 1 2 3 4 5 6 7 8 910111213141516171819202122232425262728 DROP FOREIGN TABLE IF EXISTS product_info_ext;CREATE FOREIGN TABLE product_info_ext( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS(LOCATION 'gsfs://192.168.0.90:5000/*',FORMAT ' CS V' ,DELIMITER ',',ENCODING 'utf8',HEADER 'false',FILL_MISSING_FIELDS 'true',IGNORE_EXTRA_DATA 'true')READ ONLY LOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited'; 返回如下信息表示创建成功： 1 CREATE FOREIGN TABLE

导入数据 使用如下语句在GaussDB(DWS)中创建目标表product_info，用于存储导入的数据。 1 2 3 4 5 6 7 8 91011121314151617181920 DROP TABLE IF EXISTS product_info;CREATE TABLE product_info( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH (orientation = column,compression=middle) DISTRIBUTE BY hash (product_id); 将数据源文件中的数据通过外表“product_info_ext”导入到表“product_info”中。 1 INSERT INTO product_info SELECT * FROM product_info_ext ; 返回如下信息，表示数据导入成功。 1 INSERT 0 20 执行SELECT命令查询目标表product_info，查看导入到GaussDB(DWS)中的数据。 1 SELECT count(*) FROM product_info; 查询结果显示结果如下，表示导入成功。 1234 count ------- 20(1 row) 对表product_info执行VACUUM FULL。 1 VACUUM FULL product_info 更新表product_info的统计信息。 1 ANALYZE product_info;

停止GDS 以gds_user用户登录安装GDS的数据服务器。 使用以下方式停止GDS。 执行如下命令，查询GDS进程号。其中，GDS进程号为128954。 ps -ef|grep gdsgds_user 128954 1 0 15:03 ? 00:00:00 gds -d /input_data/ -p 192.168.0.90:5000 -l /opt/bin/gds/gds_log.txt -Dgds_user 129003 118723 0 15:04 pts/0 00:00:00 grep gds 使用“kill”命令，停止GDS。其中，128954为上一步骤中查询出的GDS进程号。 kill -9 128954

教程指引 本教程旨在演示使用GDS（General Data Service）工具将远端服务器上的数据导入GaussDB(DWS)中的过程，帮助您学习如何通过GDS进行数据导入的方法。 GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 在本教程中，您将： 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表，用于对接GDS和GaussDB(DWS)，将数据服务器上的数据导入到GaussDB(DWS)集群中。 启动GaussDB(DWS)并创建数据库表后，将数据导入到表中。 根据错误表中的提示诊断加载错误并更正这些错误。

安装并启动GDS 以root用户登录GDS服务器，创建存放GDS工具包的目录/opt/bin/dws。 1 mkdir -p /opt/bin/dws 将GDS工具包上传至上一步所创建的目录中。 以上传redhat版本的工具包为例 ，将GDS工具包“dws_client_8.1.x_redhat_x64.zip”上传至上一步所创建的目录中。 在工具包所在目录下，解压工具包。 12 cd /opt/bin/dwsunzip dws_client_8.1.x_redhat_x64.zip 创建用户gds_user及其所属的用户组gdsgrp。此用户用于启动GDS，且需要拥有读取数据源文件目录的权限。 12 groupadd gdsgrpuseradd -g gdsgrp gds_user 修改工具包以及数据源文件目录属主为创建的用户gds_user及其所属的用户组gdsgrp。 12 chown -R gds_user:gdsgrp /opt/bin/dws/gdschown -R gds_user:gdsgrp /input_data 切换到gds_user用户。 1 su - gds_user 若当前集群版本为8.0.x及之前低版本，请跳过7，直接执行8。 若当前集群版本为8.1.x及以上版本，则正常执行以下步骤。 执行环境依赖脚本。（仅8.1.x版本适用） 12 cd /opt/bin/dws/gds/binsource gds_env 启动GDS。 1 /opt/bin/dws/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 10.10.0.1/24 -l /opt/bin/dws/gds/gds_log.txt -D 命令中的部分信息请根据实际填写。 -d dir：保存有待导入数据的数据文件所在目录。本教程中为“/input_data/”。 -p ip:port：GDS监听IP和监听端口。默认值为：127.0.0.1，需要替换为能跟GaussDB(DWS)通信的万兆网IP。监听端口的取值范围：1024~65535。默认值为：8098。本教程配置为：192.168.0.90:5000。 -H address_string：允许哪些主机连接和使用GDS服务。参数需为CIDR格式。此参数配置的目的是允许GaussDB(DWS)集群可以访问GDS服务进行数据导入。所以请保证所配置的网段包含GaussDB(DWS)集群各主机。 -l log_file：存放GDS的日志文件路径及文件名。本教程为“/opt/bin/dws/gds/gds_log.txt”。 -D：后台运行GDS。仅支持Linux操作系统下使用。

使用GIN索引全文检索 当使用GIN索引进行全文搜索时，可以使用tsvector和tsquery数据类型以及相关的函数来实现。 要构建一个tsquery对象，需要使用to_tsquery函数，并提供搜索条件和相应的文本搜索配置（在本例中为english）。还可以使用其他文本搜索函数和操作符来进行更复杂的全文搜索查询，例如plainto_tsquery、ts_rank等。具体的用法取决于实际的需求。 创建articles表，其中列content存储了文章的内容。 1 CREATE TABLE articles (id SERIAL PRIMARY KEY,title VARCHAR(100),content TEXT); 插入数据。 12345 INSERT INTO articles (title, content) VALUES ('Article 1', 'This is the content of article 1.'), ('Article 2', 'Here is the content for article 2.'), ('Article 3', 'This article discusses various topics.'), ('Article 4', 'The content of the fourth article is different.'); 为content列创建一个辅助列tsvector，该列将存储已处理的文本索引。 1 ALTER TABLE articles ADD COLUMN content_vector tsvector; 更新content_vector列的值，将content列的文本转换为tsvector类型。 1 UPDATE articles SET content_vector = to_tsvector('english', content); 创建GIN索引。 1 CREATE INDEX idx_articles_content_gin ON articles USING GIN (content_vector); 执行全文搜索查询，使用tsquery类型来指定搜索条件。例如，查找包含单词“content”的文章： 1 SELECT * FROM articles WHERE content_vector @@ to_tsquery('english', 'content');

创建外部服务器 使用Data Studio连接已创建好的DWS集群。 新建一个具有创建数据库权限的用户dbuser： 1 CREATE USER dbuser WITH CREATEDB PASSWORD 'password'; 切换为新建的dbuser用户： 1 SET ROLE dbuser PASSWORD 'password'; 创建新的mydatabase数据库： 1 CREATE DATABASE mydatabase; 执行以下步骤切换为连接新建的mydatabase数据库。 在Data Studio客户端的“对象浏览器”窗口，右键单击数据库连接名称，在弹出菜单中单击“刷新”，刷新后就可以看到新建的数据库。 右键单击“mydatabase”数据库名称，在弹出菜单中单击“打开连接”。 右键单击“mydatabase”数据库名称，在弹出菜单中单击“打开新的终端”，即可打开连接到指定数据库的SQL命令窗口，后面的步骤，请全部在该命令窗口中执行。 为dbuser用户授予创建外部服务器的权限，8.1.1及以后版本，还需要授予使用public模式的权限： 12 GRANT ALL ON FOREIGN DATA WRAPPER hdfs_fdw TO dbuser;GRANT ALL ON SCHEMA public TO dbuser; //8.1.1及以后版本，普通用户对public模式无权限，需要赋权，8.1.1之前版本不需要执行。 其中FOREIGN DATA WRAPPER的名字只能是hdfs_fdw，dbuser为创建SERVER的用户名。 执行以下命令赋予用户使用外表的权限。 1 ALTER USER dbuser USEFT; 切换回Postgres系统数据库，查询创建 MRS 数据源后系统自动创建的外部服务器。 1 SELECT * FROM pg_foreign_server; 返回结果如： 123456 srvname | srvowner | srvfdw | srvtype | srvversion | srvacl | srvoptions--------------------------------------------------+----------+--------+---------+------------+--------+--------------------------------------------------------------------------------------------------------------------- gsmpp_server | 10 | 13673 | | | | gsmpp_errorinfo_server | 10 | 13678 | | | | hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca | 16476 | 13685 | | | | {"address=192.168.1.245:9820,192.168.1.218:9820",hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs}(3 rows) 切换到mydatabase数据库，并切换到dbuser用户。 1 SET ROLE dbuser PASSWORD 'password'; 创建外部服务器。 SERVER名字、地址、配置路径保持与8一致即可。 1234567 CREATE SERVER hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca FOREIGN DATA WRAPPER HDFS_FDW OPTIONS (address '192.168.1.245:9820,192.168.1.218:9820', //MRS管理面的Master主备节点的内网IP，可与DWS通讯。hdfscfgpath '/MRS/8f79ada0-d998-4026-9020-80d6de2692ca',type 'hdfs'); 查看外部服务器。 1 SELECT * FROM pg_foreign_server WHERE srvname='hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca'; 返回结果如下所示，表示已经创建成功： 1234 srvname | srvowner | srvfdw | srvtype | srvversion | srvacl | srvoptions--------------------------------------------------+----------+--------+---------+------------+--------+--------------------------------------------------------------------------------------------------------------------- hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca | 16476 | 13685 | | | | {"address=192.168.1.245:9820,192.168.1.218:9820",hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs}(1 row)

执行数据导入 创建本地目标表。 1 2 3 4 5 6 7 8 91011121314151617181920 DROP TABLE IF EXISTS product_info;CREATE TABLE product_info( product_price integer , product_id char(30) , product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) with (orientation = column,compression=middle) DISTRIBUTE BY HASH (product_id); 从外表导入目标表。 1 INSERT INTO product_info SELECT * FROM foreign_product_info; 查询导入结果。 1 SELECT * FROM product_info;

支持区域 当前已上传OBS数据的区域如表1所示。 表1 区域和OBS桶名 区域 OBS桶名 华北-北京一 dws-demo-cn-north-1 华北-北京二 dws-demo-cn-north-2 华北-北京四 dws-demo-cn-north-4 华北-乌兰察布一 dws-demo-cn-north-9 华东-上海一 dws-demo-cn-east-3 华东-上海二 dws-demo-cn-east-2 华南-广州 dws-demo-cn-south-1 华南-广州友好 dws-demo-cn-south-4 中国-香港 dws-demo-ap-southeast-1 亚太-新加坡 dws-demo-ap-southeast-3 亚太-曼谷 dws-demo-ap-southeast-2 拉美-圣地亚哥 dws-demo-la-south-2 非洲-约翰内斯堡 dws-demo-af-south-1 拉美-墨西哥城一 dws-demo-na-mexico-1 拉美-墨西哥城二 dws-demo-la-north-2 莫斯科二 dws-demo-ru-northwest-2 拉美-圣保罗一 dws-demo-sa-brazil-1

零售业百货公司样例简介 本实践将演示以下场景：从OBS加载各个零售商场每日经营的业务数据到 数据仓库 对应的表中，然后对商铺营业额、客流信息、月度销售排行、月度客流转化率、月度租售比、销售坪效等KPI信息进行汇总和查询。本示例旨在展示在零售业场景中GaussDB(DWS) 数据仓库的多维度查询分析的能力。 GaussDB(DWS) 已预先将样例数据上传到OBS桶的“retail-data”文件夹中，并给所有华为云用户赋予了该OBS桶的只读访问权限。

通过外表导入远端DWS数据 参见7在ECS上连接第二套集群，其中连接地址改为第二套集群的地址，本例为192.168.0.86。 创建普通用户jim，并赋予创建外表和server的权限。FOREIGN DATA WRAPPER固定为gc_fdw。 123 CREATE USER jim WITH PASSWORD 'password';ALTER USER jim USEFT;GRANT ALL ON FOREIGN DATA WRAPPER gc_fdw TO jim; 切换到jim用户，创建server。 1234567 SET ROLE jim PASSWORD 'password';CREATE SERVER server_remote FOREIGN DATA WRAPPER gc_fdw OPTIONS (address '192.168.0.8:8000,192.168.0.158:8000' , dbname 'gaussdb', username 'leo', password 'password' ); address：第一套集群的两个内网IP和端口，参见6获取，本例为192.168.0.8:8000,192.168.0.158:8000。 dbname：连接的第一套集群的数据库名，本例为gaussdb。 username：连接的第一套集群的用户名，本例为leo。 password：用户名密码。 创建外表。 外表的字段和约束，必须与待访问表的字段和约束保持一致。 1 2 3 4 5 6 7 8 910111213141516171819202122 CREATE FOREIGN TABLE region ( product_price integer , product_id char(30) , product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER server_remote OPTIONS ( schema_name 'leo', table_name 'product_info', encoding 'utf8' ); SERVER：上一步创建的server的名称，本例为server_remote。 schema_name：待访问的第一套集群的schema名称，本例为leo。 table_name：待访问的第一套集群的表名，参见10获取，本例为product_info。 encoding：保持与第一套集群的数据库编码一致，参见9获取，本例为utf8。 查看创建的server和外表。 12 \des+ server_remote\d+ region 创建本地表。 表的字段和约束，必须与待访问表的字段和约束保持一致。 1 2 3 4 5 6 7 8 91011121314151617181920 CREATE TABLE local_region ( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH (orientation = column,compression=middle) DISTRIBUTE BY hash (product_id); 通过外表导入数据到本地表。 12 INSERT INTO local_region SELECT * FROM region;SELECT * FROM local_region; 您也可以直接查询外表而无需将数据导入。 1 SELECT * FROM region;

使用GDS导入数据源 使用root账户登录ECS，使用文件传输工具将7下载好的工具包上传到/opt目录下。 在/opt目录下解压工具包。 cd /opt unzip dws_client_8.1.x_redhat_x64.zip 创建GDS用户，并修改数据源目录和GDS目录的属主。 groupadd gdsgrp useradd -g gdsgrp gds_user chown -R gds_user:gdsgrp /opt/gds chown -R gds_user:gdsgrp /input_data 切换到gds_user用户。 su - gds_user 导入GDS环境变量。 仅8.1.x及以上版本需要执行，低版本请跳过。 cd /opt/gds/bin source gds_env 启动GDS。 /opt/gds/bin/gds -d /input_data/ -p 192.168.0.90:5000 -H 192.168.0.0/24 -l /opt/gds/gds_log.txt -D -d dir：保存有待导入数据的数据文件所在目录。本教程中为“/input_data/”。 -p ip:port：GDS监听IP和监听端口。配置为GDS所在的ECS的内网IP，可与DWS通讯，本例为192.168.0.90:5000。 -H address_string：允许哪些主机连接和使用GDS服务。参数需为CIDR格式。本例设置为DWS的内网IP所在的网段即可。 -l log_file：存放GDS的日志文件路径及文件名。本教程为“/opt/gds/gds_log.txt”。 -D：后台运行GDS。 使用gsql连接第一套DWS集群。 执行exit切换root用户，进入ECS的/opt目录，导入gsql的环境变量。 exit cd /opt source gsql_env.sh 进入/opt/bin目录，使用gsql连接第一套DWS集群。 cd /opt/bin gsql -d gaussdb -h 192.168.0.8 -p 8000 -U dbadmin -W password -r -d: 连接的数据库名，本例为默认数据库gaussdb。 -h：连接的DWS内网IP，即6查询到的内网IP，本例为192.168.0.8。 -p：DWS端口，固定为8000。 -U：数据库管理员用户，默认为dbadmin。 -W：管理员用户的密码，为3创建集群时设置的密码，本例password为用户创建集群设置的密码。 创建普通用户leo，并赋予创建外表的权限。 12 CREATE USER leo WITH PASSWORD 'password';ALTER USER leo USEFT; 切换到leo用户，创建GDS外表。 以下LOCATION参数请填写为6的GDS的监听IP和端口，后面加上/*，例如：gsfs://192.168.0.90:5000/* 1 2 3 4 5 6 7 8 91011121314151617181920212223242526272829 SET ROLE leo PASSWORD 'password';DROP FOREIGN TABLE IF EXISTS product_info_ext;CREATE FOREIGN TABLE product_info_ext( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER gsmpp_server OPTIONS(LOCATION 'gsfs://192.168.0.90:5000/*',FORMAT 'CSV' ,DELIMITER ',',ENCODING 'utf8',HEADER 'false',FILL_MISSING_FIELDS 'true',IGNORE_EXTRA_DATA 'true')READ ONLYLOG INTO product_info_err PER NODE REJECT LIMIT 'unlimited'; 创建本地表。 1 2 3 4 5 6 7 8 91011121314151617181920 DROP TABLE IF EXISTS product_info;CREATE TABLE product_info( product_price integer not null, product_id char(30) not null, product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) WITH (orientation = column,compression=middle) DISTRIBUTE BY hash (product_id); 从GDS外表导入数据并查询，数据导入成功。 12 INSERT INTO product_info SELECT * FROM product_info_ext ;SELECT count(*) FROM product_info;

准备源数据 在本地PC指定目录下，创建以下3个.csv格式的文件，数据样例如下。 数据文件“product_info0.csv” 12345 100,XHDK-A,2017-09-01,A,2017 Shirt Women,red,M,328,2017-09-04,715,good!205,KDKE-B,2017-09-01,A,2017 T-shirt Women,pink,L,584,2017-09-05,40,very good!300,JODL-X,2017-09-01,A,2017 T-shirt men,red,XL,15,2017-09-03,502,Bad.310,QQPX-R,2017-09-02,B,2017 jacket women,red,L,411,2017-09-05,436,It's nice.150,ABEF-C,2017-09-03,B,2017 Jeans Women,blue,M,123,2017-09-06,120,good. 数据文件“product_info1.csv” 12345 200,BCQP-E,2017-09-04,B,2017 casual pants men,black,L,997,2017-09-10,301,good quality.250,EABE-D,2017-09-10,A,2017 dress women,black,S,841,2017-09-15,299,This dress fits well.108,CDXK-F,2017-09-11,A,2017 dress women,red,M,85,2017-09-14,22,It's really amazing to buy.450,MMCE-H,2017-09-11,A,2017 jacket women,white,M,114,2017-09-14,22,very good.260,OCDA-G,2017-09-12,B,2017 woolen coat women,red,L,2004,2017-09-15,826,Very comfortable. 数据文件“product_info2.csv” 1 2 3 4 5 6 7 8 910 980,"ZKDS-J",2017-09-13,"B","2017 Women's Cotton Clothing","red","M",112,,,98,"FKQB-I",2017-09-15,"B","2017 new shoes men","red","M",4345,2017-09-18,547350,"DMQY-K",2017-09-21,"A","2017 pants men","red","37",28,2017-09-25,58,"good","good","good"80,"GKLW-l",2017-09-22,"A","2017 Jeans Men","red","39",58,2017-09-25,72,"Very comfortable."30,"HWEC-L",2017-09-23,"A","2017 shoes women","red","M",403,2017-09-26,607,"good!"40,"IQPD-M",2017-09-24,"B","2017 new pants Women","red","M",35,2017-09-27,52,"very good."50,"LPEC-N",2017-09-25,"B","2017 dress Women","red","M",29,2017-09-28,47,"not good at all."60,"NQAB-O",2017-09-26,"B","2017 jacket women","red","S",69,2017-09-29,70,"It's beautiful."70,"HWNB-P",2017-09-27,"B","2017 jacket women","red","L",30,2017-09-30,55,"I like it so much"80,"JKHU-Q",2017-09-29,"C","2017 T-shirt","red","M",90,2017-10-02,82,"very good." 使用root账户登录已创建好的ECS，执行以下命令创建数据源文件目录。 mkdir -p /input_data 使用文件传输工具，将以上数据文档上传到ECS的/input_data目录下。

使用方法 设置参数（表倾斜告警阈值table_skewness_warning_threshold和表倾斜告警最小行数table_skewness_warning_rows）。 表倾斜告警阈值取值范围0~1，默认值为1，即关闭状态，取其他值时为开启状态。 表倾斜告警最小行数取值范围0~2147483647，默认值为100,000。当导入总行数超过该值与导入DN数之积时，才可能触发告警，从而不会在小数据量导入的场景进行无意义的告警。 1234 show table_skewness_warning_threshold;set table_skewness_warning_threshold = xxx;show table_skewness_warning_rows;set table_skewness_warning_rows = xxx; 使用INSERT或者COPY导入。 发现并处理告警，告警信息包括表名、最小行数、最大行数、总行数、平均行数、倾斜率，以及提示信息（检查数据分布或者修改参数）。 WARNING: Skewness occurs, table name: xxx, min value: xxx, max value: xxx, sum value: xxx, avg value: xxx, skew ratio: xxxHINT: Please check data distribution or modify warning threshold

选择分布列 当表的分布方式选择了Hash分布策略时，分布列选取至关重要。在这一步中，建议按照选择分布列选择分布键： 选择各表的主键作为Hash表分布键。 表名 记录数 分布方式 分布键 Store_Sales 287997024 Hash ss_item_sk Date_Dim 73049 Replication - Store 402 Replication - Item 204000 Replication - Time_Dim 86400 Replication - Promotion 1000 Replication - Customer_Demographics 1920800 Hash cd_demo_sk Customer_Address 1000000 Hash ca_address_sk Household_Demographics 7200 Replication - Customer 1981703 Hash c_customer_sk Income_Band 20 Replication -

选择分布方式 依据步骤2：测试初始表结构下的系统性能并建立基线中所基线的各表大小，分布方式设置如下： 表名 行数 分布方式 Store_Sales 287997024 Hash Date_Dim 73049 Replication Store 402 Replication Item 204000 Replication Time_Dim 86400 Replication Promotion 1000 Replication Customer_Demographics 1920800 Hash Customer_Address 1000000 Hash Household_Demographics 7200 Replication Customer 1981703 Hash Income_Band 20 Replication

场景一：磁盘满后快速定位存储倾斜的表 首先，通过pg_stat_get_last_data_changed_time(oid)函数查询出近期发生过数据变更的表，介于表的最后修改时间只在进行IUD操作的CN记录，要查询库内1天（间隔可在函数中调整）内被修改的所有表，可以使用如下封装函数： CREATE OR REPLACE FUNCTION get_last_changed_table(OUT schemaname text, OUT relname text)RETURNS setof recordAS $$DECLARErow_data record;row_name record;query_str text;query_str_nodes text;BEGINquery_str_nodes := 'SELECT node_name FROM pgxc_node where node_type = ''C''';FOR row_name IN EXECUTE(query_str_nodes) LOOPquery_str := 'EXECUTE DIRECT ON (' || row_name.node_name || ') ''SELECT b.nspname,a.relname FROM pg_class a INNER JOIN pg_namespace b on a.relnamespace = b.oid where pg_stat_get_last_data_changed_time(a.oid) BETWEEN current_timestamp - 1 AND current_timestamp;''';FOR row_data IN EXECUTE(query_str) LOOPschemaname = row_data.nspname;relname = row_data.relname;return next;END LOOP;END LOOP;return;END; $$LANGUAGE plpgsql; 然后，通过table_distribution(schemaname text, tablename text)查询出表在各个DN占用的存储空间。 1 SELECT table_distribution(schemaname,relname) FROM get_last_changed_table();

场景二：常规数据倾斜巡检 在库中表个数少于1W的场景，直接使用倾斜视图查询当前数据库内所有表的数据倾斜情况。 1 SELECT * FROM pgxc_get_table_skewness ORDER BY totalsize DESC; 在库中表个数非常多（至少大于1W）的场景，因PGXC_GET_TABLE_SKEWNESS涉及全库查并计算非常全面的倾斜字段，所以可能会花费比较长的时间（小时级），建议参考PGXC_GET_TABLE_SKEWNESS视图定义，直接使用table_distribution()函数自定义输出，减少输出列进行计算优化，例如： 123456 SELECT schemaname,tablename,max(dnsize) AS maxsize, min(dnsize) AS minsize FROM pg_catalog.pg_class c INNER JOIN pg_catalog.pg_namespace n ON n.oid = c.relnamespace INNER JOIN pg_catalog.table_distribution() s ON s.schemaname = n.nspname AND s.tablename = c.relname INNER JOIN pg_catalog.pgxc_class x ON c.oid = x.pcrelid AND x.pclocatortype = 'H' GROUP BY schemaname,tablename;

场景三：查询某个表的数据倾斜情况 执行以下SQL查询某个表的数据倾斜情况，其中table_name替换为实际的表名。 1 SELECT a.count,b.node_name FROM (SELECT count(*) AS count,xc_node_id FROM table_name GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count desc; 返回如下类似信息。若各DN上数据分布差小于10%，表明数据分布均衡。若大于10%，则表示数据出现倾斜。 1 2 3 4 5 6 7 8 9101112 SELECT a.count,b.node_name FROM (select count(*) as count,xc_node_id FROM staffs GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count desc;count | node_name------+-----------11010 | datanode410000 | datanode312001 | datanode2 8995 | datanode110000 | datanode5 7999 | datanode6 9995 | datanode710000 | datanode8(8 rows)

用户资源查询 查询所有用户的资源限额和资源使用情况。 1 SELECT * FROM PG_TOTAL_USER_RESOURCE_INFO; 例如，当前所有用户的资源使用情况如下： 1234567 username | used_memory | total_memory | used_cpu | total_cpu | used_space | total_space | used_temp_space | total_temp_space | used_spill_space | total_spill_space | read_kbytes | write_kbytes | read_counts | write_counts | read_speed | write_speed----------+-------------+--------------+----------+-----------+------------+-------------+-----------------+------------------+------------------+-------------------+-------------+--------------+-------------+--------------+------------+-------------perfadm | 0 | 17250 | 0 | 0 | 0 | -1 | 0 | -1 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 usern | 0 | 17250 | 0 | 48 | 0 | -1 | 0 | -1 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 userg | 34 | 15525 | 23.53 | 48 | 0 | -1 | 0 | -1 | 814955731 | -1 | 6111952 | 1145864 | 763994 | 143233 | 42678 | 8001 userg1 | 34 | 13972 | 23.53 | 48 | 0 | -1 | 0 | -1 | 814972419 | -1 | 6111952 | 1145864 | 763994 | 143233 | 42710 | 8007 (4 rows) 查询具体某个用户的资源限额和资源使用情况。 1 SELECT * FROM GS_WLM_USER_RESOURCE_INFO('username'); 例如，查询Tom的资源使用情况： 12345 SELECT * FROM GS_WLM_USER_RESOURCE_INFO('Tom');userid | used_memory | total_memory | used_cpu | total_cpu | used_space | total_space | used_temp_space | total_temp_space | used_spill_space | total_spill_space | read_kbytes | write_kbytes | read_counts | write_counts | read_speed | write_speed-------+-------------+--------------+----------+-----------+------------+-------------+-----------------+------------------+------------------+-------------------+-------------+--------------+-------------+--------------+------------+------------- 16523 | 18 | 2831 | 0 | 19 | 0 | -1 | 0 | -1 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0(1 row) 查询具体某个用户的IO资源使用情况。 1 SELECT * FROM pg_user_iostat('username'); 例如，查询Tom的IO资源使用情况： 12345 SELECT * FROM pg_user_iostat('Tom');userid | min_curr_iops | max_curr_iops | min_peak_iops | max_peak_iops | io_limits | io_priority-------+---------------+---------------+---------------+---------------+-----------+------------- 16523 | 0 | 0 | 0 | 0 | 0 | None(1 row)

用户信息查询 涉及用户、角色及权限相关的系统视图有ALL_USERS、PG_USER和PG_ROLES，系统表有PG_AUTHID和PG_AUTH_MEMBERS。 ALL_USERS视图存储记录数据库中所有用户，但不对用户信息进行详细的描述。 PG_USER视图存储用户信息，包含用户ID，是否可以创建数据库以及用户所在资源池等信息。 PG_ROLES视图存储数据库角色的相关信息。 PG_AUTHID系统表存储有关数据库认证标识符（角色）的信息，包含角色是否可以登录，创建数据库等信息。 PG_AUTH_MEMBERS存储角色的成员关系，即某个角色组包含了哪些其他角色。 通过PG_USER可以查看数据库中所有用户的列表，还可以查看用户ID（USESYSID）和用户权限。 1 2 3 4 5 6 7 8 9101112 SELECT * FROM pg_user; usename | usesysid | usecreatedb | usesuper | usecatupd | userepl | passwd | valbegin | valuntil | respool | parent | spacelimit | useconfig | nodegroup | tempspacelimit | spillspacelimit---------+----------+-------------+----------+-----------+---------+----------+----------+----------+--------------+--------+------------+-----------+-----------+----------------+----------------- Ruby | 10 | t | t | t | t | ******** | | | default_pool | 0 | | | | | kim | 21661 | f | f | f | f | ******** | | | default_pool | 0 | | | | | u3 | 22662 | f | f | f | f | ******** | | | default_pool | 0 | | | | | u1 | 22666 | f | f | f | f | ******** | | | default_pool | 0 | | | | | dbadmin | 16396 | f | f | f | f | ******** | | | default_pool | 0 | | | | | u5 | 58421 | f | f | f | f | ******** | | | default_pool | 0 | | | | |(6 rows) ALL_USERS视图存储记录数据库中所有用户，但不对用户信息进行详细的描述。 1 2 3 4 5 6 7 8 9101112 SELECT * FROM all_users; username | user_id----------+--------- Ruby | 10 manager | 21649 kim | 21661 u3 | 22662 u1 | 22666 u2 | 22802 dbadmin | 16396 u5 | 58421(8 rows) 系统表PG_ROLES存储访问数据库角色的相关信息。 1 2 3 4 5 6 7 8 910111213141516171819202122 SELECT * FROM pg_roles; rolname | rolsuper | rolinherit | rolcreaterole | rolcreatedb | rolcatupdate | rolcanlogin | rolreplication | rolauditadmin | rolsystemadmin | rolconnlimit | rolpassword | rolvalidbegin | rolvaliduntil | rolrespool | rolparentid | roltabspace | rolconfig | oid | roluseft | rolkind | nodegroup | roltempspace | rolspillspace---------+----------+------------+---------------+-------------+--------------+-------------+----------------+---------------+----------------+--------------+-------------+---------------+---------------+--------------+-------------+-------------+-----------+-------+----------+---------+-----------+--------------+--------------- Ruby | t | t | t | t | t | t | t | t | t | -1 | ******** | | | default_pool | 0 | | | 10 | t | n | | | manager | f | t | f | f | f | f | f | f | f | -1 | ******** | | | default_pool | 0 | | | 21649 | f | n | | | kim | f | t | f | f | f | t | f | f | f | -1 | ******** | | | default_pool | 0 | | | 21661 | f | n | | | u3 | f | t | f | f | f | t | f | f | f | -1 | ******** | | | default_pool | 0 | | | 22662 | f | n | | | u1 | f | t | f | f | f | t | f | f | f | -1 | ******** | | | default_pool | 0 | | | 22666 | f | n | | | u2 | f | t | f | f | f | f | f | f | f | -1 | ******** | | | default_pool | 0 | | | 22802 | f | n | | | dbadmin | f | t | f | f | f | t | f | f | t | -1 | ******** | | | default_pool | 0 | | | 16396 | f | n | | | u5 | f | t | f | f | f | t | f | f | f | -1 | ******** | | | default_pool | 0 | | | 58421 | f | n | | |(8 rows) 要查看用户属性，可查询系统表PG_AUTHID，它存储有关数据库认证标识符（角色）的信息。一个集群中只有一份pg_authid，并非每个数据库一份。需要有系统管理员权限才可以访问此系统表。 1234567 SELECT * FROM pg_authid;rolname | rolsuper | rolinherit | rolcreaterole | rolcreatedb | rolcatupdate | rolcanlogin | rolreplication | rolauditadmin | rolsystemadmin | rolconnlimit | rolpassword | rolvalidbegin | rolvaliduntil | rolrespool | roluseft | rolparentid | roltabspace | rolkind | rolnodegroup | roltempspace | rolspillspace | rolexcpdata | rolauthinfo----------+----------+------------+---------------+-------------+--------------+-------------+----------------+---------------+----------------+--------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------+---------------+--------------+----------+-------------+-------------+---------+--------------+--------------+---------------+-------------+------------- Ruby | t | t | t | t | t | t | t | t | t | -1 | sha256366f1e665be208e6015bc3c5795d13e4dc297a148dca6c60346018c80e5c04c9ba170384ce44609b31baa741f09a3ea5bedc7dadb906286ca994067c3fbf672dc08c981929e326ca08c005d8df942994e146ed3302af47000b36e9852b50e39dmd585de11aafebd90ec620b201fc36f07a5ecdficefade3a1456ec0aca9a0ee01e3bf2971d1dbafd604e596149e2e2928be4060dec2bd8688776588b4cd8c64fd38f1b0beab1603129fa396556ba8aa4c7d6e137a04623 | | | default_pool | t | 0 | | n | 0 | | | | sysadmin | f | t | f | f | f | t | f | f | t | -1 | sha256ecaa7f0ca4436143af43074f16cdd825783ad1a5d659fd94f5e2fa5124e7da44045ecf40bda1a97975fcf5920dca0c8be375be5c71b51cb1eeeba0851fb3648cfa49f55989f83fd9baf1a9d5853ce19125f4fc29a7c709c095ed02d00638410dmd556d6e2dcc41594dc7ad8ee909ef81637ecdficefadefd7d9704ee06affef9581cd6a50a546607f88891198e96a5e84e7e83dccf56c5cd20a500bbc5248e8ea51f0bca70c5a8dcf00953f8b62c7a181368153abce760 | | | default_pool | f | 0 | | n | | | | | Tom | f | t | f | t | f | t | f | f | f | -1 | sha256f43c4f52ac51e297bc4dbdbc751fcf05319c15681dbf5a9c5777d2edce45cb592a948b25457a728e99a3e0608592f33b0a4312eba6124936522304ba298caa2002a04578860fecb0286d7c7baec09365eafd049b2b99f74f21a08864dd7d3f2amd515ee49f0b18ef8e7d0cd27d91ce2fa9decdficefade16bab5f05b6d7c86a19ae6406cc59c437506c3f6187bfdf3eefc7a7c7033afa076361b255cc8b6ccb6e19d4767effaec654b3308cc72cebb891d00a4a10362da | | | default_pool | f | 0 | | n | | | | |(3 rows)

系统管理员 在启动GaussDB(DWS)集群时创建的用户dbadmin是系统管理员，其拥有系统的最高权限，能够执行所有的操作（表空间，表，索引，模式，函数，自定义视图的操作权限及系统表和系统视图的查看权限）。 要创建新的数据库管理员，则以管理员用户身份连接数据库，并使用带SYSADMIN选项的CREATE USER语句或ALTER USER语句进行设置。 例如： 创建用户Jim为系统管理员。 1 CREATE USER Jim WITH SYSADMIN password '{Password}'; 修改用户Tom为系统管理员。（ALTER USER时，要求用户已存在。） 1 ALTER USER Tom SYSADMIN;

普通用户 普通用户由SQL语句CREATE USER创建。不具有对表空间创建，修改，删除，分配权限，访问需要被赋权；仅对自己创建的表/模式/函数/自定义视图有所有权限，仅可以在自己的表上建索引，仅可查看部分系统表和系统视图。 数据库集群包含一个或多个已命名数据库。用户在整个集群范围内是共享的，但是其数据并不共享。 常见用户相关操作如下，此处使用的密码需要用户自定义： 创建用户。 1 CREATE USER Tom PASSWORD '{Password}'; 修改用户密码。 将用户Tom的登录密码由password修改为newpassword。 1 ALTER USER Tom IDENTIFIED BY 'newpassword' REPLACE '{Password}'; 给用户授权。 要创建有“创建数据库”权限的用户，需要加CREATEDB关键字。 1 CREATE USER Tom CREATEDB PASSWORD '{Password}'; 为用户追加CREATEROLE权限。 1 ALTER USER Tom CREATEROLE; 撤销权限。 1 REVOKE ALL PRIVILEGES FROM Tom; 锁定或解锁用户。 锁定Tom账户： 1 ALTER USER Tom ACCOUNT LOCK; 解锁Tom用户： 1 ALTER USER Tom ACCOUNT UNLOCK; 删除用户。 1 DROP USER Tom CASCADE;

样式配置 内间距：设置容器内组件与容器四边的间距，可分别配置上、下、左、右或四周。默认值为20px，范围为0~100px。 外间距：设置容器外与其他容器四边的间距，可分别配置上、下、左、右或四周。默认值为0px，范围为0~100px。 边框： 位置：设置边框的位置，支持配置上、下、左、右和四周。 宽度：设置边框的宽度。默认值为0px，范围为0~50px。 样式：设置边框样式，根据需求选择“无”、“圆点”、“虚线”和“实线”。 颜色：设置边框显示的颜色。 圆角：给元素添加圆角效果，设置圆角的大小和位置。 默认值为0px，范围为0~500px。 背景：设置组件样式的背景颜色。 阴影： X：X偏移，阴影相对于其源元素在水平方向（X轴）的偏移距离，取值范围[-100, 100]。 Y：Y偏移，阴影在垂直方向（Y轴）的偏移距离，取值范围[-100, 100]。 模糊：阴影的模糊程度。值为0时表示阴影边缘锐利，没有模糊。值越大，阴影的边缘就越模糊，从而产生更柔和的阴影效果。取值范围[0, 100]。 扩散：扩散半径，它允许阴影在原始尺寸基础上向外扩散。正值会使阴影扩大，负值则会减小阴影的尺寸。取值范围[-100, 100]。 颜色：设置阴影的颜色。

在资产中心使用模板安装应用 安装应用。 参考如何登录Astro低代码平台中操作，登录Astro低代码平台。 在左侧导航栏中，选择“资产中心”。 在全部应用页签中，单击和您的业务类似的应用模板。 在弹出的页面，单击“安装应用”。 在安装模板应用弹框中，设置应用图标、名称和描述信息，单击“确定”，即可完成应用的创建。 如果模板中包含自定义链接器（目前仅支持无鉴权的自定义连接器），则在跨租户使用模板安装应用的过程，平台会自动将该自定义链接器复制到自定义连接器的“模板安装”分类下。 复制的连接器命名规则如下： 原名称添加时间戳后缀。 若补充时间戳后长度超出限制，则截断原名称部分。 若原名称自带时间戳，则替换时间戳部分。 图2 设置应用名称 二次开发应用。 应用安装后，可以直接使用该应用，也可以根据自身业务的需求进行二次开发。 应用开发完成后，在应用发布中可根据自身业务需求，选择发布应用并上架到门户或申请上架到资产中心。 图3 应用发布配置 发布应用并上架到门户。 门户可以理解为应用的首页，在Astro低代码平台的门户配置中，支持客户定制个性化门户页面、实现千商千面。如何上架应用到门户，请参见应用上架、门户配置。 申请上架到资产中心。 将应用作为模板上架到Astro资产中心，为自己的品牌做推广。如何上架应用到资产中心，请参见将模板上架到资产中心。

富文本 富文本是一种特殊的文本格式，比普通文本更加丰富多彩。富文本可以包含各种字体、颜色、大小、图像、链接、表格和视频等元素，使文本更加生动、有趣。富文本和单行文本输入、多行文本输入、文本呈现的效果，如图1所示。 图1 各文本组件效果呈现图 在表单设计页面，从“常用控件”中，拖拽“富文本”组件至表单设计区域，如图2所示。使用富文本组件时，请谨慎下载“.bat”、“.exe”等危险类型的文件，以保护您的安全。 图2 拖拽富文本组件到设计区并设置属性 标题：该字段在表单页面呈现给用户的名称。 帮助提示：为字段添加帮助信息。设置后，标题字段后会显示。 描述信息：为字段添加附件的说明信息。 状态：设置字段的状态，如普通、禁用、只读和隐藏。 普通：设置为普通后，页面上该字段可正常显示，且可进行配置。 只读：设置为只读后，页面上该字段只可读。 禁用：设置为禁用后，页面上该字段仍可显示，但不可进行配置。 隐藏：设置为隐藏后，页面上会隐藏该字段。 默认值：单击“编辑默认值”按钮，可设置富文本的内容，支持直接粘贴表格。粘贴后，只能编辑表格中内容，不支持删除或新增列/行。 图3 粘贴表格 占位提示符：设置字段的占位符。 是否必填：字段是否必填。设置为必填时，字段前会带“*”。 父主题： 表单常用组件介绍

将应用上架到门户 Astro低代码平台为您提供了一站式门户构建功能，企业可灵活搭建业务门户，并支持定制个性化门户页面、实现千商千面。在AstroFlow中完成应用的创建后，可以将应用发布到门户，并定制化配置符合组织风格的应用管理平台。 参考添加应用中操作，添加AstroFlow中已发布的应用。 参考应用上架中操作，上架应用。 将AstroFlow中创建的应用上架到门户。上架后，应用即可在门户中显示。 图1 上架应用 参考门户配置中操作，定制个性化门户页面。 图2 定制个性化门户 设置门户的访问地址，支持使用默认地址或自定义。 图3 设置门户访问地址 单击“发布业务门户”，在弹出的页面单击“确定”，完成门户的发布。 门户发布完成后，单击“进入业务门户”，即可登录门户查看设置效果。 将门户访问地址分享给其他用户，其他用户登录后即可访问门户。直接单击门户访问地址后的，无需登录即可访问门户。 图4 获取门户访问地址 父主题： 创建业务流程应用

组织搭建 Astro低代码平台提供了统一的组织角色权限控制管理RBAC模型，权限可控、管理统一。在使用AstroFlow创建业务流程应用前，请配置组织层级、角色与权限等，让平台认识您。 设置通信录的维护方式，即从哪里添加成员。 在Astro中，支持自维护和飞书两种通信录维护类型，请按需进行设置，设置后不可更改，请谨慎操作。 自维护：以手动添加、批量导入或一键公开邀请的方式，在Astro低代码平台上维护企业的通讯录。 飞书：Astro可以在飞书中以自建应用的方式进行集成。集成后，支持直接将飞书侧的组织架构同步到Astro中。 注意：仅AstroFlow专业版或企业版实例支持对接飞书。若您购买的是基础版，请先将实例升级到专业版或企业版，再执行对接飞书的操作。 图1 通信录维护类型 参考如何进行服务授权中操作，为组织中的成员授权。 成员授权后，才可以正常访问AstroFlow。 图2 为成员授权 参考赋予成员AstroFlow中角色中操作，赋予成员不同的AstroFlow权限。 在AstroFlow角色列表中，系统为您预置了“Flow服务管理员”和“开发者”两个角色。当预置角色不能满足需求时，可自定义角色并赋予所需的权限，来控制用户在AstroFlow中的操作。如何自定义角色与权限，请参见角色与权限。 图3 赋予成员不同的AstroFlow中权限 父主题： 创建业务流程应用

样式配置 内间距：设置容器内组件与容器四边的间距，可分别配置上、下、左、右或四周。默认值为0px，范围为0~100px。 外间距：设置容器外与其他容器四边的间距，可分别配置上、下、左、右或四周。默认值为0px，范围为0~100px。 边框： 位置：设置边框的位置，支持配置上、下、左、右和四周。 宽度：设置边框的宽度。默认值为0px，范围为0~50px。 样式：设置边框样式，根据需求选择“无”、“圆点”、“虚线”和“实线”。 颜色：设置边框显示的颜色。 圆角：给元素添加圆角效果，设置圆角的大小和位置。 默认值为0px，范围为0~500px。 背景：设置组件样式的背景颜色。 阴影： X：X偏移，阴影相对于其源元素在水平方向（X轴）的偏移距离，取值范围[-100, 100]。 Y：Y偏移，阴影在垂直方向（Y轴）的偏移距离，取值范围[-100, 100]。 模糊：阴影的模糊程度。值为0时表示阴影边缘锐利，没有模糊。值越大，阴影的边缘就越模糊，从而产生更柔和的阴影效果。取值范围[0, 100]。 扩散：扩散半径，它允许阴影在原始尺寸基础上向外扩散。正值会使阴影扩大，负值则会减小阴影的尺寸。取值范围[-100, 100]。 颜色：设置阴影的颜色。