检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置
dws-demo-ru-northwest-2 拉美-圣保罗一 dws-demo-sa-brazil-1 约束限制 本实践中两套DWS、ECS服务在同一个区域和虚拟私有云VPC下,确保网络互通。 准备工作 获取此账号的“AK/SK”。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建两套DWS集群
本实践预计时长:30分钟,基本流程如下: 创建集群。 使用gsql命令行客户端连接集群。 创建冷热表。 冷热数据切换。 查看冷热表数据分布。 创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置 参数名称
ERRORS,则默认为0。 如上述LOG ERRORS中描述的容错机制,REJECT LIMIT的计数也是按照执行COPY FROM的CN上遇到的解析错误数量计算,而不是每个DN上的错误数量,这点请与GDS容错机制区别开。 FORMATTER 在固定长度模式中,定义每一个字段在数据文件中的位置。按照column(offset
参考。 准备环境 已创建3.0 DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT
ERRORS,则默认为0。 如上述LOG ERRORS中描述的容错机制,REJECT LIMIT的计数也是按照执行COPY FROM的CN上遇到的解析错误数量计算,而不是每个DN上的错误数量,这点请与GDS容错机制区别开。 FORMATTER 在固定长度模式中,定义每一个字段在数据文件中的位置。按照column(offset
ERRORS,则默认为0。 如上述LOG ERRORS中描述的容错机制,REJECT LIMIT的计数也是按照执行COPY FROM的CN上遇到的解析错误数量计算,而不是每个DN上的错误数量,这点请与GDS容错机制区别开。 FORMATTER 在固定长度模式中,定义每一个字段在数据文件中的位置。按照column(offset
在创建、修改分区表时请注意分区表的分区总数不可超过最大限制(32767); 在创建分区表时START END与LESS THAN语法不可混合使用。 即使创建分区表时使用START END语法,备份(gs_dump)出的SQL语句也是VALUES LESS THAN语法格式。 list_partition_item
PL/Java基于开源PL/Java 1.5.5开发,所使用的JRE版本为1.8.0_322。 使用限制 Java UDF可以实现一些java逻辑计算,强烈建议不要在Java UDF中封装业务 强烈建议不要在Java函数中使用任何方式连接数据库,包括但不限于JDBC。 暂不支持的数据类型
PL/Java基于开源PL/Java 1.5.5开发,所使用的JRE版本为1.8.0_322。 使用限制 Java UDF可以实现一些java逻辑计算,强烈建议不要在Java UDF中封装业务 强烈建议不要在Java函数中使用任何方式连接数据库,包括但不限于JDBC。 暂不支持的数据类型
PL/Java基于开源PL/Java 1.5.5开发,所使用的JRE版本为1.8.0_322。 使用限制 Java UDF可以实现一些java逻辑计算,强烈建议不要在Java UDF中封装业务 强烈建议不要在Java函数中使用任何方式连接数据库,包括但不限于JDBC。 暂不支持的数据类型
指定子网ID,用于集群网络配置。 security_group_id 是 String 指定安全组ID,用于集群网络配置。 vpc_id 是 String 指定虚拟私有云ID,用于集群网络配置。 availability_zone 否 String 配置集群可用区。集群可用区选择详情请参见地区和终端节点。 说明:
址。 已配置GaussDB(DWS)集群所属的安全组,添加安全组的入规则允许用户的IP地址使用TCP访问端口。 具体步骤,请参见《虚拟私有云用户指南》中的添加安全组规则章节。 使用Data Studio连接到集群数据库 GaussDB(DWS)提供了基于Windows平台的Data
其他策略存在相同的规则配置。 bandwidth Integer 绑定状态: 0:未绑定 1:已绑定 vpc_id String 虚拟私有云ID。 请求示例 GET https://{Endpoint}/v2/4cf650fd46704908aa071b4df2453e1e/cl
同产品类型功能上的具体差异。 推荐使用包年/包月方式购买集群,包月时长到期之后,集群会自动释放。 连接集群 用户需要在与集群相同的虚拟私有云子网中使用客户端连接GaussDB(DWS)集群。 数据仓库服务只支持用户管理集群,不支持直接访问集群节点。用户或应用程序使用数据库对应的集群访问IP地址和端口,访问数据仓库。
当前多AZ集群只支持选择3个AZ。 tags 否 Array of Tags objects 标签。 vpc_id 是 String 指定虚拟私有云ID,用于集群网络配置。 subnet_id 是 String 指定子网ID,用于集群网络配置。 security_group_id 否 String
如果集群绑定了弹性IP,在删除集群时请勾选“释放与集群绑定的弹性IP”释放弹性IP,释放后公网IP即可停止计费。如果不释放弹性IP,弹性IP将仍然按照虚拟私有云(VPC)服务的弹性公网IP计费规则进行计费。 弹性负载均衡 ELB(可选) 如果集群绑定了ELB,删除集群时不会同步删除ELB,用户需去E
互会涉及表中的多个列,用行存查询效率较高。 COLUMN,表示表的数据将以列式存储。 列存储适合于数据仓库业务,此类型的表上会做大量的汇聚计算,且涉及的列操作较少。 默认值:ROW,即行存方式。 COMPRESSION 指定表数据的压缩级别,它决定了表数据的压缩比以及压缩时间。一
cs封装。 27 PGXC_BULKLOAD_PROGRESS 基于视图pgxc_bulkload_statistics查询结果进行聚合,计算GDS业务进度百分比。 28 PG_QUERYBAND_ACTION 查询所有query_band负载行为。 29 GS_VIEW_DEPENDENCY_PATH
t存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置