检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以GaussDB(DWS)的SQL作为上层应用的统一入口,应用开发人员使用熟悉的SQL语言即可访问所有数据。 实时交互分析 针对即时的分析需求,分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点,即可扩展系统的数据存储能力和查询分析的性能,可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓
tions5.asp。 选择存储方式 表的存储模型选择是表定义的第一步。业务属性是表的存储模型的决定性因素,根据下表选择适合当前业务的存储模型。 一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。
漏斗函数与留存函数都是常见的用户行为分析工具,广泛应用于产品分析和数据分析领域,尤其是在产品经理、数据科学家和市场营销人员的工作中。这些函数的目标是帮助分析用户的行为路径、理解用户的流失和转化问题,以及评估产品的长期吸引力和用户忠诚度。 漏斗分析:一种用于分析用户在执行某一目标过程中所经历的各个步骤
oaringBitmap的数据入库至GaussDB(DWS)。 如针对大批量数据入库,需要在应用侧增加算力进行优化,否则会影响入库性能。 加工RoaringBitmap 访问Maven下载开源的RoaringBitmap的jar包,推荐下载0.9.15版本。 POM文件依赖项配置如下:
应用示例 使用Postman调用创建集群接口 使用Postman调用创建快照接口
es()函数检查删除后的结果。 结果显示db1数据库中的残留文件已经被删除(isdeleted标记为t),db2中的残留文件都未被删除。 同时可以看到查询出9条结果,与之前查询出的结果相比,缺少一条以9438结尾的残留文件记录文件。这是因为以9438结尾的残留文件记录文件中只有一
es()函数检查删除后的结果。 结果显示db1数据库中的残留文件已经被删除(isdeleted标记为t),db2中的残留文件都未被删除。 同时可以看到查询出9条结果,与之前查询出的结果相比,缺少一条以9438结尾的残留文件记录文件。这是因为以9438结尾的残留文件记录文件中只有一
SQL查询优秀实践 根据数据库的SQL执行机制以及大量的实践总结发现:通过一定的规则调整SQL语句,在保证结果正确的基础上,能够提高SQL执行效率。 使用union all代替union union在合并两个集合时会执行去重操作,而union all则直接将两个结果集合并、不执行
排序试图针对特定查询衡量文档的相关度,从而将众多的匹配文档中相关度最高的文档排在最前。GaussDB(DWS)提供了两个预置的排序函数。函数考虑了词法,距离,和结构信息;也就是,考虑查询词在文档中出现的频率、紧密程度、以及出现的地方在文档中的重要性。然而,相关性的概念是模糊的,并且是跟应用强相关的。
获取Token,进行认证。 在Postman界面上新建Post请求,选中Body的配置项,填写用户名、用户密码、账号名及项目ID。在我的凭证下,您可以查看账号的用户名、用户密码和账号名等信息。项目ID获取方法请参见获取项目ID。 获取token的华为云服务所在区域需要和调用的服务所在区域需一致,否则会导致调用失败。
oaringBitmap的数据入库至GaussDB(DWS)。 如针对大批量数据入库,需要在应用侧增加算力进行优化,否则会影响入库性能。 加工RoaringBitmap 访问Maven下载开源的RoaringBitmap的jar包,推荐下载0.9.15版本。 POM文件依赖项配置如下:
降低I/O的处理方案 问题现象 在DWS实际业务场景中因I/O高、I/O瓶颈导致的性能问题较多,其中应用业务设计不合理导致的问题占大多数。本文从应用业务优化角度,以常见触发I/O慢的业务SQL场景为例,指导如何通过优化业务去提升I/O效率和降低I/O。 确定I/O瓶颈&识别高I/O的语句
使用云专线(DC)进行通信。 业务应用与DWS在同一个区域内同一个VPC下 为保证业务低时延,建议将业务应用和DWS都部署在同一个区域内。例如业务应用部署在ECS,建议将DWS集群部署在跟ECS在同一个虚拟私有云(以下简称VPC)下,应用通过内网IP直接跟DWS进行通信。该场景下,在创建DWS集群时
Convertor)是一款运行在Linux或Windows操作系统上的命令行工具,致力于向客户提供简单、快速、可靠的应用程序SQL脚本迁移服务,通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本,并迁移为适用于GaussDB(DWS) 数据库的应用程序SQL脚本。DSC不需要连
Service)工具将远端服务器上的数据导入GaussDB(DWS)中的过程,帮助您学习如何通过GDS进行数据导入的方法。 GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。
Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,在使用弹性IP绑定功能时页面会屏蔽绑定按钮,此时需联系有“DWS Administrator”权限的用户在当前页面完成对GaussDB(DWS)的委托授权。 创建公网域名的操作步骤如下:
GaussDB(DWS)外表支持NULL定义,HIVE数据表支持并采用相对应的NULL定义。 HIVE数据表中的TINYINT的取值范围为[-128,127],而GaussDB(DWS) 的TINYINT的取值范围为[0,255],因此,HIVE表中的TINYINT类型在建GaussDB(DWS)只读外
主要用于衡量大数据产品的分析性能。TPC-DS查询共包含24张表,99个查询测试语句。 SSB SSB(Star Schema Benchmark)是一种在学术界和工业界广泛应用的数据库系统性能评估基准测试方法。它能够对比不同数据仓库在处理星型模型查询时的性能,帮助数据库管理员和
)。 调用创建集群接口。 在Postman界面上新建Post请求,选中“Headers”配置项,添加对应的KEY、VALUE,复制Token值到“X-Auth-Token”。 调用接口,本服务提供了两个创建集群接口。其中请求URL的所在区域需要与调用的服务所在区域保持一致,pro
x_jdbc_driver.zip的驱动包,解压后有两个JDBC的驱动jar包“gsjdbc4.jar”和“gsjdbc200.jar”,用户可根据需求选择。 在应用程序的工程中,设置引用Jar包。 以Eclipse工程为例,先将jar包存放在工程目录下,例如将jar包放在工程目录的lib目录下,然