检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。 图4 产品架构 应用层 数据加载工具、ETL(Extract-Transform-Load)工具、以及商业智能BI工具、数据挖掘和分析工具
X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 父主题: 如何调用API
模板名。即从哪个模板创建新数据库。GaussDB(DWS)采用从模板数据库复制的方式来创建新的数据库。初始时,GaussDB(DWS)包含两个模板数据库template0、template1,以及一个默认的用户数据库gaussdb。 取值范围:已有数据库的名称。不指定时,系统默认
连接集群,用户需要在新建的安全组中添加一条入规则,开放GaussDB(DWS)集群的数据库端口的访问权限。 协议:TCP。 端口范围:8000。指定为创建GaussDB(DWS)集群时设置的数据库端口,这个端口是GaussDB(DWS)用于接收客户端连接的端口。 源地址:选中“I
如何使用GaussDB(DWS)自定义函数改写CRC32()函数 GaussDB(DWS)目前未内置CRC32函数,但如果需要实现MySQL中的CRC32()函数功能,用户可使用GaussDB(DWS)的自定义函数语句对其进行改写。 函数:CRC32(expr) 描述:用于计算循
如何与GaussDB(DWS)进行通信? 业务应用与DWS进行通信的基本原则是确保业务应用所在网络与DWS的网络能连通,以下是当前主流连接场景,请根据实际情况进行选择。 表1 如何与DWS进行通信 场景 通信方式 支持的连接方式 云上 业务应用与DWS在同一个区域内同一个VPC下
当用户需要捕获数据库事件用于数据增量导出Flink等第三方组件,并协同完成数据加工等任务时,DWS实时数仓中的HStore表提供了Binlog功能,通过消费Binlog数据来实现上下游的数据同步,提高数据加工的效率。 传统的数据比如MySQL数据库等,支持通过Binlog来记录数据库中所
导致表的脏数据没有及时回收,新的数据又不断插入或更新,膨胀是必然的。 资源回收不及时 开启了autovacuum,但是各种原因导致回收不及时,并且新的数据又不断产生,从而导致膨胀。回收不及时有以下原因: IO性能差 当数据库非常繁忙时,如果IO性能较差,会导致回收脏数据变慢,从而导致表膨胀。
如何判断表是否执行过UPDATE或DELETE 问题现象 DWS中有两种情况需要关注表是否做过UPDATE及DELETE操作: 对表频繁执行UPDATE或者DELETE操作会产生大量的磁盘页面碎片,从而逐渐降低查询的效率,需要将磁盘页面碎片恢复并交还操作系统,即VACUUM FU
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同。
创建集群时指定的数据库管理员用户。当用户第一次连接集群时,需要使用初始数据库管理员用户及其密码连接到默认数据库。 端口 通过公网或者内网访问集群数据库的端口号,端口号在创建集群时指定。 默认数据库 创建集群时默认自动创建的数据库。当用户第一次连接集群时,需要连接到该默认数据库。 弹性负载均衡地址
数据仓库规格 GaussDB(DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异,详情请参见数据仓库类型。 低配置集群,如内存16G、vCPU4核及以下的规格,建议不要用于生产环境,可能会导致资源过载风险。 存算一体规格 存算一体
sync_percent text 同步百分比 sync_state text 同步状态(异步复制,同步复制,还是潜在同步者) sync_priority integer 同步复制的优先级(0表示异步) sync_most_available text 在备机同步失败时,是否阻塞主机 channel
sync_percent text 同步百分比 sync_state text 同步状态(异步复制,同步复制,还是潜在同步者) sync_priority integer 同步复制的优先级(0表示异步) sync_most_available text 在备机同步失败时,是否阻塞主机 channel
如何查看GaussDB(DWS)表是行存还是列存? 表的存储方式由建表语句中的ORIENTATION参数控制,row表示行存,column表示列存。 不指定ORIENTATION参数,默认为row行存。 查看已创建的表是行存还是列存,可通过表定义函数PG_GET_TABLEDEF查询。
GaussDB(DWS)如何REVOKE某用户的connect on database权限? 业务场景 某业务中需要撤销指定用户u1连接某数据库的权限,在执行REVOKE CONNECT ON DATABASE gaussdb FROM u1;命令成功后,使用u1还能继续连接数据库,撤销权限没有生效。
外表时不支持中文,如何处理 问题现象 使用DataArts Studio服务创建GaussDB(DWS)的OBS外表,并且在创建外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。 处理方法 排查报
数据开发 使用GaussDB(DWS)冷热数据切换功能降低业务成本 使用GaussDB(DWS)分区自动管理功能降低电商和物联网行业数据分区维护成本 使用GaussDB(DWS)视图重建功能实现视图解耦以提升开发效率 HStore表使用优秀实践 GIN索引使用实践 实现数据列的加解密
通过视图管控数据权限 本章节介绍如何通过视图实现给不同的用户授予查询同一表中不同数据的权限,提供数据的权限管理和安全性。 场景 dbadmin用户连接集群后,创建示例表customer: 1 CREATE TABLE customer (id bigserial NOT NULL
账号被锁住了,如何解锁? 问题现象 连接集群时报错“The account has been locked.”。 原因分析 在连接集群中的数据库时,如果连续输错密码的次数过多,错误次数(输入密码错误的次数由GUC参数failed_login_attempts控制,默认值为10次)达到上限时,会导致账号被锁。