检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海
WS 3.0版本,利用云基础设施提供的资源池化和海量存储能力,结合MPP数据库技术,采用计算存储分离架构,实现了极致弹性、实时入库、数据实时共享和湖仓一体等特性。 了解更多存算分离知识,请参见什么是数据仓库服务。 本文档主要描述存算分离版本特有的性能优化和注意事项。 集群购买 EVS磁盘空间
数据保护技术 数据备份 透明加密 SSL传输加密 数据脱敏 使用函数进行加密 父主题: 安全
数据库时间与系统时间不一致,如何更改数据库默认时区 问题现象 数据库时间与操作系统不一致,查询GaussDB(DWS)数据库默认时间SYSDATE,结果数据库时间比北京时间慢8个小时,导致无法准确定位到更新数据。 原因分析 GaussDB(DWS)数据库显示和解释时间类型数值时使
普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来。
导入过程存储倾斜即时检测 导入过程中对DN导入行数进行统计,导入完成后计算倾斜率,超过一定阈值时,立即进行告警。倾斜率通过(DN导入行数最大值-DN导入行数最小值)/导入总行数计算。目前,只支持INSERT和COPY导入。 必须设置enable_stream_operator=o
的Internet上某一台计算机或计算机组的名称,如www.example.com。用户在Web浏览器的地址栏输入域名来访问某个网站或者Web应用程序。 GaussDB(DWS)支持通过内网域名和公网域名访问集群。 内网域名是指通过内部网络访问集群数据库的域名地址。内网域名在创建
MRS数据源使用概述 MRS集群简介 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。有关MRS服务的详细信息,请参考《MapReduce服务用户指南》。
如果业务应用与DWS在不同区域下,例如ECS在“北京四”、DWS在“上海一”,此时需要将两个区域建立云连接后才能通信。 图3 云连接访问 业务应用在云下数据中心,需要与DWS进行通信 如果业务应用不在云上,在本地数据中心,此时需要与云上DWS进行通信,分为两种场景: 场景一:云下业务应用通过DWS的公网IP进行通信。
必须从现有集群导出数据,然后在已启用数据库加密的新集群中重新导入这些数据。数据库加密是在数据落盘时进行加密,即在往GaussDB(DWS)写入数据时GaussDB(DWS)会对数据进行加密,而在用户查询数据时GaussDB(DWS)会将数据自动进行解密后再将结果返回给用户。 如
name和driver_version,driver_path,os_user,其他接口连接默认显示driver_name和driver_version,driver_path和os_user的显示由用户控制(参见连接数据库和Linux下配置数据源)。 父主题: 连接和认证
转储GaussDB(DWS)数据库审计日志 GaussDB(DWS)记录数据库中的连接和用户活动相关信息。这些审计日志信息有助于用户监控数据库以确保安全、进行故障排除及定位历史操作记录。GaussDB(DWS)的审计日志默认存储于数据库中,用户可以将审计日志转储到OBS中,便于负责监控数据库中活动的
数值大小相同的参数使用不同数据类型的哈希函数计算,最后结果会不一样,因为不同类型哈希函数会选取不同的哈希计算策略。 hll_hash_smallint(smallint, int32) 描述:设置hash seed(即改变哈希策略)同时对smallint类型数据计算哈希值。 返回值类型:hll_hashval
WS 2.0属于存算一体架构,因此集群扩容同时扩容了计算能力和存储能力。 为了扩容后集群内各节点负载均衡,性能最优,集群扩容会进行元数据复制和数据重分布,把数据重新均匀分布到新节点,因此集群扩容耗时与用户的数据库对象数量和数据量正相关。同时为了架构可靠性,新扩容的节点会自动组织成环,因此每次扩容至少扩容3个节点。
解决方案 数据仓库主要适用于企业数据的关联和聚合等分析场景, 并从中发掘出数据背后的商业信息供决策者参考。这里的数据发掘主要指涉及多张表的大范围数据聚合和关联的复杂查询。 使用数据仓库,通过某个数据转换(ETL)的过程,业务运营数据库的数据可以被拷贝到数据仓库中供分析计算使用。同时
数值大小相同的参数使用不同数据类型的哈希函数计算,最后结果会不一样,因为不同类型哈希函数会选取不同的哈希计算策略。 hll_hash_smallint(smallint, int32) 描述:设置hash seed(即改变哈希策略)同时对smallint类型数据计算哈希值。 返回值类型:hll_hashval
建表与数据导入 GDS方式导入 父主题: 测试方法
数据备份 GaussDB(DWS)业务数据备份与恢复通过快照功能实现。快照是对GaussDB(DWS)集群在某一时间点的一次全量数据和增量数据的备份,记录了当前数据库的数据以及集群的相关信息,其中包括节点数量、节点规格和数据库管理员用户名称等。GaussDB(DWS)可通过管理控
如何选择GaussDB(DWS)区域和可用分区 什么是区域、可用分区? 区域和可用分区用来描述数据中心的位置,您可以在特定的区域、可用分区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、
逻辑集群支持手动添加增删计划和自动弹性增删能力。支持在计划时间段内,动态创建、删除计算逻辑集群,实现计算资源动态伸缩。 通过手动添加定时增删计划创建的逻辑集群主要用于提供计算能力,关联用户后该用户的查询都会切换到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 一个用户仅支持绑定到一个计算逻辑集群上。