检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
际业务含义的英文词汇或汉语拼音,但规则应该在集群范围内保持一致。 变量名的关键是要具有描述性,即变量名称要有一定的意义,变量名要有前缀标明该变量的类型。 【建议】表对象的命名应该可以表征该表的重要特征。例如,在表对象命名时区分该表是普通表、临时表还是非日志表: 普通表名按照数据集的业务含义命名。
史会话信息导致的对象冲突。 如果在连接中设置了GUC参数,那么在将连接归还连接池之前,必须执行“SET SESSION AUTHORIZATION DEFAULT;RESET ALL;”将连接的状态清空。 如果使用了临时表,那么在将连接归还连接池之前,必须将临时表删除。 CopyManager
细粒度权限策略 在实际业务中,您可能需要给不同角色的用户授予不同的资源操作权限。IAM服务为用户提供了细粒度访问控制功能。在IAM中,管理员用户(即属于admin用户组的用户)通过创建自定义策略,可以自由搭配需要授予的权限集。通过给用户组授予策略,用户组中的用户就能获得策略中定义的权限。IAM
le占用了大量宝贵的网络资源,减少不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,以提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择分布方案 表的分布方式的选择如表2 表的分布方式及使用场景所示。
如何设计宽表主键 GeminiDB Cassandra是一款分布式数据引擎,宽表引擎中的数据均按照主键进行分布。在执行查询时,如果表中存在多列主键,系统会从最左边的主键开始匹配。如果主键设置不当,则可能导致主键无法被有效利用,进而产生热点问题,影响查询性能。因此,在数据分区和数据
基于表结构设计和调优提升GaussDB(DWS)查询性能 调优前:学习表结构设计 步骤1:创建初始表并加装样例数据 步骤2:测试初始表结构下的系统性能并建立基线 步骤3:调优表操作具体步骤 步骤4:创建新表并加载数据 步骤5:测试新的表结构下的系统性能 步骤6:调优表性能评估 附录:表创建语法
步骤3:调优表操作具体步骤 选择存储方式 此实践中所使用的样例表为典型的TPC-DS表,是典型的多字段表,统计分析类查询场景多,因此选择列存存储方式。 1 WITH (ORIENTATION = column) 选择压缩级别 在步骤1:创建初始表并加装样例数据中没有指定压缩比,
namic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。 父主题: 数据保护技术
表设计 总体上讲,良好的表设计需要遵循以下原则: 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储,将随机I/O转换为连续I/O,从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时,应当对表进行分区,一般需要遵循以下原则:
图解数据仓库服务
业务指标设计 业务指标设计用户定义和计算数据仓库中的业务指标。支持导入DataArts Studio的业务指标文件。 新建业务指标 架构师进入到对应空间和方案后,选择对应信息架构的业务指标设计,选择DataArts Studio的Region、实例和空间,点击确定后将会自动跳转到
数据仓库服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定弹性公网IP DWS集群运维时间窗检查 DWS集群VPC检查 父主题: 系统内置预设策略
际业务含义的英文词汇或汉语拼音,但规则应该在集群范围内保持一致。 变量名的关键是要具有描述性,即变量名称要有一定的意义,变量名要有前缀标明该变量的类型。 【建议】表对象的命名应该可以表征该表的重要特征。例如,在表对象命名时区分该表是普通表、临时表还是非日志表: 普通表名按照数据集的业务含义命名。
联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,客户业务类型是决定表的存储类型的主要因素,表存储类型的选择依据请参考表1。 表1 表的存储类型及场景 存储类型 适用场景 行存 点查询(返回记录少,基于索引的简单查询)。
【建议】表的存储类型是表定义设计的第一步,客户业务类型是决定表的存储类型的主要因素,表存储类型的选择依据请参考表1。 表1 表的存储类型及场景 存储类型 适用场景 行存 点查询(返回记录少,基于索引的简单查询)。 增、删、改操作较多的场景。 选择分区方案 当表中的数据量很大时,应当对表进行分区,一般需要遵循以下原则:
Zone总体设计原则 不需要把企业内部的完整组织结构映射到华为云上,只把那些负责管理IT系统的组织单元(如部门、分公司)和使用IT资源的用户映射到华为云上。如行政部门不管理、不查看、不操作任何云上IT资源,就不需要在华为云上创建一个对应行政部门的组织;如财务小张不负责IT系统的成本核算
用了大量宝贵的网络资源,减少不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,以提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择分布方案 表的分布方式的选择如表1所示。 表1 表的分布方式及使用场景
数据仓库咨询与规划服务 产品介绍 常见问题 计费说明 父主题: 咨询与规划
避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。 违反规范的影响: B集群(远端集群)中CN压力过大,导致连接和活跃会话资源超限,访问异常。 方案建议: 应尽量使用外表单表访问并避免并发,避免多外表关联查
指标设计 业务指标 技术指标 父主题: 数据架构