检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议使用Hive/Spark进行数据批量加工,FilkSQL进行数据增量加工。 数据入库 建议使用CDL(增量实时同步)和Loader(批量同步)工具进行数据同步,也可选择HDFS外表(CK集群只支持X86平台)用户自己写调度程序进行数据导入。 父主题: ClickHouse数据库开发
云商店商家合作管理规范 商家在参与华为云云商店时,必须始终遵守云商店商家合作管理规范,如商家未遵守相关条款或条件,华为云有权采取下架商家产品、终止与商家合作等措施,对华为云造成损失的,华为云有权要求商家赔偿所有损失。 具体的规定和政策见《云商店商家合作管理规范》。 父主题: 规范
使用规范 实例使用规范 数据库使用规范 父主题: 使用数据库
对于有有明显的热点的数据,而且除了这部分数据,其他数据很少被访问到,那么可以将热点数据单独放在一个分区。 建议使用数据库代理连接数据库,对于一致性要求不高的场景下,将读业务分流到只读节点。对于查询量比较大情况下,可以通过弹性扩展,增加只读节点数量,提升查询性能。 父主题: 使用规范
会导致锁数据较久,MySQL内部缓存、连接消耗过多等问题。 避免使用自然连接(natural join)。 自然连接没有显示定义连接列,而是隐含,会出现难以理解及无法移植问题。 对于千万或亿级大数据量的表,建议使用如下方法提升数据写入效率。 删除不必要的索引。 更新数据时候,同时
分区采用日期字段,分区表粒度,要基于数据更新范围确定,不要过大也不要过小。 分区粒度可以采用年、月、日,分区粒度的目标是减少同时写入的文件桶数,尤其是在有数据量更新,且更新数据有一定时间范围规律的,比如:近一个月的数据更新占比最大,可以按照月份创建分区;近一天内的数据更新占比大,可以按照天进行分区。
无明确终止条件,递归陷入死循环,无法完成。 重复数据过多,递归产生大量重复数据,占用大量资源。 方案建议: 根据业务表数据量和数据特征设计合理的递归终止条件。 建议3.16 访问对象(表,函数等)时带上SCHEMA名称 违反规范的影响: 不指定SCHEMA名称前缀,实际会根据当前search_path中表
需要检查权限完整性。权限会影响对于数据库的方案,迁移仅会完成数据恢复,数据库用户恢复,登录名等其他服务级权限需要重新创建,并且关联数据库账户。 需要对索引进行重建。由于迁移完成后数据文件的物理环境发生了改变,数据库索引会失效,需要对索引进行重建,否则可能会导致数据库性能有明显下降。 对比参数配置。迁移上云后RDS
下的数据库、数据表和字段。 单击可以查看数据连接目录树下的数据库、数据表以及字段信息。DWS SQL、DLI SQL、MRS Hive SQL代理模式均支持查看目录树,其他数据连接均不支持。 如果您在使用数据开发前,已创建了数据连接和对应的数据库和数据表,则可跳过数据管理操作,直接进入脚本开发或作业开发。
似度检测技术,对数据资产进行分类分级。 数据出口分析:基于资产地图构建统一的数据出口和出口风险视图,帮助用户识别云上数据可能的出口,以及这些出口存在的潜在安全风险,方便用户采取相应的数据安全防护措施。 图2 数据出口分析 风险监控和预警:基于风险识别引擎,对数据资产进行风险监控,展示每类资产的风险分布,并预警。
TaurusDB标准版数据库使用规范 数据库命名规范 所有的数据库对象名称(包括库名、表名、列名等)建议以小写字母命名,每个单词之间用下划线分割。 所有的数据库对象名称禁止使用保留关键字。 MySQL官方保留字与关键字(MySQL 8.0):https://dev.mysql.com/doc/refman/8
据标准关联到各个业务上的数据库中。其中,标识符、数据类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。 进入规范设计单击左侧数据标准菜单,进入数据标准。 图1 数据标准1 为数据标准建立目录分类,用于存放相应的数据标准。单击左侧的加号,输入目录名称,单击保存即可。
查看安全管理员 功能介绍 查看安全管理员。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/admin 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
使用规范 FlexusRDS for PostgreSQL实例使用规范 FlexusRDS for PostgreSQL数据库使用规范 父主题: FlexusRDS for PostgreSQL用户指南
ClickHouse数据库开发 ClickHouse数据入库工具 ClickHouse数据入库规范 ClickHouse数据查询 ClickHouse数据库应用开发 父主题: ClickHouse应用开发规范
index,说明没有查询到数据表,只用索引表即完成了这个查询,这种情况为覆盖索引。如果同时出现Using where,代表使用索引来查找读取记录, 也是可以用到索引的,但是需要查询到数据表。 Using where:表示条件查询,如果不读取表的所有数据,或不是仅仅通过索引就可以获取所有需要的数据,则会出现
DDL操作规范 建议3.1 DDL操作(CREATE除外)避免在业务高峰期和长事务中执行 违反规范的影响: DDL操作普遍持锁级别高,如ALTER、DROP、TRUNCATE、REINDEX、VACUUM FULL等,执行时会造成业务等锁阻塞。 高峰期执行持锁级别高的DDL操作,造成业务等锁阻塞。
对于有有明显的热点的数据,而且除了这部分数据,其他数据很少被访问到,那么可以将热点数据单独放在一个分区。 建议使用数据库代理连接数据库,对于一致性要求不高的场景下,将读业务分流到只读节点。对于查询量比较大情况下,可以通过弹性扩展,增加只读节点数量,提升查询性能。 父主题: 使用规范
什么是数据安全中心? 数据安全中心服务(Data Security Center,DSC)是新一代的云原生数据安全管理平台,提供数据分级分类、数据脱敏、数据水印、API数据保护等基础数据安全能力,通过资产地图整体呈现云上数据安全态势,并实现一站式数据安全运营能力。 父主题: 产品咨询类
会产生内存堆积。 根据查询条件创建必要的索引,索引设计请参见索引设计规范。 避免COLLSCAN全表扫描。 查询条件和索引字段匹配有顺序性。 对于集群实例,根据业务对表进行合理地分片,分片设计请参见分片设计规范。 对于分片表,查询条件要基于shardKey进行,避免出现scatt