检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何检测和解决大key与热key问题 Cassandra数据库是一个高度可扩展的高性能分布式数据库,面向大数据场景,可用于管理大量的结构化数据。在业务使用的过程中,随着业务量和数据流量的持续增长,往往一些业务的设计弊端逐渐暴露出来,降低了集群的稳定性和可用性。比如主键设计不合理,
Policy,简称RP,包含数据保留时长,备份个数等信息)里实现了冷热数据分离,系统会根据RP中用户设置的冷热数据分界线自动将符合转冷条件的热数据归档到冷存储中。 背景 在海量大数据场景下,时序数据冷热分明,即随着时间推移历史的时序数据被查询和分析的概率越低,同时因为这些数据占用量比较大,降低这部分冷数据的存储容量将
GeminiDB Influx最大能支持到多少PB的数据 GeminiDB Influx支持的最大数据容量请参见数据库实例规格中实例的最大存储空间。 父主题: 产品咨询
超强写入:相比于其他NoSQL服务,拥有超强写入性能。 大数据分析:结合Spark等工具,可以用于实时推荐等大数据场景。 金融行业 云数据库 GeminiDB结合Spark等大数据分析工具,可应用于金融行业的风控体系,构建反欺诈系统。 优势: 大数据分析:结合Spark等工具,可以进行实时的反欺诈检测。
Cassandra应用场景 GeminiDB Cassandra能够支持高并发低时延的访问需求,具备高可用和弹性扩容能力,适合消息、订单查询、网站等各种大数据量的互联网在线应用场景。 图1 在线应用场景 方案优势 高可用:单点故障不影响业务。 低时延:时延在毫秒级别。 弹性扩容:可随着业务增长灵活扩容计算和存储能力。
如何高效备份,容灾 传统场景采用文件或者块存储的数据库系统,备份恢复与数据量强相关,故在大数据量场景下,无法快速备份恢复,进而影响数据库的数据可靠性。 云数据库 GeminiDB基于DFV存储,底层采取Append Only方式存储,并在该基础上结合数据库逻辑进行分布式并行算法优化,极大地提升了数据备份、恢复性能。
基本设计规范 设计规范 规则1:禁止在数据库中存储图片、文件等大数据。图片或文件等大数据建议存储到对象存储服务中。 规则2:单行key和value数据大小最大不能超过64KB,平均大小不超过10KB。 规则3:任何表的设计都要考虑到数据的删除策略,表中的数据不能无限地增长而不删除。
数据保护技术 云数据库 GeminiDB通过多种数据保护手段和特性,保障存储在GeminiDB中的数据安全可靠。 表1 GeminiDB的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(SSL) GeminiDB Redis、GeminiDB Mongo、GeminiDB
容。 高压缩率 列式存储布局和专用压缩算法,相比开源版本压缩率可以提升5~10倍左右。 高查询性能 多节点多线程并行查询,可高效处理高并发大数据量分析任务。 典型应用 IoT传感器时序数据分析 物联网应用,规模和可靠性至关重要。GeminiDB Influx接口提供了高吞吐量和并
以及高强度的故障容忍,能够支持大并发低延时的访问需求,具备高可用和弹性扩容能力,使其适用于具有产品目录、推荐、个性化引擎、交易流水等功能的大数据量的互联网网站。 优势: 大规模集群部署 单套集群最大支持100个节点部署,适用于写入规模和数据量大的互联网场景。 高可用易扩展 单节点
成长地图 | 华为云 云数据库 GeminiDB 云数据库 GeminiDB是一款基于计算存储分离架构的分布式多模NoSQL数据库服务。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、备份恢复、监控报警等服务能力。 免费体验 云图说 仅两个按钮时选用
快速了解Cassandra 本章节主要帮助您快速掌握GeminiDB Cassandra实例创建、连接的整体流程。 连接方式介绍 数据管理服务(Data Admin Service,简称DAS)是一款专业的简化数据库管理工具,提供优质的可视化操作界面,大幅提高工作效率,让数据管理
景。 GeminiDB Redis 支持布隆过滤器特性。 除此之外,GeminiDB Redis还支持Hash子field过期、分片扫描、大数据极速导入(FastLoad)等功能。 父主题: 产品咨询
什么是云数据库 GeminiDB 云数据库 GeminiDB是一款基于计算存储分离架构的分布式多模NoSQL数据库服务。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、备份恢复、监控报警等服务能力。 云数据库 GeminiDB目前兼容Cassandra、DynamoDB
实例状态 数据库实例状态是数据库实例的运行情况。可以通过管理控制台查看数据库实例状态。 表1 实例状态 状态 说明 正常 数据库实例正常和可用。 异常 数据库实例不可用。 创建中 正在创建数据库实例。 创建失败 数据库实例创建失败。 重启中 正在重启数据库实例。 重置密码中 正在重置管理员密码。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
广告主的RTA系统,是从核心的画像数据库读取数据并进行投放决策的,数据越新,投放效果越好。因此,大数据平台生成的最新数据,需要及时写入画像数据库。综合来看,广告RTA业务面临高并发、超低时延、超大数据量等实际特性需求。因此,对核心画像数据库有如下诉求: 海量数据快速导入,确保决策精准性
数据导出设置 操作场景 GeminiDB Influx支持将用户数据转为parquet文件格式,并自动上传到指定的OBS桶。用户可以使用大数据产品直接访问OBS上的parquet文件或者可将上传到OBS上的parquet文件下载使用。 使用须知 如需使用数据导出设置功能,您可以在管理控制台右上角,选择“工单
数据迁移 社区版InfluxDB是非常受欢迎的时序数据库,着力于高性能地查询与存储时序型数据。 GeminiDB Influx是基于华为自研的计算存储分离架构,兼容InfluxDB的生态的时序数据库。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、
最大支持96TB存储容量。 计算节点提供快速的双向扩展: 由于计算节点无状态,添加分片只需添加计算节点,无需额外购买存储,无需重建,无论多大数据量,都可以控制在5分钟左右。 云数据库 GeminiDB采用容器化部署,规格变更只涉及计算资源,只需修改容器参数即可,无需挂盘等操作,规格变更速度极快。