已找到以下 10000 条记录。
  • 大数据技术与应用复习篇

    来自客户端和数据节点的RPC请求 冗余数据保存 作为一个分布式文件系统,为了保证系统的容错性和可用性,HDFS采用了多副本方式对数据进行冗余存储,通常一个数据块的多个副本会被分布到不同的数据节点上。这种多副本方式具有以下几个优点: (1)加快数据传输速度 (2)容易检查数据错误

    作者: 看,未来
    发表时间: 2021-01-09 17:10:09
    1887
    0
  • 云数据库 GaussDB NoSQL

    云数据库 GaussDB NoSQL 云数据库 GaussDB NoSQL是一款基于计算存储分离架构的分布式多模NoSQL数据库服务。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、备份恢复、监控报警等服务能力。 云数据库 GaussDB

  • 华为云创新技术厚积薄发,斩获数据库行业两项创新大奖

    「DDM分布式数据库中间件+ MySQL主备实例+只读实例」的云数据库解决方案 这个方案的核心,满足了佰米对于数据库读写分离的业务需求。其中,DDM负责对数据进行分表分库处理,将超大数据量分解分配;而 MySQL 主备实例与只读实例同时支持AZ内或跨AZ部署副本冗余,形成

    作者: GaussDB数据库
    发表时间: 2019-05-13 03:53:48
    9617
    0
  • 设置训练故障优雅退出 - AI开发平台ModelArts

    设置训练故障优雅退出 使用场景 随着模型规模和数据集的急剧增长,需要利用大规模的训练集训练大规模的神经网络。在大规模集群分布式训练时,会遇到集群中某个芯片、某台服务器故障,导致分布式训练任务失败。优雅退出是指中断的训练任务支持自动恢复,并可以在上一次训练中断的基础上继续训练,而不用从头开始。

  • Ceph集群部署

    还支持块存储、对象存储,所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储,例如部署一套集群作为对象存储、SAN存储、NAS存储等。可以作为k8s的存储类,来方便容器持久化存储。 1.3 支持格式 对象存储:即radosgw

    作者: kaliarch
    发表时间: 2021-11-20 12:44:55
    1555
    0
  • IoTDB常用配置参数 - MapReduce服务 MRS

    IoTDB常用配置参数 操作场景 IoTDB通过多副本的部署架构实现了集群的高可用,每个Region(DataRegion和SchemaRegion)默认具有3个副本,也可配置3个以上。当某节点故障时,Region副本的其他主机节点上的副本可替代工作,保证服务能正常运行,提高集群的稳定性。

  • 【Elasticsearch系列十五】强大特性

    隐藏特性 分布式机制:分布式数据存储及共享。 分片机制:数据存储到哪个分片,副本数据写入。 集群发现机制:cluster discovery。新启动 es 实例,自动加入集群。 shard 负载均衡:大量数据写入及查询,es 会将数据平均分配。 shard 副本:新增副本数,分片重分配。

    作者: kwan的解忧杂货铺
    发表时间: 2024-09-20 22:54:48
    0
    0
  • 业务“兔”飞猛进,只因他们做对了这件事

    3倍;高性能分布式存储池,数据毫秒级别访问,保障千万级玩家实时聊天。 龙图游戏选择华为云云原生数据库 稳定支撑龙图游戏魔幻MMORPG手游《余烬风暴》强势上线,20倍业务高峰变化,时延0.1ms稳定无抖,实时扩容,业务0影响,副本容灾方案,数据持久化且一致性。

    作者: GaussDB 数据库
    发表时间: 2023-03-10 01:07:00
    1864
    0
  • 华为云GaussDB(for Redis)发布全新版本,两大核心特性亮相

    击查看详细解读): 成本降低75%以上:全量数据落盘,容量利用率高 高稳定性:即使N-1节点故障,全量数据依旧可用 高可靠性:数据副本冗余存储,无丢失风险 强一致性:强一致性保障,多点访问无脏读问题。 强抗写能力:全部节点可写;多线程设计 强扩展能力:节点分钟级、容量秒级扩容

    作者: 高斯Redis官方博客
    发表时间: 2021-09-13 02:35:05
    6007
    1
  • 资源和成本规划

    ¥0.068/小时 分布式消息服务(RocketMQ) 1 rocketmq.4u8g.cluster.small * 1 broker 高I/O 300GB ¥8.42/小时

  • 【DTSE Tech Talk 精选问答】NO.59丨从数据库设计到性能调优,全面掌握openGemini应用开发最佳实践

    长周期存储的成本呢? A:openGemini有两种技术方案来保证数据一致性。一是通过计算副本,数据存多份。另一种是采用存算分离架构,数据一致性交给底层的分布式文件系统来保证。目前二者都在开发者。考虑到这种长周期数据存储的成本,openGemini未来还将考虑支持对象存储,以降低存储成本。

    作者: 云小宅
    发表时间: 2024-06-04 15:30:54
    18
    0
  • 云硬盘_移动硬盘的作用_企业硬盘

    了解更多 安全可靠 3副本保存,数据加密功能,保障数据高 可靠 3副本保存,数据加密功能,保障数据高 可靠 了解更多 备份恢复 通过预先设置自动备份策略或者手动备份,定期为您块存储上的业务数据做备份 通过预先设置自动备份策略或者手动备份,定期为您块存储上的业务数据做备份 了解更多

  • 分布式数据库中间件价格

    华为云计算 云知识 分布式数据库中间件价格 分布式数据库中间件价格 时间:2020-12-22 14:02:51 分布式数据库中间件支持“包年/包月”和“按需付费”两种模式,购买后同时支持计费模式互转。包年/包月:用户选购完服务配置后,可以根据需要设置购买时长,系统会一次性按照购

  • Hadoop 中 NameNode 和 DataNode 的角色

    的工作节点,负责实际的数据存储和管理。每个 DataNode 存储文件的数据块,并提供数据的读写服务。DataNode 定期向 NameNode 发送心跳信号和数据块报告,以确保数据块的健康状态和位置。 核心功能 数据块存储: 数据块存储:DataNode 将接收到的数据块存储在本地磁盘上

    作者: wljslmz
    发表时间: 2024-08-12 23:47:34
    8
    0
  • 分布式缓存redis使用场景有哪些

    间。 4. 分布式锁 在分布式系统中,锁是非常重要的一部分。Redis可以作为分布式锁,用于控制多个进程之间的并发访问。这种方式可以保证系统的数据一致性,避免数据竞争的问题。 总之,Redis是一种非常强大的分布式缓存系统,可以用于多种场景。无论是Web应用、分布式系统还是大数据

  • 有人问你什么是CAP?你就把这篇文章发给他

    1、什么是分布式系统 CAP定理是分布式存储系统的基石,分布式系统(distributed system)指的是建立在网络上的软件系统,它是多个计算机节点通过协调工作的方式,共同完成任务的系统。分布式系统解决了单个计算机无法完成的计算和存储任务。但是分布式系统的设计十分复杂,设

    作者: 李子捌
    发表时间: 2021-10-15 05:32:42
    1762
    0
  • 查询所有备份 - 云备份 CBR

    used_percent 否 String 根据存储库使用率过滤备份,取值范围 [1, 100],含1和100。例如,used_percent=80,表示筛选所属存储库使用率大于等于80%的所有备份。 vault_id 否 String 存储库ID 请求参数 表3 请求Header参数

  • SSO(单点登陆)

    缺点:单点性能压力,无法扩展 分布式, SSO(single sign on)模式  点击并拖拽以移动点击并拖拽以移动​编辑 解决 :         用户身份信息独立管理,更好的分布式管理。 &nb

    作者: yd_249383650
    发表时间: 2023-03-12 06:07:03
    1192
    0
  • 购买混合云备份存储库 - 云备份 CBR

    费,可以随时购买或删除存储库。费用直接从账户余额中扣除。 输入存储库容量。 (可选)为存储库添加标签。 标签以键值对的形式表示,用于标识存储库,便于对存储库进行分类和搜索。此处的标签仅用于存储库的过滤和管理。一个存储库最多添加10个标签。 标签的设置说明如表1所示。 表1 标签说明

  • 【愚公系列】2022年01月 MinIO文件存储服务器-window11下的安装

    前言 1.平常存储文件 在开发中经常会用到的就是文件存储了,以前经常都是在服务器目录上映射一个目录用来存储文件,这个当然也没有问题,如果存储量不大的话。当然还有的会选择使用。 2.第方平台存储文件 第存储比如:七牛云、阿里云的oss、腾讯云cos、等云储存方案。就是需要付费、不给钱就没了。

    作者: 愚公搬代码
    发表时间: 2022-01-28 04:18:03
    384
    0