已找到以下 10000 条记录
  • OBS的数据冗余存储方式是什么? - 对象存储服务 OBS

    OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内

  • 开源使能-分布式存储软件适配项目实践心得

     很荣幸能参与到华为鲲鹏众智计划的项目中,这次项目的经历让我收获很多。开源使能-分布式存储软件适配项目主要是完成开源分布式存储组件Lustre、FastDFS、MinIO和BeeGFS在鲲鹏平台的兼容性工作,对开源分布式存储组件在鲲鹏平台进行编译安装、基本功能用例和性能用例的测试,查找适配过

    作者: 当前清风
    1217
    1
  • 分布式消息中间件介绍

    分布式消息中间件介绍 什么是消息中间件 :game_die:一个场景: 如果你是一个客户,在支付完一个订单之后,界面上会有一个等待圆圈,那这几秒让不让你烦躁呢? :hammer_and_wrench:解决它: 解决这个问题的一大利器就是消息中间件,英文全称“Message Queue”,简称MQ

    作者: 阿柠
    发表时间: 2022-09-27 12:37:08
    149
    0
  • 分布式存储(ceph)的scrub功能验证

    通过手动触发的方式去验证scrub能力:找一个OSD目录:ls /var/lib/ceph/osd/ceph-5/current/pg 121.e9 删掉一个文件:手动执行:ceph pg scrub 121.e9检测结果:手动执行修复ceph pg repair 121.e9连续监控

    作者: eter
    542
    1
  • 分布式存储慢盘模拟及监控(ceph)

    存储集群配置7200转硬盘,更换其中一块为5900转的硬盘模拟慢盘观察ceph性能相关统计插入一块 5900rpm 硬盘模拟慢盘:vdbench 对存储集群打上背景压力:iostat,可见性能差的盘“sdn”占用率较高,优先达到瓶颈,会影响整体性能同时观察osd延时,sdn(osd

    作者: eter
    903
    0
  • SpringBoot集成分布式对象存储(分布式文件)MinIO

    操作简单、开源的分布式对象存储产品。   你可以把它和FastDFS、HDFS作为类比,但它比其它都更简单,极简是MinIO的设计初衷之一,而且他的性能很好。   当然也有很多商用的对象存储服务,如阿里的OSS、腾讯的COS,无需自己维护,但需要付费。自建对象存储还是香。   官网上的一句话:

    作者: whisperrr
    发表时间: 2021-08-21 08:29:25
    1815
    0
  • 什么是分布式消息服务Kafka版 - 分布式消息服务Kafka版

    什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款

  • 华为GaussDB 100 分布式架构

    摘要:华为高斯100分布式架构与主备架构相比多了协调节点CN,另外CN实例并不是每个物理节点都存在的。GaussDB 100是基于Share-nothing架构的分布式、并行数据库集群。分布式部署产品架构请参见下图。注:本文转自“墨天轮”GaussDB频道

    作者: 社会主义的一块砖
    发表时间: 2019-12-19 14:46:04
    4371
    0
  • 当分级存储策略为LAZY - MapReduce服务 MRS

    当分级存储策略为LAZY_PERSIST时为什么文件的副本存储类型为DISK 问题 当文件的存储策略为LAZY_PERSIST时,文件的第一副本存储类型应为RAM_DISK,其余副本为DISK。 为什么文件的所有副本存储类型都是DISK? 回答 当用户写入存储策略为LAZY

  • 分布式消息服务DMS

    分布式消息服务DMS 华为云分布式消息服务(Distributed Message Service,简称DMS)是一项基于高可用分布式集群技术的消息中间件服务,提供了可靠且可扩展的托管消息队列,用于收发消息和存储消息。使用DMS,可以创建消息队列,将消息队列作为一个传

  • 分布式专题——分布式限流

    Insert:没有唯一业务单号,使用Token保证幂等 Update:更新操作传入版本号,通过乐观锁实现幂等性 混合操作:找到操作的唯一业务单号,有则可使用分布式锁,无则可以通过Token保证幂等。 8、Delete操作的幂等性 根据唯一业务号 第一次删除时,已将数据删除 第二次再次执行时,由

    作者: 小白弟弟
    发表时间: 2022-01-10 03:36:13
    713
    0
  • 分布式链路追踪 — Overview

    目录 文章目录 目录 分布式链路追踪 OpenTelemetry Tracing 分布式链路追踪 分布式链路追踪最早在 Google 在 2010 年发表的论文《Dapper : a Large-Scale

    作者: 云物互联
    发表时间: 2022-08-17 15:02:57
    171
    0
  • GaussDB T 分布式集群DN恢复重建

    GaussDB 分布式集群的集群状态Cluster_state分为:Normal,Unavailable,Degraded,Abnormal四种。Normal:表示集群可用,CN、DN主全部在线。 Unavailable:表示集群不可用,某Group 的DN无主,CN全部掉线;或者某Group

    作者: 社会主义的一块砖
    发表时间: 2020-02-12 16:10:07
    4643
    0
  • 同步数据至单副本实例 - 云数据库 GaussDB

    同步数据至单副本实例 操作场景 GaussDB提供了将副本实例数据同步至单副本实例的功能。 注意事项 实例状态异常,或者存在节点状态异常时,不允许执行本操作。 单副本实例若在执行其他操作,不支持本操作。 执行该操作后被选中的单副本实例上的数据会被全部覆盖,密码也会被覆盖。 操作步骤

  • 分布式缓存redis_分布式缓存技术_分布式缓存-华为云

    04:53 创建缓存实例 分布式缓存服务 创建缓存实例 分布式缓存服务 03:40 访问缓存实例 分布式缓存服务 访问缓存实例 分布式缓存服务 04:16 缓存实例日常维护 分布式缓存服务 缓存实例日常维护 分布式缓存服务 04:53 分布式缓存服务 创建缓存实例 分布式缓存服务 03:40

  • 分布式训练报错

    【功能模块】MindSpore 1.5.0Ascend 910【操作步骤&问题现象】在按文档教程进行分布式训练时(单机多卡),出现如下报错。运行模式为图模式,部分初始化代码如下:context.set_context(mode=context.GRAPH_MODE, device_target=config

    作者: rose_is_blue
    2470
    2
  • GaussDB T 分布式集群部署(2)

    ----------------------------------------------INSTANCE:ETCD1 ROLE:follower STATUS:ONLINE HOST:Gauss1 ID:701 PORT:2379 DataDir:/opt/huawei/ga

    作者: 社会主义的一块砖
    发表时间: 2019-12-25 18:57:46
    8100
    0
  • 源码分析 RocketMQ DLedger 多副本存储实现

    hasRecovered 是否已恢复。 2、DLedger 存储 对标 RocketMQ 存储 存储部分主要包含存储映射文件、消息存储格式、刷盘、文件加载与文件恢复、过期文件删除等,由于这些内容在 RocketMQ 存储部分都已详细介绍,故本文点到为止,其对应的参考映射如下: 在

    作者: 丁威
    发表时间: 2021-04-19 14:02:53
    702
    0
  • redis实现分布式

    分布式锁 问题描述 随着业务发展的需要,原单体单机部署的系统被演化成分布式集群系统后,由于分布式系统多线程、多进程并且分布在不同机器上,这将使原单机部署情况下的并发控制锁策略失效,单纯的Java API并不能提供分布式锁的能力。为了解决这个问题就需要一种跨JVM的互斥机制来控

    作者: 小小张自由--张有博
    发表时间: 2022-05-25 04:11:13
    532
    0
  • 副本集实例扩容存储容量 - 代码示例

    该示例展示如何通过DDS SDK扩容副本集实例存储容量