已找到以下 10000 条记录
  • MindSpore分布式并行训练—分布式训练通信方法(四)AllReduce

    #### 2.1.4. AllReduce - Reduce 与 `Gather` 类似,`Reduce` 在每个进程上获取一个输入元素数组,并将输出元素数组返回给根进程。 ![](https://bbs-img.huaweicloud.com/data/forums/attac

    作者: 凯歌含光
    2855
    0
  • 设置桶策略

    设置桶策略 功能介绍 该接口的实现使用policy子资源创建或者修改一个桶的策略。如果桶已经存在一个策略,那么当前请求中的策略将完全覆盖桶中现存的策略。单个桶的桶策略条数(statement)没有限制,但一个桶中所有桶策略的JSON描述总大小不能超过20KB。

  • MindSpore分布式并行训练—概述

    非常多维度的并行选择。混合并行,有以下几个主要难点:模型切分难,不同维度的模型切分会引入不同的通信量,性能不同,要从海量切分策略中分析出一个性能较好的策略,难度高,需要专家经验;要考虑内存上限让切分后的子模型能够在卡中运行;要考虑切分后各子模型的计算量,保持计算相对均衡,从而避免

    作者: 凯歌含光
    3595
    0
  • 文件存储购买指南_海量文件存储_分布式文件存储

    弹性文件服务 SFS购买指南 提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud Server,ECS),容器(CCE&CCI),裸金属服务器(BMS)提供共享访问。 提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic

  • 分布式消息中间件的作用_分布式消息中间件_分布式消息-华为云

    分布式消息中间件的作用 分布式消息中间件的作用 华为云分布式消息中间件提供分布式消息Kafka版、分布式消息RabbitMQ版和分布式消息RocketMQ版。分布式消息中间件作用是为用户应用系统提供异步的、高可用的消息队列服务,实现应用解耦、突发流量处理以及与第三方应用的集成。

  • 分布式消息服务DMS和分布式消息服务Kafka是什么关系?

    分布式消息服务DMS和分布式消息服务Kafka是什么关系?

    作者: tianzongyun
    4996
    0
  • 分布式事务

    分布式事务 InnoDB存储引擎提供了对XA事务的支持,并通过XA事务来支持分布式事务的实现。分布式事务指的是允许多个独立的事务资源(transactional resources)参与到一个全局的事务中。事务资源通常是关系型数据库系统,但也可以是其他类型的资源。全局事务要求在其

    作者: 小威要向诸佬学习呀
    发表时间: 2022-11-30 13:44:35
    119
    0
  • 分布式进阶(十四)分布式开发学习感触

    经过一段时间的分布式学习,自己在此过程中受益匪浅。几点感触总结如下: 1.在做较大或生疏系统的时候,一定先要将系统的架构图设计出来,架构图要力求做到尽可能的详尽(包括其用到的各种技术,数据传输方式等等)。做到这样才能在后期的系统开发中显得游刃有余。软件工程的开发思想其实还是很重要的,自己对这一点也颇有感触。

    作者: SHQ5785
    发表时间: 2020-12-30 01:02:36
    2324
    0
  • 【转载】荣耀分布式路由

    作者: andyleung
    1136
    0
  • 路由策略中的IP-Prefix你了解多少?

    配置示例示例1:示例2:示例3: 1.技术背景 在部署路由策略的过程中,我们往往需要通过一些手段“抓取”路由,从而能够针对特定的路由来执行相应的策略,以实现差异化。在“抓取”路由的工具中,ACL无疑是最常用的工具之一。 在上图中,R2部署

    作者: wljslmz
    发表时间: 2022-07-27 15:33:55
    259
    0
  • 分布式框架】深入理解分布式之缓存击穿

    在谈论缓存击穿之前,我们先来回忆下从缓存中加载数据的逻辑,如下图所示: 因此,如果黑客每次故意查询一个在缓存内必然不存在的数据,导致每次请求都要去存储层去查询,这样缓存就失去了意义。如果在大流量下数据库可能挂掉。这就是缓存击穿。 场景如下图所示: 我们正常人在登录首页的时候,都是根据u

    作者: Java小叮当
    发表时间: 2022-03-30 16:32:11
    355
    0
  • DAOS 分布式异步对象存储|故障模型

    github.io/overview/fault DAOS 依靠大规模分布式单端口存储。因此,每个 Target 实际上都是一个单独的失败点。 DAOS 通过在不同的容错域中提供 Target 间的冗余来实现数据和元数据的可用性和持久性。DAOS 内部的 Pool 和 Container

    作者: debugzhang
    发表时间: 2021-03-31 02:24:25
    2609
    0
  • 北交联合云分布式缓存平台

    北交联合云分布式缓存负责将热点数据进行缓存,降低数据库高并发访问压力;同时通过分布式架构部署,大幅提高热点业务数据的读取速度,提升缓存容量及能力。产品功能·海量缓存服务-采用分片技术,创建出大容量的缓存。·数据复制服务-对缓存实例(inst1, inst2, inst3)进行数据

    交付方式: License
  • 分布式事务与分布式锁的区别

    分布式事务与分布式锁的区别 1. 引言 随着互联网的快速发展,大规模分布式系统的需求也日益增长。在这样的系统中,分布式事务和分布式锁是两个非常重要的概念。本文将以中心化的分布式系统为基础,详细介绍分布式事务和分布式锁的概念、特点以及使用场景,并结合相应的代码示例进行演示。 2

    作者: 赵KK日常技术记录
    发表时间: 2023-07-05 12:11:45
    12
    0
  • Hadoop伪分布式集群的安装部署

    Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备。一、如何为虚拟机做快照? 1、什么是快照? 快照就是对当前的虚拟机状态进行拍照,保留虚拟机当前状态的操作信息。

    作者: Smy1121
    发表时间: 2019-06-19 21:22:06
    8612
    2
  • 分布式消息服务DMS和分布式消息服务Kafka是什么关系?

    分布式消息服务DMS和分布式消息服务Kafka是什么关系?

    作者: tianzongyun
    5510
    0
  • 分布式数据库架构

    分布式数据库总体设计有两个思路和方向,一个是基于共享存储的架构(share everything),另一个是基于数据分片的架构(share nothing)。共享存储的架构特点是底层存储共用一份数据池子,上层数据库server层可以弹性扩展,典型的案例像DB2 pureScale,Oracle

    作者: 重新来过
    4475
    1
  • 学习笔记(2)-GaussDB分布式关键技术

    通过硬件冗余、实例冗余、 数据冗余,实现整个系统无单点故障硬件高可用:存储:磁盘RAID冗余网络:双交换机冗余 网卡:多网卡冗余主机:UPS电源保护软件高可用:协调节点CN实例多活冗余数据节点/全局事务管理/ 集 群管理器实例Active-Standby 冗余分布式关键技术五:

    作者: 清雨小竹
    93
    0
  • 国人之光-分布式存储框架FastDFS入门篇

    常快的帮我们把文件找到。这个就是分布式文件系统帮我们解决的问题了。 2.常见的分布式存储框架   接下来我们看看在国内常用的分布式存储的框架选择有哪些 分布式框架说明FastDFS我们介绍的主角,国产HDFSHadoop组件中分布式存储框架MinIOMinIO是在Apach

    作者: 波波烤鸭
    发表时间: 2022-03-29 16:12:07
    816
    0
  • 注册个人分布式身份 - 可信分布式身份服务 TDIS

    注册个人分布式身份 功能介绍 注册个人分布式身份 URI POST /v1/{project_id}/tdis/did 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户从IAM申请到的projectid,一般为32位字符串 最小长度:32