内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • MySQL可以分布式

    MySQL可以分布式么?

    作者: 月呀儿~~
    423
    3
  • Pytorch 分布式训练迁移

    什么是分布式训练?模型复杂,或者数据量太大,都有可能超过单一AI加速卡的显存大小,导致无法使用单一AI加速卡进行训练加速,所以需要整合多个AI加速卡进行分布式训练,分布式训练一般又分为模型并行与数据并行。模型并行:模型太大,单一AI加速卡内存不足,一个大模型划分为多个子模块,不同

    作者: carvaee
    2290
    0
  • 分布式系统资料推荐

    定价: 149.00元 装帧: 平装 ISBN: 9787302381242 国内存储不多的书籍之一, 比较杂散, 入门了解 <b>2.大规模分布式存储系统</b> 作者: <a href=https://book.douban.com/search/%E6%9D%A8%E4%BC%A0%E8%BE%89>杨传辉</a>

    作者: alex
    5006
    0
  • 分布式进阶(十四)分布式开发学习感触

    经过一段时间的分布式学习,自己在此过程中受益匪浅。几点感触总结如下: 1.在做较大或生疏系统的时候,一定先要将系统的架构图设计出来,架构图要力求做到尽可能的详尽(包括其用到的各种技术,数据传输方式等等)。做到这样才能在后期的系统开发中显得游刃有余。软件工程的开发思想其实还是很重要的,自己对这一点也颇有感触。

    作者: SHQ5785
    发表时间: 2020-12-30 01:02:36
    2324
    0
  • 【mindspore】【分布式训练】失败

    使用mindspore 数据并行模式训练。报了下面的错误,麻烦帮忙看看怎么定位排查问题

    作者: 所有问题请发新帖咨询
    3393
    6
  • GaussDB分布式环境下保证分布式事务ACID属性主要方式

    会使用本地补偿机制来保证原子性。如果在分布式事务执行过程中某个节点出现故障,系统会在该节点恢复后执行补偿操作,以确保事务的原子性。一致性(Consistency)数据复制同步:GaussDB通过数据复制同步机制来保证数据的一致性。在分布式环境下,数据会被复制到多个节点上,当一

    作者: Jack20
    6
    0
  • 分布式minio搭建指南

    分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。 分布式Minio有什么好处? 在大数据领域,通常的设计理念都是无中心分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存

    作者: 从大数据到人工智能
    发表时间: 2022-03-27 16:32:52
    1047
    0
  • MindSpore分布式并行训练—分布式训练通信方法(四)AllReduce

    Note: AllReduce 的操作目前不支持“prod”。 张量在集合的所有过程中必须具有相同的形状格式。 Args: op (str): 指定用于逐元素归约的操作,如总和、最大值最小值。 默认值:ReduceOp.SUM。 group (str): 要处理的通信组。 默认值:“hccl_world_group”。

    作者: 凯歌含光
    2855
    0
  • 分布式

    此时jdk提供的锁就不能再使用了。于是乎就有了分布式锁。 本文介绍常见的几种可以使用的生产的分布式锁 本文面向有开发经验的同学,所以场景就不赘述,直接上干货 # 一、分布式锁具有的品格 基本的加锁释放锁具备锁失效机制,防止死锁非阻塞机制高性能高可用 # 二、思考一下如何自己实现

    作者: 西魏陶渊明
    发表时间: 2022-09-24 19:24:07
    103
    0
  • 【转载】荣耀分布式路由

    作者: andyleung
    1136
    0
  • Redission实现分布式锁lock()tryLock()方法的区别小结【转】

    等特性,可以更好地控制获取锁的过程等待时间,避免程序出现长时间无法响应等问题。因此,两种获取锁的方式各有优缺点,在实际应用中需要根据具体场景业务需求来选择合适的方法,以确保程序的正确性高效性。直接看代码例子lock.tryLock等待时间持有时间都为0时。    public

    作者: 赫塔穆勒
    8
    1
  • 分布式概念

    整个应用分散成多个服务使得整个系统变得更为复杂。我们需要在分布式开发中引入额外的技术,以解决服务之间交互分布式部署导致的问题。 RPC(远程过程调用),即在本地调用远程机器的函数或者对象方法,使实际的体验调用本地函数或者对象方法无异。 RPC 也是一种技术思想,HTTP WebService 就是 RPC

    作者: 幼儿园老大*
    发表时间: 2024-07-19 13:18:47
    329
    0
  • 分布式概念

    整个应用分散成多个服务使得整个系统变得更为复杂。我们需要在分布式开发中引入额外的技术,以解决服务之间交互分布式部署导致的问题。 RPC(远程过程调用),即在本地调用远程机器的函数或者对象方法,使实际的体验调用本地函数或者对象方法无异。 RPC 也是一种技术思想,HTTP WebService 就是 RPC

    作者: 幼儿园老大*
    发表时间: 2024-10-31 18:53:48
    42
    0
  • 【MindSpore】【分布式】添加自动化分布式运行字段后报错

    在不启用如下分布式的字段时,训练任务正常运行: ```python context.set_auto_parallel_context(parallel_mode=ParallelMode.AUTO_PARALLEL, gradients_mean=False) ``` 但是在启

    作者: 编程大赛最佳伴侣
    5502
    11
  • 【atlas800-9000-mindspore】【分布式训练】分布式训练退出,Device 0 is occupied

    910_mindspore:v0.5.0-ubuntu-py37-arm64 ``` # mindspore training ## 分布式训练 ### rank_table_2pcs.json ```json {     "board_id": "0x0020",     "chip_info": "910"

    作者: 软星包子
    4419
    8
  • 分布式锁的实现方式

    Java中的锁主要包括synchronized锁JUC包中的锁,这些锁都是针对单个JVM实例上的锁,对于分布式环境如果我们需要加锁就显得无能为力。在单个JVM实例上,锁的竞争者通常是一些不同的线程,而在分布式环境中,锁的竞争者通常是一些不同的线程或者进程。目前主要有三种方式实现分布式系统中的锁方式:分布式锁的实现方

    作者: 清雨小竹
    36
    0
  • MindSpore分布式并行训练—分布式训练通信方法(二)AllGather

    AllGather - Gather `Gather` 从好多进程里面收集数据到一个进程上面。这个机制对很多平行算法很有用,比如并行的排序搜索。下图是这个算法的一个示例。 ![](https://bbs-img.huaweicloud.com/data/forums/attac

    作者: 凯歌含光
    2655
    0
  • GaussDB分布式形态整体架构

    GaussDB分布式形态整体架构如下:图1 GaussDB分布式形态整体架构图Coordinator Node:协调节点CN,负责接收来自应用的访问请求,并向客户端返回执行结果;负责分解任务,并调度任务分片在各DN上并行执行。GTM:全局事务管理器(Global Transaction

    作者: Gauss松鼠会小助手2
    11
    1
  • 盘点分布式文件存储系统

    参考: 【1】:分布式文件系统对比与选型参考 【2】:只知道HDFSGFS?你其实并不懂分布式文件系统 【3】:分布式存储主流框架 【4】:如果要设计个分布式文件系统,该从哪些方面考虑? 【5】: 常见分布式文件存储介绍、选型比较、架构设计 【6】:分布式文件系统对比与选型参考

    作者: 三分恶
    发表时间: 2021-02-11 00:06:56
    7355
    0
  • 十三、Zookeeper集群的搭建(单机、伪分布式、集群)

    ZooKeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布、数据订阅、负载均衡、命名服务、分布式协调、分布式通知、集群管理、master选举、分布式分布式队列等功能。 &nbsp;&nbsp;&nbsp;&nb

    作者: 托马斯-酷涛
    发表时间: 2022-05-25 15:48:39
    401
    0